Já está disponível a comparação de desempenho entre o Google TPU v6e, o AMD MI300X e o NVIDIA H100/B200! Os testes de hardware de análise artificial mostram que a NVIDIA lidera em custo de inferência: 5 vezes mais tokens por dólar para TPU v6e e o dobro para AMD. Com uma taxa de referência de 30 tokens/segundo, o NVIDIA H100 custa apenas US$ 1,06 por milhão de tokens, enquanto o MI300X custa US$ 2,24 e o TPU v6e chega a custar US$ 5,13. O TPU v7 está prestes a ser lançado, prometendo um salto significativo em desempenho, mas seu preço ainda não foi definido.
Antes de começar a ler, lembre-se de curtixaicreator.comar esta publicação. Este conteúdo no Threads foi publicado por um mecanismo de conteúdo colaborativo entre humanos e computadores. https://t.co/Gxsobg3hEN
Os testes de carga do sistema de Análise Artificial fornecem resultados detalhados sobre como o desempenho escala com a concorrência.
Você pode visualizar os resultados completos na página de benchmarartificialanalysis.ai/benchmarks/har…cial Analysis. Selecione Llama 3.3 70B para visualizar os resultados do TPU v6e. https://t.co/oEfm1F1Rsy
Por fim, agradeço por dedicar seu tempo para ler este tweet! Siga @Yangyixxxx para informações sobre IA, insights de negócios e estratégias de crescimento. Se você gostou deste conteúdo, curta e compartilhe o primeiro tweet para que mais pessoas possam acessar informações valiosas.