¡Ya está disponible la comparación de rendimiento de Google TPU v6e, AMD MI300X y NVIDIA H100/B200! Los puntos de referencia de hardware de Artificial Analysis muestran que NVIDIA lidera en costo de inferencia: 5 veces la cantidad de tokens por dólar para TPU v6e y el doble para AMD. A una velocidad de referencia de 30 tokens/segundo, la NVIDIA H100 cuesta solo $1,06 por millón de tokens, mientras que la MI300X cuesta $2,24 y la TPU v6e cuesta hasta $5,13. El TPU v7 está a punto de lanzarse, con un importante salto en rendimiento, pero su precio aún no se ha determinado.
Antes de comenzar a leer, recuerda darle mxaicreator.comardar esta publicación. Este contenido en Threads fue publicado por un motor de contenido colaborativo humano-computadora. https://t.co/Gxsobg3hES
Las pruebas de carga del sistema de análisis artificial proporcionan resultados detallados sobre cómo el rendimiento escala con la concurrencia.
Puede ver los resultados completos en la página de benchmarks de hartificialanalysis.ai/benchmarks/har…ificial. Seleccione Llama 3.3 70B para ver los resultados de TPU v6e. https://t.co/oEfm1F1Rsy
Por último, ¡gracias por tomarte el tiempo de leer este tweet! Siga a @Yangyixxxx para obtener información sobre IA, conocimientos comerciales y estrategias de crecimiento. Si te ha gustado este contenido, dale me gusta y comparte el primer tweet para difundir información valiosa a más personas.