Hilo de 向阳乔木 (@vista8)

La IA está redefiniendo el aspecto que deberían tener los chips. Los chips también están determinando hasta dónde puede llegar la IA. Hay tres tendencias: 1. De propósito general a especializado. Anteriormente, todo el mundo utilizaba GPU de uso general para ejecutar IA. Sin embargo, ahora se está descubriendo que esto es problemático para la inferencia, el entrenamiento y la implementación en el borde de modelos grandes. La lógica de diseño de los chips es completamente diferente. Creo que veremos más chips de IA dedicados en los próximos 3 a 5 años. Por ejemplo, los chips de entrenamiento necesitan tener un alto poder computacional, los chips de inferencia necesitan ahorrar energía y los chips de borde necesitan tener baja latencia. Nvidia ahora también está diferenciando sus líneas de productos, con la serie H para entrenamiento y la serie L para inferencia. Empresas nacionales como Biren y Suiyuan también buscan un posicionamiento diferenciado. En el futuro, no habrá un único jugador dominante; en cambio, habrá un panorama en el que "hay reyes en el entrenamiento, señores en la deducción y jugadores en juegos del lado del cliente". 2. Avance en la computación en memoria, resolviendo el problema del muro de memoria. El mayor cuello de botella para los modelos a gran escala hoy en día no es la potencia de cálculo, sino la transferencia de datos. El chip tiene que leer constantemente datos de la memoria, realizar cálculos y luego volver a escribirlos, lo que es demasiado lento y consume demasiada energía. La informática en la tienda combina computación y almacenamiento, eliminando la necesidad de mover datos de un lado a otro. Si la tecnología avanza, tendrá un enorme impacto en la IA. La Universidad de Tsinghua, la Academia de Ciencias de China y algunas empresas emergentes están trabajando en esta dirección. Si los chips de computación en memoria se pueden producir en masa en los próximos 3-5 años... Esto reducirá el costo de inferencia de modelos grandes en un orden de magnitud, lo que permitirá que muchas aplicaciones que actualmente son imposibles de implementar se puedan realizar en el futuro. 3. El chip y el algoritmo se optimizan juntos. Anteriormente, los ingenieros de algoritmos escribían códigos y los ingenieros de chips fabricaban chips; hacían lo suyo. Pero ahora muchas empresas están haciendo diseño colaborativo. El algoritmo conoce las características del chip y el chip está optimizado para el algoritmo. Apple es un ejemplo; su motor neuronal y las funciones de IA de iOS están diseñados juntos, por lo que ejecutar modelos de IA en el iPhone es muy fluido. El chip FSD de Tesla es el mismo; está personalizado para algoritmos de conducción autónoma. A nivel nacional, se considera que Huawei ha hecho un mejor trabajo en este sentido. El chip Ascend está integrado con el modelo grande de Pangu y el sistema HarmonyOS. En el futuro, esta capacidad integrada de hardware y software se convertirá en una ventaja competitiva fundamental.