Hilo de 宝玉 (@dotey)

El siguienteweibo.com/2126427211/QjI… de Tang Jie: https://t.co/AOdkBXNIey Me gustaría compartir algunas ideas recientes, esperando que sean útiles para todos. El preentrenamiento permite que los modelos grandes adquieran un conocimiento práctico del mundo y posean capacidades básicas de razonamiento. Más datos, parámetros más amplios y una computación más saturada siguen siendo la forma más eficiente de escalar los modelos de pedestal. Activar la alineación y mejorar las capacidades de inferencia, especialmente las de cola larga más completas, es clave para garantizar el rendimiento del modelo. Si bien los benchmarks generales evalúan el rendimiento general de los modelos, también pueden provocar sobreajuste en muchos de ellos. En escenarios reales, ¿cómo pueden los modelos alinear escenas reales de cola larga con mayor rapidez y precisión, mejorando así la sensación de realismo? El entrenamiento a mitad y después del entrenamiento permite una alineación rápida y sólidas capacidades de inferencia en más escenarios. Las capacidades de los agentes representan un hito en la expansión de las capacidades de los modelos y son clave para que los modelos de IA se integren al mundo real (virtual/físico). Sin ellas, los modelos grandes permanecerán en la etapa de aprendizaje teórico, como una persona que aprende continuamente, incluso hasta obtener un doctorado, acumulando conocimientos sin transformarlos en productividad. Anteriormente, los agentes se implementaban mediante la aplicación de modelos; ahora, los modelos pueden integrar directamente los datos de los agentes en el proceso de entrenamiento, lo que aumenta su versatilidad. Sin embargo, el desafío persiste: la generalización y la transferencia entre diferentes entornos de agentes no son fáciles. Por lo tanto, la solución más sencilla es aumentar continuamente los datos de diferentes entornos de agentes e implementar aprendizaje por refuerzo adaptado a dichos entornos. Lograr la memoria del modelo es esencial, una capacidad necesaria para que cualquier modelo se aplique en entornos reales. La memoria humana se divide en cuatro etapas: corto plazo (corteza prefrontal), mediano plazo (hipocampo), largo plazo (corteza cerebral distribuida) e histórica (wiki o libros de historia). Es crucial cómo los modelos grandes logran la memoria en las diferentes etapas. El contexto, el marco temporal y los parámetros del modelo pueden corresponder a diferentes etapas de la memoria humana, pero la clave está en cómo lograrlo. Un enfoque es la compresión de la memoria, que consiste simplemente en almacenar el contexto. Si un modelo grande puede soportar contextos suficientemente largos, lograr la memoria a corto, mediano y largo plazo se vuelve prácticamente posible. Sin embargo, iterar a través del conocimiento del modelo y modificar sus parámetros sigue siendo un desafío importante. Aprendizaje en línea y autoevaluación. Con la comprensión de los mecanismos de memoria, el aprendizaje en línea se convierte en un enfoque clave. Los modelos actuales a gran escala se reentrenan periódicamente, lo que presenta varios problemas: el modelo no puede iterarse por sí mismo, pero el autoaprendizaje y la autoiteración serán inevitablemente una capacidad en la siguiente etapa; el reentrenamiento también es un desperdicio y resulta en la pérdida de una gran cantidad de datos interactivos. Por lo tanto, es crucial lograr el aprendizaje en línea, y la autoevaluación es un aspecto clave del mismo. Para que un modelo aprenda por sí mismo, primero debe saber si es correcto o incorrecto. Si lo sabe (aunque solo sea probabilísticamente), conocerá el objetivo de optimización y podrá mejorar. Por lo tanto, construir un mecanismo de autoevaluación del modelo es un desafío. Este también podría ser el próximo paradigma de escalamiento. ¿Aprendizaje continuo/aprendizaje en tiempo real/aprendizaje en línea? Finalmente, a medida que el desarrollo de modelos a gran escala se vuelve cada vez más integral, es inevitable combinar el desarrollo y la aplicación de modelos. El objetivo principal de la aplicación de modelos de IA no debería ser la creación de nuevas aplicaciones; su esencia es que la IA sustituya el trabajo humano. Por lo tanto, desarrollar una IA que sustituya diferentes trabajos es clave para su aplicación. El chat sustituye parcialmente la búsqueda y, en cierto modo, incorpora la interacción emocional. El próximo año será un año clave para la IA que sustituya diferentes trabajos. En conclusión, analicemos la multimodalidad y la corporización. La multimodalidad es, sin duda, un futuro prometedor, pero el problema actual es que no contribuye significativamente al límite superior inteligente de la IAG, y el límite superior inteligente exacto de la IAG general sigue siendo desconocido. Quizás el enfoque más eficaz sea desarrollarlas por separado: texto, multimodalidad y generación multimodal. Por supuesto, explorar la combinación de estas tres de forma moderada podría revelar capacidades muy diferentes, pero esto requiere valentía y un apoyo financiero sustancial. De igual manera, si comprendes a los agentes, sabrás dónde residen los puntos débiles de la inteligencia corpórea: es demasiado difícil generalizar (aunque esto no es necesariamente cierto), pero activar capacidades corpóreas generales con una muestra pequeña es prácticamente imposible. Entonces, ¿qué hacer? Recopilar o sintetizar datos no es fácil ni económico. Por el contrario, una vez que la escala de datos aumenta, las capacidades generales emergerán de forma natural y crearán una barrera de entrada. Por supuesto, esto solo es un desafío relacionado con la inteligencia. Para la inteligencia corpórea, los propios robots también representan un problema; la inestabilidad y los fallos frecuentes limitan su desarrollo. Se esperan avances significativos en estas áreas para 2026. Analicemos también el modelo maestro de dominio y sus aplicaciones. Siempre he creído que este modelo es una proposición falsa; con la IA ya implementada, ¿qué IA específica de dominio existe...? Sin embargo, dado que la IA no se ha desarrollado plenamente, los modelos de dominio existirán durante mucho tiempo (es difícil decir cuánto tiempo, dado el rápido ritmo de desarrollo de la IA). La existencia de modelos de dominio refleja esencialmente la reticencia de las empresas de aplicaciones a reconocer la derrota ante las empresas de IA. Esperan construir un foso de conocimiento del dominio, resistir la intrusión de la IA y dominar la IA como herramienta. Pero la IA es inherentemente como un tsunami: arrasa con todo a su paso. Algunas empresas de dominio inevitablemente romperán sus fosos y se verán atraídas por el mundo de la IA. En resumen, los datos de dominio, los procesos y los datos de los agentes entrarán gradualmente en el modelo maestro. La aplicación de modelos a gran escala también debe volver a los principios básicos: la IA no necesita crear nuevas aplicaciones. Su esencia reside en simular, reemplazar o asistir a los humanos en la realización de ciertas tareas esenciales (ciertos trabajos). Esto probablemente da lugar a dos tipos: uno consiste en habilitar software existente mediante IA, modificando lo que originalmente requería intervención humana; el otro consiste en crear software de IA adaptado a una tarea humana específica, reemplazando la mano de obra humana. Por lo tanto, la aplicación de modelos a gran escala debe ayudar a las personas y crear nuevo valor. Si se crea un software de IA, pero nadie lo usa y no puede generar valor, entonces ese software de IA carece de vitalidad.