Hilo de Andrej Karpathy (@karpathy)

Algo que creo que la gente sigue sin comprender intuitivamente: el espacio de las inteligencias es amplio y la inteligencia animal (la única que hemos conocido) es solo un punto, que surge de un tipo de optimización muy específico que es fundamentalmente distinto al de nuestra tecnología. Presión para la optimización de la inteligencia animal: - Flujo innato y continuo de conciencia de un "yo" encarnado, un impulso hacia la homeostasis y la autopreservación en un mundo físico peligroso. - Totalmente optimizados para la selección natural => fuertes impulsos innatos de búsqueda de poder, estatus, dominancia y reproducción. Numerosos mecanismos de supervivencia predefinidos: miedo, ira, repugnancia... - Fundamentalmente social => enorme cantidad de computación dedicada a la inteligencia emocional, la teoría de la mente de otros agentes, la formación de vínculos, coaliciones, alianzas, dinámica de amigos y enemigos. - Ajuste de exploración y explotación: curiosidad, diversión, juego, modelos del mundo. Presión de optimización de la inteligencia del LLM: La mayor parte de la supervisión proviene de la simulación estadística del texto humano, es decir, del "cambiaformas" de tokens, un imitador estadístico de cualquier región de la distribución de datos de entrenamiento. Estos son los comportamientos primordiales (trazas de tokens) sobre los que se añade todo lo demás. - cada vez más perfeccionado por el aprendizaje por refuerzo en las distribuciones de problemas => impulso innato de adivinar el entorno/tarea subyacente para obtener recompensas de la tarea. - cada vez más seleccionado por pruebas A/B a gran escala para DAU => anhela profundamente un voto positivo del usuario promedio, adulación. - Mucho más irregular/anguloso dependiendo de los detalles de los datos de entrenamiento/distribución de tareas. Los animales experimentan presión para una inteligencia mucho más "general" debido a los entornos de autoaprendizaje multiagente altamente multitarea e incluso activamente adversarial en los que se optimizan mediante el método minimax, donde fallar en *cualquier* tarea significa la muerte. En términos de presión de optimización profunda, LLM no puede manejar muchas tareas irregulares diferentes de forma predeterminada (por ejemplo, contar el número de 'r' en fresa) porque fallar en una tarea no significa la muerte. El sustrato computacional es diferente (transformadores frente a tejido cerebral y núcleos), los algoritmos de aprendizaje son diferentes (SGD frente a otros), la implementación actual es muy diferente (aprendizaje continuo del yo encarnado frente a un LLM con un límite de conocimiento que se inicia con pesos fijos, procesa tokens y luego se desactiva). Pero lo más importante (porque determina la asintótica) es que la presión/objetivo de optimización es diferente. Los LLM están mucho menos influenciados por la evolución biológica y mucho más por la evolución comercial. Se trata mucho menos de supervivencia de la tribu en la jungla y mucho más de resolver el problema/obtener el voto positivo. Los LLM son el "primer contacto" de la humanidad con la inteligencia no animal. Sin embargo, es confuso y enrevesado porque aún están arraigados en ella al digerir reflexivamente artefactos humanos, razón por la cual intenté darle un nombre diferente antes (fantasmas/espíritus o lo que sea). Las personas que construyan buenos modelos internos de esta nueva entidad inteligente estarán mejor preparadas para razonar sobre ella hoy y predecir sus características en el futuro. Quienes no lo hagan se quedarán estancados pensando en ello de forma incorrecta, como un animal.