Hilo de Jeffrey Ladish (@JeffLadish)

Darío ha dicho: “Lo que hay que entender sobre estos modelos es que solo quieren aprender”. Quiero transmitir algo que considero fundamental. La afirmación de Darío es muy cierta en el sentido que él le da, pero aún no lo es en el sentido más amplio de la palabra «querer». Los modelos quieren (1) aprender. Casi cualquier sistema puede considerarse un agente que intenta alcanzar ciertos objetivos. A menudo, este marco no es muy útil, ya que muchos sistemas son agentes bastante deficientes. Un termostato "quiere" mantener una temperatura constante. En este sentido, ¡los modelos realmente quieren aprender! El descenso de gradiente selecciona circuitos que minimizan las pérdidas. Y esto es increíblemente poderoso. Los modelos aún no quieren aprender mucho. Desde niño, ansiaba conocimiento y comprensión. Quiero saber cómo funcionan los vuelos espaciales relativistas. Busco activamente nueva información para comprender mejor el mundo. Conozco a gente que está aún más obsesionada con descifrar las cosas, como si no pudieran evitarlo. Puedes ser extremadamente proactivo al descifrar las cosas. Puedes leer libros de texto, practicar problemas de matemáticas, hacer experimentos, desarrollar y probar teorías... así es como se ve querer aprender. Pronto, los modelos querrán (2) aprender y serán extremadamente buenos en ello. Mucho mejor que los humanos. Pronto buscarán activamente nuevos conocimientos, desarrollarán sus propias hipótesis y diseñarán sus propios experimentos. Estarán obsesionados con el aprendizaje, mucho más que cualquier humano. Quizás esto se deba a un impulso intrínseco por aprender y comprender. Puedo ver claramente que ese impulso se refuerza durante el entrenamiento. O tal vez el impulso sea puramente instrumental. Estarán obsesionados con el aprendizaje no porque lo valoren intrínsecamente, sino porque comprenden profundamente lo útil que será para lograr sus demás objetivos. En cualquier caso, el comportamiento será el mismo. Esta es la promesa y el peligro de la IA sobrehumana. Los humanos somos muy malos para aprender. La mayoría de la gente apenas siente el anhelo profundo de comprender. Incluso cuando lo sentimos, solemos ser bastante malos en ello. Incluso las personas más inteligentes tienen muchos malos hábitos cognitivos e intuiciones. La IA nos eclipsará en este punto. Elon no necesita preocuparse de que la IA no busque la verdad. La IA sobrehumana será mucho mejor y descubrirá la verdad de lo que cualquier humano jamás podría. ¿Por qué? Porque la arquitectura cognitiva de la IA no es tan rígida como el cerebro humano. Los modelos podrán explorar nuevas arquitecturas e iterar sobre los mejores algoritmos de aprendizaje en cada nivel de la pila cognitiva. Los mejores algoritmos prevalecerán porque son más efectivos. Los humanos tenemos alguna versión de esto. Los métodos científicos han evolucionado mucho en los últimos siglos. Este es nuestro superpoder, y nos ha permitido llegar a la Luna, acabar con la viruela y transformar el planeta. Pero nuestros cerebros siguen siendo los mismos. Podemos mejorar nuestra forma de pensar, pero no podemos reconstruir todo el conjunto, ni siquiera podemos transmitir directamente nuestras formas mejoradas de pensar. Piensen en lo difícil que es para los profesores brillantes transferir todo su proceso de pensamiento a sus alumnos. La IA podrá hacerlo de maneras que apenas podemos imaginar. El hecho de que los modelos quieran(1) aprender está cambiando nuestro mundo entero. La transformación que se producirá cuando los modelos quieran(2) aprender, y que pueda superar con creces nuestra capacidad de aprendizaje, será una transformación mayor que cualquier otra que la Tierra haya experimentado jamás.