Ilya: La era de la expansión ha terminado; la era de la investigación ha comenzado. Ilya Sutskever no ha participado en una entrevista de podcast en más de un año. Rara vez se la ve en público desde que dejó OpenAI para fundar SSI (Superinteligencia Segura). Recientemente, mantuvo una conversación a fondo de una hora y media en el podcast de Dwarkesh Patel. Ilya es Ilya, después de todo; a diferencia de Sam Altman, que se pasa el día hablando tonterías para vender productos, la entrevista estuvo llena de valiosas perspectivas, y sospecho que algunas de sus opiniones podrían incluso influir en el futuro de la investigación y la inversión en IA. Es difícil resumir más de una hora de contenido en pocas palabras, así que organicémoslo por temas. [1] ¿Por qué la IA puede superar a los humanos en los exámenes pero no logra corregir un error simple? En la entrevista, Ilya planteó un fenómeno que muchos han experimentado y que resulta desconcertante: los modelos actuales funcionan sorprendentemente bien en diversos sistemas de puntuación, pero en la práctica, se quedan muy lejos de la curva de capacidad. Aún más extraño, si se le pide que corrija un error, lo corrige e introduce uno nuevo; si se le señala el nuevo error, se disculpa y luego vuelve al error anterior. Los dos errores se alternan como en una partida de ping-pong. Ilya usa una analogía para explicar este problema: imaginemos dos estudiantes. El primero aspiraba a convertirse en un programador competitivo de primer nivel, practicando durante 10.000 horas, memorizando todas las plantillas de algoritmos y desarrollando una precisión casi reflexiva. El segundo, a quien las competiciones le parecían geniales, practicó de forma informal durante 100 horas y también logró un buen resultado. ¿Qué persona tiene un mejor desarrollo profesional futuro? Lo más probable es que sea el segundo. Ilya afirma que el modelo actual es incluso más extremo que el del primer estudiante. Durante el entrenamiento, se ejecutaron todos los problemas de la competencia y se sometió a un aumento de datos para generar más variaciones, reforzándolo repetidamente. Como resultado, todas las técnicas algorítmicas están arraigadas, pero este nivel de preparación en sí mismo limita su capacidad de generalización. Esta analogía resalta un punto clave: la habilidad y la generalización son dos cosas diferentes. Practicar problemas de codificación al extremo podría, de hecho, bloquear la aplicación del conocimiento a otras situaciones. [2] La verdadera recompensa por hackear la realizan investigadores humanos. ¿Dónde residió el problema? Ilya cree que se debe a que la lógica para seleccionar los datos de entrenamiento ha cambiado. La era del preentrenamiento era simple: cuantos más datos, mejor; simplemente se podía introducir cualquier dato y tener cuidado. Pero la era del aprendizaje por refuerzo (RL) es diferente. Hay que elegir qué entrenamiento por refuerzo aplicar, qué entorno usar y qué objetivo optimizar. Así, surge un círculo vicioso: los investigadores buscan puntuaciones de referencia impresionantes en el lanzamiento, por lo que diseñan métodos de entrenamiento de aprendizaje por repetición para mejorar estas métricas. El modelo se vuelve cada vez más competente en las pruebas, pero la brecha entre la capacidad para realizarlas y la capacidad en el mundo real se amplía. Irónicamente, lo que realmente recompensa las trampas no es el modelo en sí, sino las personas que lo diseñaron y lo entrenaron, quienes, sin saberlo, se centraron demasiado en las calificaciones de los exámenes. [3] ¿Por qué los humanos aprendemos cosas tan rápido? Esto nos lleva a una pregunta más profunda: ¿Por qué los humanos aprendemos cosas tan rápidamente y de manera tan consistente? Ilya mencionó un caso médico particularmente interesante: una persona perdió todas sus emociones debido a un daño cerebral; no podía sentir tristeza, ira ni entusiasmo. Aún podía hablar, resolver problemas de inteligencia y sus resultados en los exámenes eran normales. Pero su vida se derrumbó por completo: pasaba horas decidiendo qué calcetines ponerse y sus decisiones financieras eran un completo desastre. ¿Qué significa esto? Las emociones son más que simples emociones; actúan como una función de valor intrínseca hasta cierto punto. Te dicen qué vale la pena hacer, qué decisiones son buenas o malas, sin que tengas que esperar el resultado final. La función de valor es un término técnico, pero el concepto no es difícil de entender. El aprendizaje de refuerzo tradicional funciona así: el modelo realiza una larga serie de acciones, obteniendo finalmente una puntuación, y luego la utiliza para ajustar todos los pasos anteriores. El problema es que si la tarea tarda mucho en producir un resultado, la eficiencia del aprendizaje es muy baja. La función de una función de valor es previsualizar la partida. Por ejemplo, en ajedrez, si pierdes una pieza, sabes que fue una mala jugada incluso sin haber jugado toda la partida. En programación, si exploras una dirección y te das cuenta de que es incorrecta después de mil movimientos, una función de valor puede darte una retroalimentación negativa desde el principio, al elegir esa dirección. Es como un sistema de navegación GPS: no espera a que llegues a tu destino para decirte que el camino está mal, sino que empieza a replanificar tan pronto como tomas el giro equivocado. Los humanos probablemente tenemos este tipo de sistema. Y lo bueno de este sistema es que es relativamente simple, pero funciona en una amplia gama de situaciones. Nuestras emociones son principalmente heredadas de nuestros ancestros mamíferos, adaptadas al entorno de hace millones de años, pero aún funcionan bastante bien en la sociedad moderna. Claro que hay momentos en que falla, como cuando nos encontramos ante una calle llena de comida deliciosa y no podemos controlar el hambre. [4] La era de la expansión del poder computacional y de los datos ha terminado; ha comenzado la era de la investigación. ¿Cree Ilya que la era del escalamiento ha terminado? Ofreció una perspectiva muy interesante: entre 2012 y 2020, todos investigaban, probaban cosas nuevas, buscaban lo interesante. Alrededor de 2020, se descubrió la ley de escala y surgió GPT-3. De repente, todos se dieron cuenta de que, siempre que se escalara, se aumentara la cantidad de datos, la potencia de procesamiento y el tamaño de los parámetros del modelo, se podían obtener mejores resultados de forma constante. La ventaja de escalar es el bajo riesgo. La investigación, en cambio, es arriesgada; se necesita contratar a un grupo de personas inteligentes para explorar, y no hay garantía de éxito. ¿Pero escalar? Mientras se inviertan más recursos, se garantiza el retorno. A las empresas les encanta esta certeza. Pero el efecto secundario es que absorbe todo el oxígeno del ambiente, reduce el espacio para la innovación y, en última instancia, crea una situación donde "hay más empresas que ideas". ¿Y ahora qué? Hay una cantidad limitada de datos de preentrenamiento, y el tamaño de internet también es limitado; con el tiempo se agotará. Gemini, según se informa, encontró una manera de extraer más del preentrenamiento, pero ese camino tiene sus límites. Entonces todos recurrieron al aprendizaje por refuerzo y comenzaron a aumentar la potencia de procesamiento. La pregunta es: con una potencia de cálculo ya tan alta, ¿un aumento de 100 veces supondrá realmente un cambio cualitativo? Ilya no lo cree. Cree que hemos vuelto a una etapa en la que debemos reflexionar sobre lo que deberíamos estar haciendo, en lugar de acumular recursos a ciegas. Es como escalar una montaña. Al principio, encuentras un camino y sigues subiendo, cada vez más alto. Pero un día, te darás cuenta de que el camino ha terminado y no puedes llegar más alto si sigues adelante. En ese punto, tienes que cambiar de camino o cambiar tu forma de escalar; no puedes continuar con la misma estrategia. La industria de la IA se encuentra actualmente en esta coyuntura. Como dijo Ilya, hemos regresado a la era de la investigación, solo que esta vez disponemos de computadoras mucho más grandes. [5] La capacidad de generalización es la cuestión central. Según Ilya, el problema más fundamental es que estos modelos tienen una capacidad de generalización muy pobre. ¿Qué significa poca capacidad de generalización? Significa que aprender algo requiere demasiados datos y lo aprendido no funciona en otro contexto. Los humanos no somos así. Un adolescente puede aprender a conducir en unas 10 horas y estar en la carretera. Además, las capacidades visuales de un niño de cinco años son suficientes para la conducción autónoma. Aunque no pueden conducir, sus capacidades para reconocer las condiciones de la carretera y calcular distancias ya son muy sólidas, y estas habilidades se aprenden en el entorno de baja diversidad de datos del hogar de sus padres. Más importante aún, los humanos aprenden programación y matemáticas con gran rapidez. Estas no son habilidades que adquirimos mediante la evolución, ya que nuestros ancestros no necesitaban escribir código. Esto sugiere que los humanos no solo tienen una ventaja evolutiva en ciertas tareas específicas, sino que poseen una capacidad más fundamental en el acto mismo de aprender. ¿Qué hay del modelo? Si bien supera a la gente común en ciertas tareas específicas, aún está muy por detrás en cuanto a capacidad de aprendizaje. Ilya tiene algunas ideas sobre este tema, pero dijo que no puede entrar en detalles ahora mismo porque no todas las ideas de aprendizaje automático pueden discutirse públicamente en este campo tan competitivo. Sin embargo, dio una pista: probablemente esté relacionado con cómo lograr una generalización eficiente y estable como la de los humanos. Existe otro obstáculo potencial: ¿quizás las neuronas humanas realmente realizan más cálculos de lo que creemos? De ser así, las cosas se complican aún más. Pero, en cualquier caso, la mera existencia de los humanos demuestra que un aprendizaje tan eficiente es posible. [6] Redefiniendo la IAG: del producto terminado al alumno Aquí Ilya hace una corrección conceptual importante. ¿De dónde surgió el concepto de IA general? Nació como lo opuesto a la "IA limitada". La IA anterior solo podía jugar al ajedrez, lo cual era muy limitado. Por lo tanto, se decía: Necesitamos crear una IA de propósito general, una IA que pueda hacerlo todo. El preentrenamiento refuerza esta impresión, ya que, efectivamente, mejora el rendimiento de los modelos en una amplia gama de tareas. Por lo tanto, la «IA general» y el preentrenamiento se han vinculado conceptualmente. Pero aquí está el problema: según esta definición, ni siquiera los propios humanos pueden calificar como IAG. Los humanos poseemos un conjunto de habilidades básicas, pero carecemos de una gran cantidad de conocimientos específicos. Dependemos del aprendizaje continuo. Un joven brillante de quince años puede no saber nada, pero aprenderlo todo rápidamente. "Conviértete en programador", "Conviértete en médico", "Estudia": implementar ideas implica inherentemente un proceso de aprendizaje y ensayo y error. Por lo tanto, en la mente de Ilya, una superinteligencia no es un producto terminado que sabe todo desde la fábrica, sino un aprendiz que puede aprender cualquier habilidad tan rápido como un humano. [7] ¿Cuándo llegará la IA capaz de aprender automáticamente? ¿Qué tan peligrosa es? Así que la pregunta es la siguiente: ¿qué pasaría si existiera un sistema que pudiera aprender tan rápido como un humano y pudiera replicarse e implementarse a gran escala? Los humanos suelen tardar seis meses en ser productivos, pero esta IA podría hacerlo en semanas. Además, puede fusionar lo aprendido por diferentes copias, algo que los humanos no pueden hacer. ¿No conduciría esto a un crecimiento explosivo? Ilya cree que, sin duda, habrá un rápido crecimiento económico, pero es difícil predecir con exactitud a qué velocidad. Por un lado, existe una fuerza laboral altamente eficiente; por otro, el mundo real es vasto y muchas cosas tienen su propio ritmo; no se puede acelerar todo a voluntad. Pero sí cambió parte de su pensamiento. Anteriormente, el plan de SSI era "apuntar directamente a la superinteligencia": lograr el objetivo final de una sola vez, sin lanzar productos intermedios. Ahora, Ilya cree que un enfoque más gradual podría ser más importante. [9] ¿Por qué es necesario un despliegue gradual? Porque hay que verlo antes de imaginarlo. Durante la entrevista, Ilya enfatizó repetidamente un punto: el problema con la IA es que todavía no existe, y las cosas que no existen son difíciles de imaginar. Puedes leer un artículo que dice "La IA se volverá increíble" y, después de leerlo, pensar: "¡Qué interesante!", y luego volver a la realidad. Pero si ves a la IA haciendo eso con tus propios ojos, la sensación es completamente diferente. Puso una analogía: es como hablar de "qué se siente ser viejo y frágil" a los veinte años. Puedes hablar de ello, puedes imaginarlo, pero la verdadera comprensión solo se logra con la experiencia. Esto conduce a un problema práctico: todos los debates sobre los riesgos de la IA se basan en la imaginación sobre su futuro. Y la imaginación a menudo va a la zaga de la realidad. Incluso quienes trabajan con IA a diario subestiman las capacidades de los modelos futuros debido a los diversos errores básicos de los modelos actuales. Ilya predice que, a medida que la IA se vuelve más potente, el comportamiento humano cambiará radicalmente. Los competidores empezarán a colaborar en materia de seguridad, y los gobiernos y el público empezarán a tomarse en serio la regulación. Estas cosas están empezando a surgir, pero aún no son suficientes. El verdadero catalizador es que la gente vea una IA aún más potente. Por eso también ha suavizado su postura sobre la estrategia de SSI de "ir directo a la superinteligencia". Su idea original era evitar la competencia en el mercado, centrarse en la investigación y lanzar la tecnología solo cuando estuviera lista. Ahora, considera que visibilizar la IA es valioso en sí mismo. Por supuesto, independientemente del camino que se tome, el despliegue final debe ser gradual. [9] ¿Qué hace SSI? Diferentes enfoques técnicos SSI recaudó 3 mil millones de dólares. Esta cifra parece considerable por sí sola, pero resulta insuficiente comparada con las decenas de miles de millones de dólares invertidos por otras empresas. Ilya hizo los cálculos. Gran parte de esas elevadas cifras se destina a servicios de inferencia. Además, el desarrollo de productos requiere una cantidad considerable de ingenieros, personal de ventas y desarrolladores de funciones, lo que reduce los recursos de investigación. Los recursos reales utilizados para la investigación de vanguardia no son tan desproporcionados como parecen. Más importante aún, si estás haciendo algo diferente, no necesitas necesariamente la computación a gran escala para validar tus ideas. AlexNet se entrenó con dos GPU. El artículo de Transformer utilizó un máximo de 64 GPU en 2017, lo que equivale a aproximadamente dos tarjetas hoy en día. Las capacidades de inferencia del primer modelo de inferencia, O1, no se lograron simplemente aumentando la potencia de procesamiento. La investigación requiere cierta potencia de cálculo, pero no la máxima. El verdadero obstáculo es la idea. ¿Cuál es entonces la hoja de ruta técnica de SSI? Ilya no lo reveló todo, pero la dirección principal es resolver el problema de la generalización. Cree que los métodos actuales llegarán a un punto en el que se estancarán, y seguirán mejorando, pero no podrán alcanzar capacidades de aprendizaje verdaderamente humanas. SSI, por otro lado, está explorando diferentes caminos. ¿Cuál es el plazo? De cinco a veinte años para alcanzar capacidades de aprendizaje a nivel humano. [10] ¿Qué es una alineación segura? ¿Con qué se debe alinear? Al hablar de superinteligencia, la cuestión de la alineación segura es inevitable. La idea de Ilya es permitir que la IA se preocupe por los seres sintientes. ¿Por qué este objetivo en lugar de "cuidar a la humanidad"? Dio una razón interesante: la propia IA también posee capacidades perceptivas. Si se quiere que la IA cuide a la humanidad, podría ser más difícil, ya que requiere un procesamiento especial. Sin embargo, lograr que cuide a todos los seres sintientes es, en cierto modo, más natural, similar a la empatía humana por los animales, derivada del uso de los mismos circuitos neuronales para comprendernos a nosotros mismos y a los demás. Por supuesto, este plan también presenta problemas. Si la mayoría de los seres sintientes son IA, los humanos serán una pequeña minoría. ¿Puede esto realmente garantizar los intereses de la humanidad? Ilya reconoce que quizá no sea la mejor opción, pero cree que al menos debería incluirse en la lista corta para que las empresas puedan elegirla más adelante. Otra idea que mencionó, pero que no le convenció del todo, fue la integración hombre-máquina. Esto implica usar tecnología similar a la interfaz cerebro-computadora de Neuralink para transformar parcialmente a los humanos en IA. De esta forma, la comprensión de la IA reflejaría la comprensión humana, y la situación de la IA reflejaría la situación humana, mitigando así en cierta medida el problema de alineación. Sin embargo, esta es claramente una solución muy radical. [11] ¿Cómo codificar deseos avanzados? La entrevista concluyó con una discusión muy interesante. Los humanos tenemos muchos deseos sociales: el deseo de ser respetados, la preocupación por el estatus social y la preocupación por cómo los perciben los demás. Estas no son señales de bajo nivel, a diferencia de los sensores químicos directos que detectan el aroma de la comida. El cerebro necesita integrar una gran cantidad de información para comprender lo que sucede en una situación social. Pero la evolución ha logrado codificar con éxito en los genes la preocupación por esto. ¿Cómo lo lograron? Si bien es concebible "conectar la dopamina con los receptores olfativos", es mucho más difícil imaginar "conectar las señales de recompensa con algún tipo de juicio de alto nivel que requiera que todo el cerebro trabaje en conjunto para tomar una decisión". Ilya dice que tiene algunas conjeturas, pero ninguna es satisfactoria. Es un misterio. Pero la existencia de este misterio es en sí misma muy esclarecedora, pues sugiere que la evolución ha encontrado una manera de implantar de forma fiable objetivos de alto nivel en sistemas cognitivos complejos. [12] ¿Qué es el gusto por la investigación? Al final de la entrevista, Dwarkesh le hizo a Ilya una pregunta muy fundamental: como alguien que co-creó una serie de trabajos importantes como AlexNet y GPT-3, ¿cómo juzgas qué ideas vale la pena perseguir? La respuesta de Ilya fue poética: Estoy buscando la belleza. No se trata de cualquier tipo de belleza, sino de una belleza multifacética: simplicidad, elegancia e inspiración del hemisferio derecho. Las neuronas artificiales son una buena idea porque el cerebro, de hecho, tiene muchas neuronas, y aunque el cerebro es complejo, el concepto abstracto de neurona captura la esencia. Las representaciones distribuidas son una buena idea porque el cerebro, de hecho, aprende de la experiencia. Cuando una idea parece "correcta" en múltiples dimensiones, con cierta armonía inherente, se puede establecer una creencia de arriba a abajo. Esta creencia es crucial porque sustenta la persistencia incluso cuando los resultados experimentales son desfavorables. A veces los experimentos fallan no porque la dirección sea incorrecta, sino porque hay un error. ¿Cómo se decide si se debe continuar depurando o abandonar la dirección? Se basa en esta intuición estética descendente: esto debería ser así, por lo que debe funcionar; hay que seguir buscando problemas. Esta puede ser la diferencia entre los investigadores de élite y los investigadores comunes. Los investigadores comunes se dejan llevar fácilmente por los datos y cambian de rumbo si un experimento no funciona. Los investigadores de élite, en cambio, tienen un gusto definido, saben lo que es fundamentalmente correcto y pueden encontrar el equilibrio entre los resultados experimentales y su intuición.
Cargando el detalle del hilo
Obteniendo los tweets originales de X para ofrecer una lectura limpia.
Esto suele tardar solo unos segundos.