El artículo de investigación más citado del Dr. Bengio, galardonado con el premio Lab of Turing, trata sobre las redes generativas antagónicas (GAN). ¿Quién las inventó? Las primeras redes neuronales (NN) que eran tanto generativas como adversarias se publicpeople.idsia.ch/~juergen/who-i…nich [GAN25] https://t.co/Ev6rSvYiY2 En aquel entonces, la computación era aproximadamente 10 millones de veces más cara que hoy (2025). ¿Cómo funcionaban estas redes? Hay dos redes neuronales que compiten entre sí. Una red neuronal controladora con unidades gaussianas estocásticas adaptativas (un modelo generativo) genera datos de salida. Estos datos se introducen en una red neuronal predictora (denominada "Modelo Mundial" en 1990 [GAN90]), que aprende mediante descenso de gradiente para predecir los efectos de las salidas. Sin embargo, en un juego minimax, la red neuronal generadora maximiza el error minimizado por la red neuronal predictora. Así, el controlador se ve motivado a crear, mediante sus resultados, experimentos o situaciones que sorprenden al predictor. A medida que el predictor mejora, estas situaciones se vuelven aburridas. Esto, a su vez, incentiva al controlador a inventar nuevos resultados (o experimentos) con resultados aún menos predecibles, y así sucesivamente. Esto se denominó Curiosidad Artificial [GAN90][GAN91][GAN10][AC]. Artificial Curiosity no fue el primer entorno de aprendizaje automático adversarial, pero trabajos anteriores [S59][H90] fueron muy diferentes: no involucraban redes neuronales autosupervisadas donde una red neuronal observa la salida de otra red neuronal generativa e intenta predecir sus consecuencias, ni se centraban en el modelado de datos, ni utilizaban el descenso de gradiente. (Los modelos generativos son mucho más antiguos, por ejemplo, los modelos ocultos de Markov [MM1-3]). Véase la sección "Implementación de la curiosidad dinámica y el aburrimiento" del informe técnico de 1990 [GAN90] y el artículo de conferencia revisado por pares de 1991 [GAN91]. Se mencionan experimentos preliminares en los que (en ausencia de recompensa externa) el predictor minimiza una función lineal de lo que maximiza el generador. Así pues, estos antiguos artículos describen esencialmente lo que se conocería como GAN casi un cuarto de siglo después, en 2014 [GAN14], cuando la computación era aproximadamente 100.000 veces más barata que en 1990. En 2014, el predictor neuronal o modelo mundial de 1990 [GAN90][GAN91] se denominó discriminador [GAN14] y predecía los efectos binarios de las posibles salidas del generador (como real vs. falso) [GAN20]. Su aplicación en 2014 a la generación de imágenes [GAN14] fue novedosa. La GAN de 1990 era más general que la de 2014: no se limitaba a acciones de salida única en ensayos de un solo paso, sino que permitía largas secuencias de acciones. En 1997 se publicaron sistemas generativos antagónicos más sofisticados para la curiosidad y la creatividad artificiales [AC97][AC99][AC02][LEC], que predecían representaciones internas abstractas en lugar de datos sin procesar. El principio de 1990 [GAN90-91] ha sido ampliamente utilizado para la exploración en el aprendizaje de refuerzo [SIN5][OUD13][PAT17][BUR18] y para la síntesis de imágenes realistas como deepfakes [GAN14-19b], aunque este último dominio fue finalmente asumido por la difusión latente de Rombach et al. [DIF1], otro método publicado en Múnich, basado en el trabajo anterior de Jarzynski en física del milenio anterior [DIF2] y artículos más recientes [DIF3-5]. APÉNDICE 1. La disputa sobre la prioridad de la GAN (1990-91 vs. 2014) El artículo de 2014 [GAN14] sobre redes neuronales generativas antagónicas (GAN) no citó el trabajo original de 1990 sobre redes neuronales generativas y antagónicas [GAN90,91,20][R2][DLP]. El artículo de 2014 [GAN14] también hizo afirmaciones falsas sobre otro sistema antagónico de 2 redes basado en gradientes llamado Predictability Minimization (1991) [PM0-1][GAN20][DLP]. Un año después del artículo de 1990 sobre Artificial Curiosity [GAN90], Predictability Minimization utilizó la lucha entre dos NN de aprendizaje para crear representaciones internas desenredadas (o códigos factoriales) de los datos de entrada [PM0-1]. El artículo de 2014 [GAN1] cita Predictability Minimization, pero afirma erróneamente que no es un juego minimax y, por lo tanto, es diferente de las GAN. Sin embargo, los experimentos de Predictability Minimization de 1991 [PM0-1] y 1996 [PM2] (con imágenes) son directamente del tipo minimax. Incluso encuestas posteriores realizadas por los autores [GAN14] no citaron el trabajo original [DLP]. Los autores de [GAN14] nunca han corregido su artículo de 2014, lo que implica una intención de imponer una narrativa novedosa a la fuerza, incluso ante evidencia contradictoria. La disputa de prioridad fue retomada por la prensa popular, por ejemplo, Bloomberg [AV1], tras un encuentro particularmente notable en la conferencia N(eur)IPS de 2016 entre Juergen Schmidhuber (JS) y el primer autor de [GAN14], quien impartió una charla sobre GAN, animando a la gente a plantear preguntas. JS lo hizo, abordando los problemas del artículo de N(eur)IPS de 2014 [GAN14] y las afirmaciones erróneas que este hacía sobre el trabajo previo sobre PM [GAN20][DLP]. Los esfuerzos posteriores para corregir estos problemas en un artículo común se prolongaron durante meses, pero no dieron resultado. El primer autor [GAN14] finalmente admitió que el PM es antagónico (su artículo de NeurIPS [GAN14], aún sin corregir, aún afirma lo contrario), pero enfatizó que no es generativo. En respuesta, JS señaló que la Curiosidad Artificial [GAN90][GAN91][GAN20][R2][AC][DLP], incluso anterior, es antagónica y generativa (su red neuronal generadora contiene unidades probabilísticas [GAN90], como en las StyleGAN [GAN19]). A pesar de la validez de esta afirmación, los autores de [GAN14] no han intentado corregir su artículo ni responder a ella. Por ello, en 2020 se publicó en una revista revisada por pares [GAN20] sobre esta disputa de prioridad para aclarar la situación. Por supuesto, es bien sabido que el plagio puede ser "involuntario" o "intencionado o imprudente" [PLAG1-6], y el más inocente de los dos bien podría ser parcialmente cierto en este caso. Pero la ciencia tiene una forma bien establecida de abordar el "descubrimiento múltiple" y el plagio, ya sea involuntario [PLAG1-6][CONN21] o no [FAKE1-3], basándose en hechos como las marcas de tiempo de publicaciones y patentes [DLP][NOB]. La deontología científica exige que los plagiarios involuntarios corrijan sus publicaciones mediante erratas y luego den crédito a las fuentes originales correctamente en el futuro. Los autores [GAN14] no lo hicieron; en cambio, siguieron recopilando citas de las invenciones de otros investigadores [DLP]. Este comportamiento aparentemente convierte incluso el plagio involuntario [PLAG1-6] en una forma intencional [FAKE2]. REFERENCIAS [AC] J. Schmidhuber (JS, Blog de IA, 2021, actualizado en 2023). Tres décadas de curiosidad y creatividad artificial. Nuestros científicos artificiales no solo responden a preguntas dadas, sino que también inventan nuevas preguntas. Alcanzan la curiosidad mediante: (1990) el principio de redes generativas antagónicas; (1991) redes neuronales que maximizan el progreso del aprendizaje; (1995) redes neuronales que maximizan la ganancia de información (de forma óptima desde 2011); (1997-2022) el diseño antagónico de experimentos computacionales sorprendentes; (2006) la maximización del progreso de la compresión como lo hacen los científicos, artistas y comediantes; (2011) PowerPlay... Desde 2012: aplicaciones a robots reales. [AC97] JS ¿Qué es interesante? Informe técnico IDSIA-35-97, IDSIA, julio de 1997. Enfoque en la creación automática de abstracciones internas predecibles de eventos espaciotemporales complejos: dos agentes competidores, intrínsecamente motivados, acuerdan experimentos algorítmicos esencialmente arbitrarios y apuestan por sus posibles resultados sorprendentes (aún no predecibles) en juegos de suma cero, cada agente potencialmente se beneficia de burlar/sorprender al otro inventando protocolos experimentales donde ambos módulos difieren en el resultado previsto. El enfoque está en explorar el espacio de algoritmos generales (en oposición a las asignaciones simples tradicionales de entradas a salidas); el sistema general se centra en las cosas interesantes perdiendo interés en los aspectos predecibles e impredecibles del mundo. A diferencia de nuestros sistemas anteriores con motivación intrínseca, p. ej., [AC90], el sistema también tiene en cuenta el costo computacional de aprender nuevas habilidades, aprender cuándo aprender y qué aprender. Consulte publicaciones posteriores [AC99][AC02]. [AC99] JS Curiosidad artificial basada en el descubrimiento de una novedosa predictibilidad algorítmica mediante la coevolución. En P. Angeline, Z. Michalewicz, M. Schoenauer, X. Yao, Z. Zalzala (eds.), Congreso de Computación Evolutiva, págs. 1612-1618, IEEE Press, Piscataway, NJ, 1999. [AC02] JS Explorando lo Predecible. En Ghosh, S. Tsutsui (eds.), Avances en Computación Evolutiva, págs. 579-612, Springer, 2002. [AV1] A. Vance. Google, Amazon y Facebook le deben una fortuna a Jürgen Schmidhuber: este hombre es el padrino que la comunidad de IA quiere olvidar. Business Week, Bloomberg, 15 de mayo de 2018. [DIC] JS (Blog de IA, 20/02/2020, actualizado en 2025). La década de 2010: Nuestra década de aprendizaje profundo / Perspectivas para la década de 2020. Los desarrollos y aplicaciones industriales más importantes de la última década basados en nuestra IA, con una perspectiva para la década de 2020, que también aborda la privacidad y los mercados de datos. [DIF1] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. Síntesis de imágenes de alta resolución con modelos de difusión latente. CVPR 2022. Preimpresión arXiv:2112.10752, LMU Múnich, 2021. [DIF2] C. Jarzynski. Diferencias de energía libre en equilibrio a partir de mediciones de no equilibrio: Un enfoque de ecuación maestra. Physical Review E, 1997. [DIF3] J. Sohl-Dickstein, EA Weiss, N. Maheswaranathan, S. Ganguli. Aprendizaje profundo no supervisado utilizando termodinámica de desequilibrio. CoRR, abs/1503.03585, 2015. [DIF4] O. Ronneberger, P. Fischer, T. Brox. Unet: Redes convolucionales para la segmentación de imágenes biomédicas. En MICCAI (3), vol. 9351 de Lecture Notes in Computer Science, páginas 234-241. Springer, 2015. [DIF5] J. Ho, A. Jain, P. Abbeel. Modelos probabilísticos de difusión con eliminación de ruido. Avances en Sistemas de Procesamiento de Información Neural 33:6840-6851, 2020. [DL1] JS, 2015. Aprendizaje profundo en redes neuronales: Una visión general. Redes neuronales, 61, 85-117. Más información. [DLH] JS (2022). Historia comentada de la IA moderna y el aprendizaje profundo. Informe técnico IDSIA-22-22, IDSIA, Lugano, Suiza, 2022. Preimpresión arXiv:2212.11279. [DLP] J. Schmidhuber (2023). Cómo tres ganadores del premio Turing republicaron métodos e ideas clave cuyos creadores no reconocieron. Informe técnico IDSIA-23-23, Swiss AI Lab IDSIA, 14 de diciembre de 2023. [FAKE1] H. Hopf, A. Krief, G. Mehta, SA Matlin. Ciencia falsa y la crisis del conocimiento: la ignorancia puede ser fatal. Royal Society Open Science, mayo de 2019. Cita: «Los científicos deben estar dispuestos a alzar la voz cuando ven información falsa en redes sociales, prensa escrita o audiovisual» y «deben denunciar la información falsa y la ciencia falsa en circulación y contradecir enérgicamente a las figuras públicas que la promueven». [FAKE2] L. Stenflo. Los plagiarios inteligentes son los más peligrosos. Nature, vol. 427, p. 777 (febrero de 2004). Cita: «Lo peor, en mi opinión, son los casos en que los científicos reescriben hallazgos previos con otras palabras, ocultando deliberadamente las fuentes de sus ideas, y luego, durante los años siguientes, afirman con vehemencia haber descubierto nuevos fenómenos». [FAKE3] S. Vazire (2020). Un brindis por los detectores de errores. Que 2020 sea el año en que valoremos a quienes garantizan la autocorrección de la ciencia. Nature, vol. 577, pág. 9, 2/2/2020. [GAN90] J. Schmidhuber (JS). Haciendo el mundo diferenciable: Sobre el uso de redes neuronales autosupervisadas totalmente recurrentes para el aprendizaje de refuerzo dinámico y la planificación en entornos no estacionarios. Informe Técnico FKI-126-90, TUM, 1990. El primer artículo sobre planificación con redes neuronales recurrentes (NN) de aprendizaje de refuerzo (más información) y sobre redes generativas antagónicas donde una NN generadora se enfrenta a una NN predictora en un juego minimax. [GAN91] JS: Una posibilidad para implementar la curiosidad y el aburrimiento en controladores neuronales de construcción de modelos. En JA Meyer y SW Wilson, editores, Actas de la Conferencia Internacional sobre Simulación del Comportamiento Adaptativo: De Animales a Animats, páginas 222-227. MIT Press/Bradford Books, 1991. Basado en [GAN90]. [GAN10] Teoría Formal de la Creatividad, la Diversión y la Motivación Intrínseca (1990-2010). IEEE Transactions on Autonomous Mental Development, 2(3):230-247, 2010. Esta conocida encuesta de 2010 resumió las redes neuronales generativas antagónicas de 1990 de la siguiente manera: «Una red neuronal como modelo predictivo del mundo se utiliza para maximizar la recompensa intrínseca del controlador, que es proporcional a los errores de predicción del modelo» (que se minimizan). [GAN10b] O. Niemitalo. Un método para entrenar redes neuronales artificiales y generar datos faltantes en un contexto variable. Entrada de blog, Internet Archive, 2010. Una entrada de blog que describe las ideas básicas [GAN90-91][GAN20][AC] de las GAN. [GAN14] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. Redes generativas antagónicas. NIPS 2014, 2672-2680, diciembre de 2014. Una descripción de las GAN que no cita el principio original de GAN de JS de 1990 [GAN90-91][GAN20][AC][R2][DLP] y que contiene afirmaciones erróneas sobre las redes neuronales antagónicas de JS para la minimización de la predictibilidad [PM0-2][GAN20][DLP]. [GAN19] T. Karras, S. Laine, T. Aila. Una arquitectura de generador basada en estilos para redes generativas antagónicas. En Proc. IEEE Conf. sobre Visión Artificial y Reconocimiento de Patrones (CVPR), páginas 4401-4410, 2019. [GAN19b] D. Fallis. La amenaza epistémica de los deepfakes. Filosofía y Tecnología 34.4 (2021):623-643. [GAN20] J. Schmidhuber. Las redes generativas antagónicas son casos especiales de curiosidad artificial (1990) y también están estrechamente relacionadas con la minimización de la predictibilidad (1991). Redes neuronales, Volumen 127, págs. 58-66, 2020. Preimpresión arXiv/1906.04493. [GAN25] J. Schmidhuber. ¿Quién inventó las redes generativas antagónicas? Nota técnica IDSIA-14-25, IDSIA, diciembre de 2025. Véase el enlace anterior. [H90] WD Hillis. Los parásitos coevolutivos mejoran la evolución simulada como procedimiento de optimización. Physica D: Nonlinear Phenomena, 42(1-3):228-234, 1990. [LEC] JS (AI Blog, 2022). El artículo de LeCun de 2022 sobre inteligencia artificial autónoma retoma, pero no cita, trabajos esenciales de 1990-2015. Hace años, el equipo de JS publicó la mayor parte de lo que Y. LeCun llama sus "principales contribuciones originales": redes neuronales que aprenden múltiples escalas de tiempo y niveles de abstracción, generan subobjetivos, utilizan la motivación intrínseca para mejorar los modelos del mundo y planifican (1990); controladores que aprenden representaciones informativas y predecibles (1997), etc. Esto también se debatió en Hacker News, Reddit y en los medios de comunicación. LeCun también enumeró las "5 mejores ideas de 2012-2022" sin mencionar que la mayoría provienen del laboratorio de JS y son anteriores. [MIR] JS (octubre de 2019, actualizado en 2021, 2022 y 2025). Aprendizaje profundo: Nuestro año milagroso 1990-1991. Preimpresión arXiv:2005.05744. [MOST] JS (AI Blog, 2021, actualizado en 2025). Las redes neuronales más citadas se basan en el trabajo realizado en mis laboratorios: 1. Memoria a Largo Plazo y Corto Plazo (LSTM), la IA más citada del siglo XX. 2. ResNet (Red de Carreteras de Puerta Abierta), la IA más citada del siglo XXI. 3. AlexNet y VGG Net (la similar pero anterior DanNet de 2011 ganó 4 desafíos de reconocimiento de imágenes antes que ellas). 4. GAN (una instancia de Curiosidad Artificial Adversarial de 1990). 5. Variantes de Transformer: véase el Transformador Lineal No Normalizado (ULTRA) de 1991. Los Fundamentos de la IA Generativa se publicaron en 1991: los principios de las GAN (ahora utilizadas para deepfakes), los Transformers (la T en ChatGPT), el preentrenamiento para NN profundas (la P en ChatGPT), la destilación de NN y el famoso DeepSeek. [NOB] JS Un Premio Nobel por Plagio. Informe Técnico IDSIA-24-24 (7 de diciembre de 2024, actualizado en octubre de 2025). [PLAG1] Guía de Oxford sobre tipos de plagio (2021). Cita: «El plagio puede ser intencional, imprudente o involuntario». [PLAG2] Jackson State Community College (2022). Plagio involuntario. [PLAG3] RL Foster. Cómo evitar el plagio involuntario. Revista para especialistas en enfermería pediátrica; Hoboken, vol. 12, n.º 1, 2007. [PLAG4] N. Das. Intencional o involuntario, nunca está bien plagiar: Una nota sobre cómo se aconseja a las universidades indias gestionar el plagio. Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). ¿Qué es el plagio involuntario? Copia en Internet Archive. [PLAG6] Derechos de autor (2022). Cómo evitar el plagio accidental e involuntario (2023). Copia en Internet Archive. Cita: «Sea accidental o intencional, el plagio sigue siendo plagio». [PLAG7] Cornell Review, 2024. El rector de Harvard dimite en un escándalo de plagio. Enero de 2024. [PLAN] JS (AI Blog, 2020). 30.º aniversario de la planificación y el aprendizaje por refuerzo con modelos de mundo recurrentes y curiosidad artificial (1990). Este trabajo también introdujo señales de recompensa de alta dimensión, gradientes de políticas deterministas para RNN y el principio GAN (ampliamente utilizado en la actualidad). Los agentes con modelos de mundo recurrentes adaptativos incluso sugieren una explicación sencilla de la consciencia y la autoconciencia. [PLAN2] JS: Un algoritmo en línea para aprendizaje de refuerzo dinámico y planificación en entornos reactivos. En Proc. IEEE/INNS International Joint Conference on Neural Networks, San Diego, volumen 2, páginas 253-258, 17-21 de junio de 1990. Basado en [GAN90]. [PLAN3] Aprendizaje por refuerzo en entornos markovianos y no markovianos. En RP Lippman, JE Moody y DS Touretzky, editores, Advances in Neural Information Processing Systems 3, NIPS'3, páginas 500-506. San Mateo, CA: Morgan Kaufmann, 1991. Basado parcialmente en [GAN90]. [PM0] J. Schmidhuber. Aprendizaje de códigos factoriales mediante minimización de predictibilidad. TR CU-CS-565-91, Universidad de Colorado en Boulder, 1991. [PM1] JS: Aprendizaje de códigos factoriales mediante minimización de predictibilidad. Computación Neural, 4(6):863-879, 1992. [PM2] JS, M. Eldracher, B. Foltin. La minimización de la predictibilidad semilineal produce detectores de características bien conocidos. Neural Computation, 8(4):773-786, 1996. [R2] Reddit/ML, 2019. J. Schmidhuber realmente tenía GAN en 1990. [S59] AL Samuel. Algunos estudios de aprendizaje automático con el juego de damas. IBM Journal on Research and Development, 3:210-229, 1959.
