O artigo científico mais citado do laboratório do Dr. Bengio, ganhador do Prêmio Turing, trata de redes generativas adversárias (GANs). Quem as inventou? As primeiras redes neurais (RNs) que eram simultaneamente generativas e adversárias foram publicadas em people.idsia.ch/~juergen/who-i…AN25] https://t.co/Ev6rSvYiY2 Naquela época, o poder computacional era cerca de 10 milhões de vezes mais caro do que hoje (2025). Como essas redes funcionavam? Havia duas redes neurais que competiam entre si. Uma rede neural controladora, com unidades gaussianas estocásticas adaptativas (um modelo generativo), gerava os dados de saída. Essa saída era então alimentada em uma rede neural preditora (chamada de "Modelo Mundial" em 1990 [GAN90]), que aprendia por meio de descida de gradiente para prever os efeitos das saídas. No entanto, em um jogo minimax, a rede neural geradora maximizava o erro minimizado pela rede neural preditora. Assim, o controlador é motivado a criar, por meio de suas saídas, experimentos/situações que surpreendam o preditor. À medida que o preditor melhora, essas situações se tornam entediantes. Isso, por sua vez, incentiva o controlador a inventar novas saídas (ou experimentos) com resultados ainda menos previsíveis, e assim por diante. Isso foi chamado de Curiosidade Artificial [GAN90][GAN91][GAN10][AC]. A Curiosidade Artificial não foi o primeiro cenário de aprendizado de máquina adversarial, mas trabalhos anteriores [S59][H90] eram muito diferentes - eles não envolviam NNs auto-supervisionadas onde uma NN vê a saída de outra NN generativa e tenta prever suas consequências, nem eram sobre modelagem de dados, nem usavam descida de gradiente. (Os próprios modelos generativos são muito mais antigos, por exemplo, Modelos Ocultos de Markov [MM1-3].) Veja a seção "Implementando Curiosidade e Tédio Dinâmicos" do relatório técnico de 1990 [GAN90] e o artigo da conferência revisada por pares de 1991 [GAN91]. Menciona experimentos preliminares onde (na ausência de recompensa externa) o preditor minimiza uma função linear daquilo que o gerador maximiza. Assim, esses artigos antigos descrevem essencialmente o que viria a ser conhecido como GAN quase um quarto de século depois, em 2014 [GAN14], quando o custo computacional era cerca de 100.000 vezes menor do que em 1990. Em 2014, o preditor neural ou modelo de mundo de 1990 [GAN90][GAN91] passou a ser chamado de discriminador [GAN14], prevendo os efeitos binários das possíveis saídas do gerador (como real versus falso) [GAN20]. A aplicação de 2014 à geração de imagens [GAN14] foi inovadora. A GAN de 1990 era mais geral do que a GAN de 2014: não se limitava a ações de saída únicas em tentativas de 1 passo, mas permitia longas sequências de ações. Sistemas generativos adversários mais sofisticados para curiosidade e criatividade artificiais foram publicados em 1997 [AC97][AC99][AC02][LEC], prevendo representações internas abstratas em vez de dados brutos. O princípio de 1990 [GAN90-91] tem sido amplamente utilizado para exploração em Aprendizagem por Reforço [SIN5][OUD13][PAT17][BUR18] e para síntese de imagens realistas, como deepfakes [GAN14-19b], embora este último domínio tenha sido eventualmente assumido pela Difusão Latente de Rombach et al. [DIF1], outro método publicado em Munique, baseado no trabalho anterior de Jarzynski em física do milênio anterior [DIF2] e em artigos mais recentes [DIF3-5]. APÊNDICE 1. A disputa de prioridade do GAN (1990-91 vs 2014) O artigo de 2014 [GAN14] sobre redes neurais generativas adversárias (GANs) não citou o trabalho original de 1990 sobre redes neurais generativas e adversárias [GAN90,91,20][R2][DLP]. O artigo de 2014 [GAN14] também fez afirmações falsas sobre outro sistema adversarial de duas redes baseado em gradiente, chamado Minimização da Previsibilidade (1991) [PM0-1][GAN20][DLP]. Um ano após o artigo de 1990 sobre Curiosidade Artificial [GAN90], a Minimização da Previsibilidade utilizou a disputa entre duas redes neurais de aprendizado para criar representações internas distintas (ou códigos fatoriais) dos dados de entrada [PM0-1]. O artigo de 2014 [GAN1] cita a Minimização da Previsibilidade, mas afirma erroneamente que ela não é um jogo minimax e, portanto, é diferente das GANs. No entanto, os experimentos de Minimização da Previsibilidade de 1991 [PM0-1] e 1996 [PM2] (com imagens) são diretamente do tipo minimax. Mesmo pesquisas posteriores dos autores [GAN14] não citaram o trabalho original [DLP]. Os autores de [GAN14] nunca corrigiram seu artigo de 2014, o que implica uma intenção de impor uma narrativa de novidade à força, mesmo diante de evidências contraditórias. A disputa de prioridade foi noticiada pela imprensa popular, por exemplo, Bloomberg [AV1], após um encontro particularmente notável na conferência N(eur)IPS de 2016 entre Juergen Schmidhuber (JS) e o primeiro autor de [GAN14], que fez uma palestra sobre GANs, incentivando as pessoas a fazer perguntas. JS fez perguntas, abordando problemas do artigo N(eur)IPS 2014 [GAN14] e as afirmações errôneas que ele fez sobre o trabalho anterior em PM [GAN20][DLP]. Esforços subsequentes para corrigir esses problemas em um artigo comum se arrastaram por muitos meses, mas não deram certo. O primeiro autor [GAN14] acabou admitindo que o PM é adversarial (seu artigo não corrigido no NeurIPS [GAN14] ainda afirma o contrário), mas enfatizou que não é generativo. Em resposta, JS apontou que o ainda anterior Artificial Curiosity [GAN90][GAN91][GAN20][R2][AC][DLP] é tanto adversarial quanto generativo (sua rede neural geradora contém unidades probabilísticas [GAN90] como no StyleGANs [GAN19]). Apesar da validade desta afirmação, os autores de [GAN14] não fizeram qualquer tentativa de corrigir o seu artigo ou de responder a esta questão. É por isso que uma publicação numa revista científica com revisão por pares sobre esta disputa de prioridade foi publicada em 2020 [GAN20] para esclarecer a situação. É claro que se sabe que o plágio pode ser "não intencional" ou "intencional ou imprudente" [PLAG1-6], e a forma mais inocente das duas pode muito bem ser parcialmente o caso aqui. Mas a ciência tem uma maneira bem estabelecida de lidar com a "descoberta múltipla" e o plágio — seja ele não intencional [PLAG1-6][CONN21] ou não [FAKE1-3] — com base em fatos como registros de data e hora de publicações e patentes [DLP][NOB]. A deontologia da ciência exige que os plagiadores não intencionais corrijam suas publicações por meio de erratas e, em seguida, deem o devido crédito às fontes originais no futuro. Os autores [GAN14] não o fizeram; em vez disso, continuaram coletando citações de invenções de outros pesquisadores [DLP]. Tal comportamento aparentemente transforma até mesmo o plágio não intencional [PLAG1-6] em uma forma intencional [FAKE2]. REFERÊNCIAS [AC] J. Schmidhuber (JS, Blog de IA, 2021, atualizado em 2023). Três décadas de curiosidade e criatividade artificial. Nossos cientistas artificiais não apenas respondem a perguntas dadas, mas também inventam novas perguntas. Eles alcançam a curiosidade por meio de: (1990) o princípio das redes generativas adversárias, (1991) redes neurais que maximizam o progresso da aprendizagem, (1995) redes neurais que maximizam o ganho de informação (de forma otimizada desde 2011), (1997-2022) design adversário de experimentos computacionais surpreendentes, (2006) maximização do progresso da compressão como cientistas/artistas/comediantes fazem, (2011) PowerPlay... Desde 2012: aplicações em robôs reais. [AC97] JS O que é interessante? Relatório Técnico IDSIA-35-97, IDSIA, julho de 1997. Foco na criação automática de abstrações internas previsíveis de eventos espaço-temporais complexos: dois agentes concorrentes, intrinsecamente motivados, concordam em experimentos algorítmicos essencialmente arbitrários e apostam em seus resultados possivelmente surpreendentes (ainda não previsíveis) em jogos de soma zero, cada agente potencialmente lucrando ao superar/surpreender o outro, inventando protocolos experimentais onde ambos os módulos discordam sobre o resultado previsto. O foco está na exploração do espaço de algoritmos gerais (em oposição aos mapeamentos simples tradicionais de entradas para saídas); o sistema geral se concentra nas coisas interessantes, perdendo o interesse tanto em aspectos previsíveis quanto imprevisíveis do mundo. Ao contrário de nossos sistemas anteriores com motivação intrínseca, por exemplo, [AC90], o sistema também leva em consideração o custo computacional de aprender novas habilidades, aprender quando aprender e o que aprender. Veja publicações posteriores [AC99][AC02]. [AC99] JS Curiosidade Artificial Baseada na Descoberta de Nova Previsibilidade Algorítmica por meio de Coevolução. Em P. Angeline, Z. Michalewicz, M. Schoenauer, X. Yao, Z. Zalzala, eds., Congresso sobre Computação Evolutiva, p. 1612-1618, IEEE Press, Piscataway, NJ, 1999. [AC02] JS Explorando o previsível. Em Ghosh, S. Tsutsui, eds., Advances in Evolutionary Computing, p. 579-612, Springer, 2002. [AV1] A. Vance. Google, Amazon e Facebook devem uma fortuna a Jürgen Schmidhuber - Este homem é o padrinho que a comunidade de IA quer esquecer. Business Week, Bloomberg, 15 de maio de 2018. [DEZ] JS (Blog de IA, 20/02/2020, atualizado em 2025). A década de 2010: Nossa década de aprendizado profundo / Perspectivas para a década de 2020. Os desenvolvimentos e aplicações industriais mais importantes da última década baseados em nossa IA, com uma perspectiva para a década de 2020, abordando também os mercados de privacidade e dados. [DIF1] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. Síntese de imagens de alta resolução com modelos de difusão latente. CVPR 2022. Preprint arXiv:2112.10752, LMU Munique, 2021. [DIF2] C. Jarzynski. Diferenças de energia livre de equilíbrio a partir de medições de não equilíbrio: uma abordagem de equação mestra. Physical Review E, 1997. [DIF3] J. Sohl-Dickstein, EA Weiss, N. Maheswaranathan, S. Ganguli. Aprendizagem profunda não supervisionada usando termodinâmica de não-equilíbrio. CoRR, abs/1503.03585, 2015. [DIF4] O. Ronneberger, P. Fischer, T. Brox. Unet: Redes convolucionais para segmentação de imagens biomédicas. Em MICCAI (3), vol. 9351 de Lecture Notes in Computer Science, páginas 234-241. Springer, 2015. [DIF5] J. Ho, A. Jain, P. Abbeel. Remoção de ruído em modelos probabilísticos de difusão. Advances in Neural Information Processing Systems 33:6840-6851, 2020. [DL1] JS, 2015. Aprendizado profundo em redes neurais: uma visão geral. Redes Neurais, 61, 85-117. Mais. [DLH] JS (2022). História anotada da IA moderna e do aprendizado profundo. Relatório técnico IDSIA-22-22, IDSIA, Lugano, Suíça, 2022. Preprint arXiv:2212.11279. [DLP] J. Schmidhuber (2023). Como 3 laureados com o Prêmio Turing republicaram métodos e ideias importantes cujos criadores eles não creditaram. Relatório Técnico IDSIA-23-23, Laboratório Suíço de IA IDSIA, 14 de dezembro de 2023. [FAKE1] H. Hopf, A. Krief, G. Mehta, SA Matlin. Ciência falsa e a crise do conhecimento: a ignorância pode ser fatal. Royal Society Open Science, maio de 2019. Citação: "Os cientistas devem estar dispostos a se manifestar quando virem informações falsas sendo apresentadas nas mídias sociais, na imprensa tradicional ou na radiodifusão" e "devem se manifestar contra informações falsas e pseudociência em circulação e contradizer veementemente as figuras públicas que as promovem". [FAKE2] L. Stenflo. Plagiadores inteligentes são os mais perigosos. Nature, vol. 427, p. 777 (fev. 2004). Citação: "O que é pior, na minha opinião, ..., são os casos em que cientistas reescrevem descobertas anteriores com outras palavras, ocultando propositalmente as fontes de suas ideias, e depois, nos anos subsequentes, afirmam veementemente que descobriram novos fenômenos." [FAKE3] S. Vazire (2020). Um brinde aos detectores de erros. Que 2020 seja o ano em que valorizemos aqueles que garantem que a ciência seja autocorretiva. Nature, vol. 577, p. 9, 02/02/2020. [GAN90] J. Schmidhuber (JS). Tornando o mundo diferenciável: Sobre o uso de redes neurais auto-supervisionadas totalmente recorrentes para aprendizado por reforço dinâmico e planejamento em ambientes não estacionários. Relatório Técnico FKI-126-90, TUM, 1990. O primeiro artigo sobre planejamento com redes neurais recorrentes de aprendizado por reforço (mais) e sobre redes generativas adversárias onde uma rede neural geradora está lutando contra uma rede neural preditora em um jogo minimax. [GAN91] JS Uma possibilidade para implementar curiosidade e tédio em controladores neurais de construção de modelos. Em JA Meyer e SW Wilson, editores, Anais da Conferência Internacional sobre Simulação de Comportamento Adaptativo: De Animais a Animats, páginas 222-227. MIT Press/Bradford Books, 1991. Baseado em [GAN90]. [GAN10] JS Teoria Formal da Criatividade, Diversão e Motivação Intrínseca (1990-2010). IEEE Transactions on Autonomous Mental Development, 2(3):230-247, 2010. Este conhecido levantamento de 2010 resumiu as redes neurais generativas adversárias de 1990 da seguinte forma: uma "rede neural como um modelo preditivo do mundo é usada para maximizar a recompensa intrínseca do controlador, que é proporcional aos erros de previsão do modelo" (que são minimizados). [GAN10b] O. Niemitalo. Um método para treinar redes neurais artificiais para gerar dados faltantes dentro de um contexto variável. Postagem de blog, Internet Archive, 2010. Uma postagem de blog descrevendo as ideias básicas [GAN90-91][GAN20][AC] das GANs. [GAN14] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. Redes generativas adversárias. NIPS 2014, 2672-2680, dez. 2014. Uma descrição de GANs que não cita o princípio original de GAN de JS de 1990 [GAN90-91][GAN20][AC][R2][DLP] e contém afirmações incorretas sobre as NNs adversárias de JS para Minimização de Previsibilidade [PM0-2][GAN20][DLP]. [GAN19] T. Karras, S. Laine, T. Aila. Uma arquitetura de gerador baseada em estilo para redes generativas adversárias. Em Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), páginas 4401-4410, 2019. [GAN19b] D. Fallis. A ameaça epistêmica dos deepfakes. Philosophy & Technology 34.4 (2021):623-643. [GAN20] J. Schmidhuber. Redes Adversárias Generativas são Casos Especiais de Curiosidade Artificial (1990) e também Estreitamente Relacionadas à Minimização da Previsibilidade (1991). Redes Neurais, Volume 127, p 58-66, 2020. Preprint arXiv/1906.04493. [GAN25] J. Schmidhuber. Quem inventou as redes generativas adversárias? Nota técnica IDSIA-14-25, IDSIA, dezembro de 2025. Veja o link acima. [H90] WD Hillis. Parasitas coevolutivos melhoram a evolução simulada como um procedimento de otimização. Physica D: Nonlinear Phenomena, 42(1-3):228-234, 1990. [LEC] JS (Blog de IA, 2022). O artigo de LeCun de 2022 sobre inteligência artificial autônoma repete, mas não cita, trabalhos essenciais de 1990 a 2015. Anos atrás, a equipe de JS publicou a maior parte do que Y. LeCun chama de suas "principais contribuições originais": redes neurais que aprendem múltiplas escalas de tempo e níveis de abstração, geram subobjetivos, usam motivação intrínseca para aprimorar modelos do mundo e planejam (1990); controladores que aprendem representações informativas e previsíveis (1997), etc. Isso também foi discutido no Hacker News, no Reddit e na mídia. LeCun também listou as "5 melhores ideias de 2012 a 2022" sem mencionar que a maioria delas é do laboratório de JS e mais antigas. [MIR] JS (outubro de 2019, atualizado em 2021, 2022, 2025). Aprendizado profundo: Nosso ano milagroso de 1990-1991. Preprint arXiv:2005.05744. [MOSTRA] JS (Blog de IA, 2021, atualizado em 2025). As redes neurais mais citadas são todas baseadas em trabalhos realizados em meus laboratórios: 1. Long Short-Term Memory (LSTM), a IA mais citada do século XX. 2. ResNet (Highway Net com portas abertas), a IA mais citada do século XXI. 3. AlexNet e VGGNet (a similar, porém anterior, DanNet de 2011 venceu 4 desafios de reconhecimento de imagem antes delas). 4. GAN (um exemplo de Curiosidade Artificial Adversarial de 1990). 5. Variantes de Transformers — veja o Transformer linear não normalizado (ULTRA) de 1991. Os fundamentos da IA Generativa foram publicados em 1991: os princípios das GANs (agora usadas para deepfakes), Transformers (o T em ChatGPT), pré-treinamento para redes neurais profundas (o P em ChatGPT), destilação de redes neurais e o famoso DeepSeek. [NOB] JS Um Prêmio Nobel para o Plágio. Relatório Técnico IDSIA-24-24 (7 de dezembro de 2024, atualizado em outubro de 2025). [PLAG1] Guia de Oxford sobre tipos de plágio (2021). Citação: "O plágio pode ser intencional, imprudente ou não intencional." [PLAG2] Jackson State Community College (2022). Plágio não intencional. [PLAG3] RL Foster. Evitando o plágio não intencional. Revista para especialistas em enfermagem pediátrica; Hoboken Vol. 12, Edição 1, 2007. [PLAG4] N. Das. Intencional ou não intencional, plagiar nunca é aceitável: Uma nota sobre como as universidades indianas são aconselhadas a lidar com o plágio. Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). O que é plágio não intencional? Cópia no Internet Archive. [PLAG6] Direitos autorais reservados (2022). Como evitar plágio acidental e não intencional (2023). Cópia no Internet Archive. Citação: "Seja acidental ou intencional, plágio continua sendo plágio." [PLAG7] Cornell Review, 2024. Presidente de Harvard renuncia em escândalo de plágio. Janeiro de 2024. [PLAN] JS (Blog de IA, 2020). 30º aniversário do planejamento e aprendizado por reforço com modelos de mundo recorrentes e curiosidade artificial (1990). Este trabalho também introduziu sinais de recompensa de alta dimensão, gradientes de política determinísticos para RNNs e o princípio GAN (amplamente utilizado hoje). Agentes com modelos de mundo recorrentes adaptativos sugerem até mesmo uma explicação simples da consciência e da autoconsciência. [PLAN2] JS Um algoritmo online para aprendizado por reforço dinâmico e planejamento em ambientes reativos. Em Proc. IEEE/INNS International Joint Conference on Neural Networks, San Diego, volume 2, páginas 253-258, 17-21 de junho de 1990. Baseado em [GAN90]. [PLAN3] JS Aprendizado por reforço em ambientes Markovianos e não-Markovianos. Em RP Lippman, JE Moody e DS Touretzky, editores, Advances in Neural Information Processing Systems 3, NIPS'3, páginas 500-506. San Mateo, CA: Morgan Kaufmann, 1991. Parcialmente baseado em [GAN90]. [PM0] J. Schmidhuber. Aprendendo códigos fatoriais por minimização da previsibilidade. TR CU-CS-565-91, Univ. Colorado em Boulder, 1991. [PM1] JS Aprendendo códigos fatoriais por minimização de previsibilidade. Neural Computation, 4(6):863-879, 1992. [PM2] JS, M. Eldracher, B. Foltin. A minimização da previsibilidade semilinear produz detectores de características bem conhecidos. Neural Computation, 8(4):773-786, 1996. [R2] Reddit/ML, 2019. J. Schmidhuber realmente tinha GANs em 1990. [S59] AL Samuel. Alguns estudos em aprendizado de máquina usando o jogo de damas. IBM Journal on Research and Development, 3:210-229, 1959.
