Thread de Jürgen Schmidhuber (@SchmidhuberAI)

REFERÊNCIAS [1] A NNAISENSE, empresa de IAG para IA no mundo físico, fundada em 2014, baseia-se em modelos de redes neurais (MRN). J. Schmidhuber (JS) foi seu presidente e cientista-chefe – veja seus artigos sobre MRN de 1990 a 2015, por exemplo, [4-5], e a página da NNAISENSE de 2020 no Internet Archive. https://t.co/j6xsLXHdPs (Ultimamente, porém, a NNAISENSE tem se concentrado menos em AGI e mais em gestão de ativos.) [2] JS, AI Blog (2022). O artigo de LeCun de 2022 sobre inteligência de máquina autônoma repete, mas não cita, trabalhos essenciais de 1990-2015. https://t.co/byn3K3aSxK Anos atrás, Joseph Smith publicou a maior parte do que LeCun chama de suas "principais contribuições originais": redes neurais que aprendem em múltiplas escalas de tempo e níveis de abstração, geram subobjetivos, usam motivação intrínseca para aprimorar modelos do mundo e planejam (1990); controladores que aprendem representações informativas e previsíveis (1997), etc. Isso também foi discutido no Hacker News, no Reddit e na mídia. LeCun também listou as "5 melhores ideias de 2012 a 2022" sem mencionar que a maioria delas é do laboratório de Joseph Smith e mais antigas. Tweets populares sobre isso: https://t.co/kn7KhFHLvw https://t.co/FxALILsNRu https://t.co/caTuctmztu https://t.co/Rpip8HBzPA [3] Como 3 laureados com o prêmio Turing republicaram métodos e ideias importantes cujos criadores eles não creditaram. Relatório Técnico IDSIA-23-23, Swiss AI Lab IDSIA, 2023. https://t.co/Nz0fjc6kyx O melhor é começar pela Seção 3. Veja também [8]. Tweet popular sobre isso: https://t.co/0fJVklXyOr [4] JS (1990). Tornando o mundo diferenciável: sobre o uso de redes neurais auto-supervisionadas totalmente recorrentes para aprendizado por reforço dinâmico e planejamento em ambientes não estacionários. TR FKI-126-90, TUM. Este relatório usou a terminologia "modelo de mundo" para uma rede neural recorrente que aprende a prever o ambiente e as consequências das ações de uma rede neural controladora separada. Também introduziu "curiosidade artificial" e "motivação intrínseca" por meio de redes generativas adversárias. Levou a muitas publicações subsequentes. [4b] JS (2002). Explorando o previsível. Em Ghosh, S. Tsutsui, eds., Advances in Evolutionary Computing, p. 579-612, Springer, 2002. Não preveja pixels - encontre representações/abstrações internas previsíveis de eventos espaço-temporais complexos! [5] JS (2015). Sobre Aprender a Pensar: Teoria Algorítmica da Informação para Novas Combinações de Controladores de Aprendizado por Reforço e Modelos Neurais Recorrentes do Mundo. ArXiv 1210.0118. Apresentando um engenheiro de prompts de aprendizado por reforço (RL) e uma cadeia de pensamento adaptativa: uma rede neural de RL aprende a consultar sua rede de "modelo do mundo" para raciocínio abstrato e tomada de decisão. Indo além do modelo neural do mundo de 1990 [4] para planejamento milissegundo a milissegundo. Veja o tweet do 10º aniversário: https://t.co/3FYt4x2PMM [6] JS (2018). Uma Grande Rede para Tudo. arXiv 1802.08864. Colapso do aprendiz por reforço e do modelo do mundo de [5] (por exemplo, um modelo de fundação) em uma única rede, usando o procedimento de destilação de rede neural de JS de 1991. Veja o tweet do DeepSeek: https://t.co/HIVU8BWAaS [7] David Ha & JS. Modelos Mundiais. NeurIPS 2018. https://t.co/RrUNYSIz6n [8] Quem inventou as redes neurais convolucionais? Nota Técnica IDSIA-17-25, IDSIA, 2025. https://t.co/HdCanIa4MN Tweets populares sobre isso: https://t.co/6eDUT8qcNE https://t.co/chfcmk253b https://t.co/h27y6Ni2CA https://t.co/Rpip8HBzPA LinkedIn https://t.co/vzKQPhAGAy [9] Sifted dot eu (18 de dezembro de 2024). Yann LeCun levanta €500 milhões com uma avaliação de €3 bilhões para nova startup de IA. O executivo cessante da Meta anunciou no mês passado que estava lançando um novo projeto para construir “modelos do mundo”. https://t.co/c21tW6sy3b Citação: “A nova empresa se concentrará em “modelos do mundo”, sistemas que podem entender o mundo físico em vez de apenas gerar texto como os atuais modelos de linguagem ampla (LLMs).” Veja [1].