Fil de Jürgen Schmidhuber (@SchmidhuberAI)

RÉFÉRENCES [1] NNAISENSE, société spécialisée dans l'IA appliquée au monde physique, a été fondée en 2014 et s'appuie sur des modèles du monde basés sur des réseaux de neurones (NWM). J. Schmidhuber (JS) en était le président et directeur scientifique ; voir ses publications sur les NWM (1990-2015), par exemple [4-5], ainsi que la page web de NNAISENSE (2020) sur Internet Archive. https://t.co/j6xsLXHdPs (Ces derniers temps, cependant, NNAISENSE s'est moins concentrée sur l'IA générale et s'est davantage spécialisée, en mettant l'accent sur la gestion d'actifs.) [2] JS, AI Blog (2022). L'article de LeCun de 2022 sur l'intelligence artificielle autonome reprend mais ne cite pas les travaux essentiels de 1990-2015. https://t.co/byn3K3aSxK Il y a des années, JS a publié la plupart de ce que LeCun appelle ses « principales contributions originales » : des réseaux neuronaux qui apprennent à différentes échelles de temps et niveaux d’abstraction, génèrent des sous-objectifs, utilisent la motivation intrinsèque pour améliorer les modèles du monde et planifient (1990) ; des contrôleurs qui apprennent des représentations informatives et prévisibles (1997), etc. Ces travaux ont également été abordés sur Hacker News, Reddit et dans les médias. LeCun a aussi dressé une liste des « 5 meilleures idées 2012-2022 » sans préciser que la plupart d’entre elles proviennent du laboratoire de JS et sont antérieures. Tweets populaires à ce sujet : https://t.co/kn7KhFHLvw https://t.co/FxALILsNRu https://t.co/caTuctmztu https://t.co/Rpip8HBzPA [3] Comment trois lauréats du prix Turing ont republié des méthodes et des idées clés sans en créditer les créateurs. Rapport technique IDSIA-23-23, Laboratoire suisse d'IA IDSIA, 2023. https://t.co/Nz0fjc6kyx Il est préférable de commencer par la section 3. Voir aussi [8]. Tweet populaire à ce sujet : https://t.co/0fJVklXyOr [4] JS (1990). Rendre le monde différentiable : utilisation de réseaux de neurones auto-supervisés entièrement récurrents pour l’apprentissage par renforcement dynamique et la planification dans des environnements non stationnaires. TR FKI-126-90, TUM. Ce rapport utilise le terme « modèle du monde » pour désigner un réseau de neurones récurrent qui apprend à prédire l’environnement et les conséquences des actions d’un réseau de neurones de contrôle distinct. Il introduit également les concepts de « curiosité artificielle » et de « motivation intrinsèque » grâce aux réseaux antagonistes génératifs (GAN). De nombreuses publications ont suivi. [4b] JS (2002). Exploring the Predictable. In Ghosh, S. Tsutsui, eds., Advances in Evolutionary Computing, p. 579-612, Springer, 2002. Don't predict pixels - find predictable internal representations / abstractions of complex spatio-temporal events! [5] JS (2015). Apprendre à penser : théorie algorithmique de l’information pour de nouvelles combinaisons de contrôleurs RL et de modèles neuronaux récurrents du monde. ArXiv 1210.0118. Introduction d’un ingénieur d’invite d’apprentissage par renforcement (RL) et d’une chaîne de pensée adaptative : un réseau neuronal RL apprend à interroger son réseau de « modèle du monde » pour le raisonnement abstrait et la prise de décision. Dépassement du modèle neuronal du monde de 1990 [4] pour une planification à la milliseconde près. Voir le tweet pour le 10e anniversaire : https://t.co/3FYt4x2PMM [6] JS (2018). One Big Net For Everything. arXiv 1802.08864. Fusion de l'apprenant par renforcement et du modèle du monde de [5] (par exemple, un modèle de base) en un seul réseau, à l'aide de la procédure de distillation de réseaux neuronaux de JS (1991). Voir le tweet de DeepSeek : https://t.co/HIVU8BWAaS [7] David Ha et JS. Modèles du monde. NeurIPS 2018. https://t.co/RrUNYSIz6n [8] Qui a inventé les réseaux neuronaux convolutifs ? Note technique IDSIA-17-25, IDSIA, 2025. https://t.co/HdCanIa4MN Tweets populaires à ce sujet : https://t.co/6eDUT8qcNE https://t.co/chfcmk253b https://t.co/h27y6Ni2CA https://t.co/Rpip8HBzPA LinkedIn https://t.co/vzKQPhAGAy [9] Sifted dot eu (18 déc. 2024). Yann LeCun lève 500 millions d'euros pour une valorisation de 3 milliards d'euros pour sa nouvelle startup d'IA. Le dirigeant sortant de Meta a annoncé le mois dernier le lancement d'un nouveau projet visant à construire des « modèles du monde ». https://t.co/c21tW6sy3b Citation : « La nouvelle société se concentrera sur les “modèles du monde”, des systèmes capables de comprendre le monde physique au lieu de se contenter de générer du texte comme les grands modèles de langage (LLM) actuels. » Voir [1].