Jürgen Schmidhuber（@SchmidhuberAI）のスレッド

参考文献 [1] NNAISENSEは、2014年に設立された、物理世界におけるAIのためのAGI企業で、ニューラルネットワーク世界モデル（NWM）を基盤としています。J. Schmidhuber（JS）が社長兼チーフサイエンティストを務めました。彼の1990年から2015年までのNWM論文（例えば[4-5]）と、インターネットアーカイブの2020年のNNAISENSEウェブページをご覧ください。 https://t.co/j6xsLXHdPs （ただし、最近では、NNAISENSE は AGI に重点を置いておらず、資産管理に重点を置いて、より専門化されています。） [2] JS、AI Blog（2022年）。LeCunの2022年の自律機械知能に関する論文は、1990年から2015年までの重要な研究を焼き直しているが、引用していない。 https://t.co/byn3K3aSxK JSは数年前、LeCunが「主な独創的貢献」と呼ぶもののほとんどを発表しました。複数の時間スケールと抽象度を学習し、サブゴールを生成し、内発的動機を用いて世界モデルを改善し、計画を立てるニューラルネット（1990年）、情報に基づいた予測可能な表現を学習するコントローラー（1997年）などです。これはHacker News、reddit、そしてメディアでも議論されました。LeCunはまた、「2012年から2022年までの5つのベストアイデア」を挙げましたが、そのほとんどはJSの研究室で生まれたものであり、それ以前のものであることには触れていません。この件に関する人気ツイート： https://t.co/kn7KhFHLvw https://t.co/FxALILsNRu https://t.co/caTuctmztu https://t.co/Rpip8HBzPA [3] チューリング賞受賞者3名が、その作成者のクレジットを記載しなかった重要な手法やアイデアをどのように再出版したか。技術レポートIDSIA-23-23、スイスAIラボIDSIA、2023年。 https://t.co/Nz0fjc6kyx 第3節から始めるのがベストです。[8]も参照してください。これに関する人気のツイート: https://t.co/0fJVklXyOr [4] JS (1990). 「世界を微分化可能にする：非定常環境における動的強化学習と計画のための完全再帰型自己教師付きニューラルネットワークの活用」TR FKI-126-90, TUM. この報告書では、環境と、別の制御ニューラルネットワークの行動の結果を予測することを学習する再帰型ニューラルネットワークを「世界モデル」と呼んでいます。また、生成的敵対ネットワークを通して「人工的な好奇心」と「内発的動機」も紹介されています。この論文は、その後の多くの論文出版につながりました。 [4b] JS (2002). 予測可能なものを探る. Ghosh, S. Tsutsui編著, Advances in Evolutionary Computing, p. 579-612, Springer, 2002. ピクセルを予測するのではなく、複雑な時空間イベントの予測可能な内部表現/抽象化を見つけましょう。 [5] JS (2015). 思考の学習について：強化学習コントローラとリカレントニューラル世界モデルの斬新な組み合わせのためのアルゴリズム情報理論．ArXiv 1210.0118．強化学習（RL）プロンプトエンジニアと適応的思考連鎖の導入：RLニューラルネットは、抽象的な推論と意思決定のために「世界モデル」ネットへの問い合わせを学習します。1990年のニューラル世界モデル[4]を超越し、ミリ秒単位の計画を実現します。10周年記念のツイートをご覧ください：https://t.co/3FYt4x2PMM [6] JS (2018). One Big Net For Everything. arXiv 1802.08864. 強化学習器と[5]の世界モデル（例えば基礎モデル）を、JSの1991年のニューラルネットワーク蒸留手順を用いて単一のネットワークに統合する。DeepSeekのツイートを参照: https://t.co/HIVU8BWAaS [7] デビッド・ハ＆JS. 世界モデル. NeurIPS 2018. https://t.co/RrUNYSIz6n [8] 畳み込みニューラルネットワークを発明したのは誰ですか? テクニカルノート IDSIA-17-25、IDSIA、2025。 https://t.co/HdCanIa4MN これに関する人気のツイート: https://t.co/6eDUT8qcNE https://t.co/chfcmk253b https://t.co/h27y6Ni2CA https://t.co/Rpip8HBzPA リンクトイン https://t.co/vzKQPhAGAy [9] Sifted dot eu (2024年12月18日)。ヤン・ルカン氏が30億ユーロの評価額で5億ユーロを調達したAIスタートアップ企業。退任するMetaの幹部は先月、「世界モデル」を構築する新プロジェクトを立ち上げると発表した。https://t.co/c21tW6sy3b 引用：「新会社は『世界モデル』、つまり今日の大規模言語モデル（LLM）のように単にテキストを生成するのではなく、物理世界を理解するシステムに焦点を当てる」[1]を参照。