チューリング賞受賞者のベンジオ博士の研究室で最も引用されている研究論文は、生成的敵対的ネットワーク（GAN）に関するものです。これを発明したのは誰ですか？ 生成的かつ敵対的なニューラルネット（NN）の最初のものは、1990年から1991年にかけてミュンヘンで発表されました[GAN25] https://t.co/Ev6rSvYiY2 当時のコンピューティングは、今日 (2025 年) よりも約 1,000 万倍高価でした。 これらのネットワークはどのように機能するのでしょうか？互いに競合する2つのNNがありまpeople.idsia.ch/~juergen/who-i…えた、いわゆる制御NNが出力データを生成します。この出力は予測NN（1990年には「ワールドモデル」と呼ばれていました[GAN90]）に入力され、予測NNは勾配降下法によって学習し、出力の影響を予測します。しかし、ミニマックスゲームでは、生成NNは予測NNによって最小化された誤差を最大化します。 そのため、制御器は出力を通して予測器を驚かせる実験や状況を作り出す動機を持つ。予測器の性能が向上するにつれて、これらの状況は退屈なものになる。これは制御器に、さらに予測可能性の低い結果をもたらす新たな出力（あるいは実験）を考案する動機を与え、これを繰り返していく。これは人工好奇心（Artificial Curiosity）[GAN90][GAN91][GAN10][AC]と呼ばれた。 Artificial Curiosityは最初の敵対的機械学習の事例ではありませんが、それ以前の研究[S59][H90]は大きく異なっていました。これらの研究では、あるNNが別の生成NNの出力を見てその結果を予測する自己教師型NNは使用されておらず、データのモデリングや勾配降下法も使用されていませんでした。（生成モデル自体は、隠れマルコフモデル[MM1-3]など、はるかに古いものです。） 1990年の技術報告書[GAN90]および1991年の査読付き会議論文[GAN91]の「動的な好奇心と退屈の実装」セクションを参照してください。これらの論文では、（外部報酬がない場合に）予測器が生成器の最大化の線形関数を最小化する予備実験について言及されています。 つまり、これらの古い論文は、実質的には、ほぼ四半世紀後の2014年[GAN14]にGANとして知られるようになるものを記述していると言えるでしょう。当時の計算コストは1990年と比べて約10万分の1にまで低下していました。2014年当時、1990年のニューラル予測器、あるいは世界モデル[GAN90][GAN91]は、識別器[GAN14]と呼ばれ、生成器の出力の二値効果（例えば、本物か偽物か）を予測するものでした[GAN20]。2014年の画像生成への応用[GAN14]は斬新でした。 1990年のGANは2014年のGANよりも汎用性が高く、1ステップの試行で単一の出力アクションに限定されず、長いアクションシーケンスも許容しました。人工的な好奇心と創造性を育むための、より洗練された敵対的生成システムは1997年に発表され[AC97][AC99][AC02][LEC]、生データではなく抽象的な内部表現を予測しました。 1990 年の原理 [GAN90-91] は、強化学習 [SIN5][OUD13][PAT17][BUR18] の探索やディープフェイク [GAN14-19b] などのリアルな画像の合成に広く使用されてきましたが、後者の領域は最終的に、ミュンヘンで発表された別の手法である Rombach らの潜在的拡散 [DIF1] に引き継がれました。この手法は、前世紀の Jarzynski の物理学における初期の研究 [DIF2] と最近の論文 [DIF3-5] に基づいています。 付録1. GAN優先権紛争（1990～91年と2014年） 生成的敵対的ニューラルネットワーク（GAN）に関する2014年の論文[GAN14]は、生成的および敵対的ニューラルネットワークに関する1990年のオリジナルの研究[GAN90,91,20][R2][DLP]を引用していませんでした。 2014年の論文[GAN14]は、別の勾配ベースの2ネットワーク敵対システムである予測可能性最小化（1991）[PM0-1][GAN20][DLP]についても誤った主張をしています。1990年のArtificial Curiosityに関する論文[GAN90]の1年後、予測可能性最小化は2つの学習NN間の対戦を利用して、入力データの分離した内部表現（または階乗コード）を作成しました[PM0-1]。2014年の論文[GAN1]は予測可能性最小化を引用していますが、これはミニマックスゲームではなく、したがってGANとは異なると誤って主張しています。しかし、1991年の予測可能性最小化実験[PM0-1]と1996年の予測可能性最小化実験[PM2]（画像付き）は、まさにミニマックス型です。 [GAN14]の著者らによるその後の調査でも、原著論文[DLP]が引用されていませんでした。[GAN14]の著者らは2014年の論文を一度も訂正しておらず、矛盾する証拠があるにもかかわらず、新規性を強引に主張しようとする意図が窺えます。 2016年のN(eur)IPSカンファレンスで、Juergen Schmidhuber (JS)と[GAN14]の第一著者との間で特に注目すべき出会いがあった後、優先権紛争はブルームバーグ[AV1]などの大衆メディアに取り上げられました。第一著者はGANに関する講演を行い、人々に質問を奨励しました。JSは質問し、N(eur)IPS 2014の論文[GAN14]の問題点と、PMに関する先行研究[GAN20][DLP]についての誤った主張を取り上げました。 これらの問題を共通の論文で修正しようとする試みは数ヶ月にわたって続きましたが、成果は得られませんでした。筆頭著者[GAN14]は最終的にPMが敵対的であることを認めましたが（彼の未修正のNeurIPS論文[GAN14]では依然としてその逆を主張しています）、生成的ではないことを強調しました。これに対しJSは、さらに先行するArtificial Curiosity[GAN90][GAN91][GAN20][R2][AC][DLP]は敵対的かつ生成的であると指摘しました（その生成NNにはStyleGANs[GAN19]と同様に確率ユニット[GAN90]が含まれています）。 この声明の妥当性にもかかわらず、[GAN14]の著者らは論文を訂正したり、これに反論したりする試みを一切行っていない。そのため、この優先権紛争に関する査読付き学術誌論文が2020年に[GAN20]に掲載され、事実関係が明確化された。 もちろん、剽窃には「意図的でない」場合と「意図的または無謀な」場合があり得ることはよく知られています[PLAG1-6]。そして、この場合は、より無害な方が部分的に当てはまる可能性が高いでしょう。しかし、科学には「多重発見」や剽窃（意図的でない[PLAG1-6][CONN21]かそうでないか[FAKE1-3]）を、出版物や特許のタイムスタンプ[DLP][NOB]といった事実に基づいて対処する確立された方法があります。科学の義務論では、意図的でない剽窃者は、正誤表によって出版物を訂正し、将来的には元の出典を適切にクレジットすることが求められています。著者[GAN14]はそうしませんでした。代わりに、彼らは他の研究者の発明の引用を集め続けました[DLP]。このような行動は、意図的でない剽窃[PLAG1-6]さえも意図的な剽窃に変えてしまうようです[FAKE2]。 参考文献 [AC] J. Schmidhuber (JS、AI Blog、2021年、2023年更新)。30年にわたる人工的な好奇心と創造性。私たちの人工科学者は、与えられた質問に答えるだけでなく、新たな問いを生み出します。彼らは、(1990)生成的敵対ネットワークの原理、(1991)学習の進捗を最大化するニューラルネット、(1995)情報利得を最大化するニューラルネット（2011年以降は最適化）、(1997-2022)驚くべき計算実験の敵対的設計、(2006)科学者/芸術家/コメディアンのように圧縮の進捗を最大化する、(2011)PowerPlay…といった手法を通して好奇心を実現してきました。2012年以降は、実際のロボットへの応用に取り組んでいます。 [AC97] JS What's interesting? 技術レポート IDSIA-35-97、IDSIA、1997年7月。複雑な時空間事象の予測可能な内部抽象化の自動生成に焦点を当てる。2つの競合する内発的動機を持つエージェントが、本質的に任意のアルゴリズム実験に同意し、ゼロサムゲームにおいて、予想外の（まだ予測不可能な）結果に賭ける。各エージェントは、両方のモジュールが予測結果に同意できない実験プロトコルを考案することで、相手を出し抜いたり驚かせたりすることで利益を得る可能性がある。焦点は、（従来の単純な入力から出力へのマッピングではなく）汎用アルゴリズム空間の探索にある。汎用システムは、世界の予測可能な側面と予測不可能な側面の両方への関心を失うことで、興味深いものに焦点を当てる。内発的動機を持つ従来のシステム（例えば[AC90]）とは異なり、このシステムは、新しいスキルの学習、いつ学習すべきか、何を学ぶべきかの学習にかかる計算コストも考慮する。後続の出版物[AC99][AC02]を参照。 [AC99] JS 共進化を通じた新たなアルゴリズム予測可能性の発見に基づく人工好奇心。P. Angeline、Z. Michalewicz、M. Schoenauer、X. Yao、Z. Zalzala編著、『進化計算に関する会議』、1612-1618ページ、IEEE Press、ニュージャージー州ピスカタウェイ、1999年。 [AC02] JS 予測可能なものの探求。Ghosh, S. Tsutsui編著『進化コンピューティングの進歩』p. 579-612、Springer、2002年。 [AV1] A. ヴァンス「Google、Amazon、Facebookはユルゲン・シュミットフーバーに莫大な負債を抱えている ― この男こそAIコミュニティが忘れ去りたいゴッドファーザーだ」ビジネスウィーク、ブルームバーグ、2018年5月15日。 [12月] JS（AIブログ、2020年2月20日、2025年更新）。2010年代：ディープラーニングの10年／2020年代の展望。ここ10年間におけるAIを基盤とした最も重要な開発と産業応用について、2020年代の展望とともに、プライバシーとデータ市場についても考察します。 [DIF1] R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer. 潜在拡散モデルを用いた高解像度画像合成．CVPR 2022．プレプリントarXiv:2112.10752, LMU Munich, 2021. [DIF2] C. Jarzynski. 非平衡測定による平衡自由エネルギー差：マスター方程式アプローチ. Physical Review E, 1997. [DIF3] J. Sohl-Dickstein、EA Weiss、N. Maheswaranathan、S. Ganguli。非平衡熱力学を使用した深い教師なし学習。 CoRR、abs/1503.03585、2015。 [DIF4] O. Ronneberger, P. Fischer, T. Brox. Unet: 畳み込みネットワークによるバイオメディカル画像セグメンテーション. MICCAI (3)、Lecture Notes in Computer Science vol. 9351、234-241ページ. Springer, 2015. [DIF5] J. Ho, A. Jain, P. Abbeel. 拡散確率モデルのノイズ除去. ニューラル情報処理システムの進歩 33:6840-6851, 2020. [DL1] JS, 2015. ニューラルネットワークにおけるディープラーニング：概要. Neural Networks, 61, 85-117. 詳細はこちら. [DLH] JS (2022). 現代AIとディープラーニングの注釈付き歴史. 技術レポートIDSIA-22-22, IDSIA, ルガーノ, スイス, 2022. プレプリントarXiv:2212.11279. [DLP] J. Schmidhuber (2023). チューリング賞受賞者3名が、その作成者をクレジットせずに重要な手法やアイデアを再出版した経緯。技術報告書IDSIA-23-23、スイスAIラボIDSIA、2023年12月14日。 [FAKE1] H. ホップ、A. クリーフ、G. メータ、SA マトリン著『フェイクサイエンスと知識の危機：無知は致命的になり得る』、王立協会オープンサイエンス、2019年5月。引用：「科学者は、ソーシャルメディア、従来の印刷媒体、あるいは放送媒体で虚偽の情報が出回っているのを目にした際には、積極的に声を上げなければならない」、そして「流通している虚偽の情報やフェイクサイエンスに反対の声を上げ、それを広める著名人に断固として反論しなければならない」。 [FAKE2] L. Stenflo. 最も危険なのは、知的な剽窃者だ。Nature、第427巻、777ページ（2004年2月）。引用：「私の意見では、さらに悪いのは、科学者が過去の研究結果を別の言葉で書き直し、自らのアイデアの出所を意図的に隠し、その後数年かけて新しい現象を発見したと力強く主張するケースだ。」 [FAKE3] S. Vazire (2020). エラー発見者に乾杯。2020年は、科学の自己修正性を保証する人々を高く評価する年としましょう。Nature、第577巻、9ページ、2020年2月2日。 [GAN90] J. Schmidhuber (JS). 「世界を微分化可能にする：非定常環境における動的強化学習とプランニングのための完全再帰型自己教師付きニューラルネットワークの活用について」. 技術報告書 FKI-126-90, TUM, 1990. 強化学習型再帰型ニューラルネットワーク (NN) を用いたプランニング (詳細はこちら) と、生成型NNと予測型NNがミニマックスゲームで対戦する生成的敵対ネットワークに関する最初の論文。 [GAN91] JS モデル構築ニューラルコントローラにおける好奇心と退屈の実装の可能性。JA MeyerとSW Wilson編、『適応行動シミュレーションに関する国際会議：動物からアニメまで』論文集、222-227ページ。MIT Press/Bradford Books、1991年。[GAN90]に基づく。 [GAN10] JS 創造性、楽しさ、そして内発的動機づけの形式理論 (1990-2010)。IEEE Transactions on Autonomous Mental Development, 2(3):230-247, 2010. この2010年の著名な調査では、1990年の生成的敵対的ニューラルネットワークを次のように要約しています。「予測世界モデルとしてのニューラルネットワークは、モデルの予測誤差（最小化される）に比例するコントローラーの内発的報酬を最大化するために用いられる」。 [GAN10b] O. Niemitalo. 可変コンテキスト内で欠損データを生成するための人工ニューラルネットワークの学習手法。ブログ投稿、インターネットアーカイブ、2010年。GANの基本的な考え方[GAN90-91][GAN20][AC]を解説したブログ投稿。 [GAN14] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio. 生成的敵対的ネットワーク. NIPS 2014, 2672-2680, 2014年12月. 1990年のJSによるGANの原理[GAN90-91][GAN20][AC][R2][DLP]を引用しておらず、予測可能性最小化のためのJSの敵対的NN[PM0-2][GAN20][DLP]に関する誤った主張を含むGANの説明。 [GAN19] T. Karras, S. Laine, T. Aila. 生成的敵対ネットワークのためのスタイルベース生成器アーキテクチャ. IEEE コンピュータビジョンとパターン認識に関する会議(CVPR)の論文集、4401-4410ページ、2019年。 [GAN19b] D. Fallis. ディープフェイクの認識論的脅威. Philosophy & Technology 34.4 (2021):623-643. [GAN20] J. Schmidhuber. 生成的敵対ネットワークは人工好奇心（1990）の特殊なケースであり、予測可能性最小化（1991）とも密接に関連している。ニューラルネットワーク、第127巻、p 58-66、2020年。プレプリント arXiv/1906.04493。 [GAN25] J. Schmidhuber. 生成的敵対ネットワークを発明したのは誰か？ テクニカルノートIDSIA-14-25、IDSIA、2025年12月。上記リンクを参照。 [H90] WD Hillis. 共進化する寄生虫は最適化手順としての進化シミュレーションを改善する. Physica D: 非線形現象, 42(1-3):228-234, 1990. [LEC] JS (AI Blog, 2022)。LeCun氏の2022年の自律機械知能に関する論文は、1990年から2015年までの重要な研究を焼き直したものの、引用していない。JSのチームは数年前、Y. LeCun氏が「主要な独創的貢献」と呼ぶもののほとんどを発表している。例えば、複数の時間スケールと抽象度を学習し、サブゴールを生成し、内発的動機を用いて世界モデルを改善し、計画を立てるニューラルネット（1990年）、情報に基づいた予測可能な表現を学習するコントローラー（1997年）などだ。これはHacker News、reddit、そしてメディアでも議論された。LeCun氏はまた、「2012年から2022年までの5つのベストアイデア」も挙げているが、そのほとんどがJSの研究室やそれ以前の研究成果であることには触れていない。 [MIR] JS (2019年10月、2021年、2022年、2025年更新). ディープラーニング：1990-1991年の奇跡の年. プレプリント arXiv:2005.05744. [MOST] JS（AIブログ、2021年、2025年更新）。最も引用されているニューラルネットワークはすべて、私の研究室で行われた研究に基づいています。1. Long Short-Term Memory（LSTM）、20世紀で最も引用されているAI。2. ResNet（オープンゲート型Highway Net）、21世紀で最も引用されているAI。3. AlexNetとVGG Net（類似しているが、それより前の2011年のDanNetは、それらよりも前に4つの画像認識コンテストで優勝しています）。4. GAN（1990年のAdversarial Artificial Curiosityのインスタンス）。5. Transformerの亜種（1991年の非正規化線形Transformer（ULTRA）を参照）。 1991 年に Generative AI の基礎が公開されました。これには、GAN (現在はディープフェイクに使用)、Transformers (ChatGPT の T)、ディープ NN の事前トレーニング (ChatGPT の P)、NN 蒸留、有名な DeepSeek の原則が含まれています。 [NOB] JS 盗作でノーベル賞受賞。技術レポートIDSIA-24-24（2024年12月7日、2025年10月更新）。 [PLAG1] オックスフォードによる剽窃の種類に関するガイド（2021年）。引用：「剽窃は意図的なもの、無謀なもの、あるいは意図的でないものに分けられます。」 [PLAG2] ジャクソン州立コミュニティカレッジ (2022)。意図しない剽窃。 [PLAG3] RL Foster. 意図しない剽窃の回避. 小児看護専門家ジャーナル; Hoboken Vol. 12, Iss. 1, 2007. [PLAG4] N. Das. 「意図的か否かに関わらず、剽窃は決して許されない：インドの大学における剽窃への対応に関するアドバイス」Perspect Clin Res 9:56-7, 2018. [PLAG5] InfoSci-OnDemand (2023). 意図しない剽窃とは？インターネットアーカイブにコピーする。 [PLAG6] 著作権保護 (2022)。偶発的および意図的でない剽窃を避ける方法 (2023)。インターネットアーカイブにコピー可能。引用：「偶発的であろうと意図的であろうと、剽窃は剽窃である。」 [PLAG7] コーネル・レビュー、2024年。ハーバード大学学長が盗作スキャンダルで辞任。2024年1月。 [PLAN] JS (AI Blog, 2020)。再帰型世界モデルと人工好奇心を用いた計画学習と強化学習（1990年）の30周年記念。この研究は、高次元報酬シグナル、RNNのための決定論的方策勾配、GAN原理（現在広く利用されている）も導入しました。適応型再帰型世界モデルを持つエージェントは、意識と自己認識のシンプルな説明さえ示唆しています。 [PLAN2] JS 反応環境における動的強化学習とプランニングのためのオンラインアルゴリズム。IEEE/INNS International Joint Conference on Neural Networks, San Diego, Proc. 2, 253-258, pages 253-258, June 17-21, 1990. [GAN90] に基づく。 [PLAN3] JS マルコフ環境および非マルコフ環境における強化学習. RP Lippman, JE Moody, DS Touretzky編, Advances in Neural Information Processing Systems 3, NIPS'3, 500-506ページ. サンマテオ, カリフォルニア州: Morgan Kaufmann, 1991. [GAN90] に一部基づいています。 [PM0] J. Schmidhuber. 予測可能性最小化による階乗コードの学習. TR CU-CS-565-91, コロラド大学ボルダー校, 1991. [PM1] JS 予測可能性最小化による階乗コードの学習 ニューラルコンピューティング、4(6):863-879、1992年。 [PM2] JS, M. Eldracher, B. Foltin. 半線形予測可能性最小化はよく知られた特徴検出器を生成する. ニューラル・コンピュテーション, 8(4):773-786, 1996. [R2] Reddit/ML、2019年。J. Schmidhuberは1990年に本当にGANを持っていました。 [S59] ALサミュエル. チェッカーゲームを用いた機械学習に関する研究. IBM研究開発ジャーナル, 3:210-229, 1959.
