来自 Jürgen Schmidhuber（@SchmidhuberAI）的推文线程

图灵奖得主本吉奥博士实验室中被引用次数最多的研究论文是关于生成对抗网络（GAN）的。那么，GAN 是谁发明的呢？ 第一个兼具生成性和对抗性的神经网络（NN）于1990-1991年在慕尼黑发表[GAN25] https://t.co/Ev6rSvYiY2 当时的计算成本大约是今天（2025 年）的 1000 万倍。 这些网络是如何运作的呢？这里有两个相互博弈的神经网络。一个所谓的控制器神经网络（带有自适应随机高斯单元，即生成模型）生成输出数据。该输出被输入到一个预测器神经网络（在1990年被称为“世界模型”[Gpeople.idsia.ch/~juergen/who-i…来预测输出的影响。然而，在极小极大博弈中，生成器神经网络的目标是最大化预测器神经网络所最小化的误差。 因此，控制器会通过其输出创造出令预测器感到意外的实验/情境。随着预测器的改进，这些情境会变得乏味。这反过来又会激励控制器创造出结果更难以预测的新输出（或实验），如此往复。这被称为人工好奇心[GAN90][GAN91][GAN10][AC]。 人工好奇心并非首个对抗性机器学习场景，但早期的研究[S59][H90]与之截然不同——它们既不涉及自监督神经网络（即一个神经网络观察另一个生成神经网络的输出并尝试预测其结果），也不涉及数据建模，更未使用梯度下降法。（生成模型本身的历史更为悠久，例如隐马尔可夫模型[MM1-3]。） 参见 1990 年技术报告 [GAN90] 中的“实现动态好奇心和无聊感”部分以及 1991 年同行评审会议论文 [GAN91]。其中提到了一些初步实验，在这些实验中（在没有外部奖励的情况下），预测器最小化生成器最大化的线性函数。 因此，这些早期论文本质上描述的是近四分之一个世纪后，也就是2014年[GAN14]才出现的生成对抗网络（GAN）技术。当时的计算成本比1990年便宜了大约10万倍。2014年，1990年的神经预测器或世界模型[GAN90][GAN91]被称为判别器[GAN14]，用于预测生成器可能输出的二元效应（例如真实与虚假）[GAN20]。2014年将其应用于图像生成[GAN14]是一项创新。 1990 年的 GAN 比 2014 年的 GAN 更具通用性：它不局限于单步试验中的单一输出动作，而是允许执行长序列的动作。1997 年发表了更复杂的用于人工智能好奇心和创造力的生成对抗系统 [AC97][AC99][AC02][LEC]，这些系统预测的是抽象的内部表征，而不是原始数据。 1990 年的原理 [GAN90-91] 已被广泛用于强化学习的探索 [SIN5][OUD13][PAT17][BUR18] 和逼真图像的合成，例如深度伪造 [GAN14-19b]，尽管后者最终被 Rombach 等人的潜在扩散 [DIF1] 所取代，这是慕尼黑发表的另一种方法，它建立在 Jarzynski 上个世纪在物理学领域的早期工作 [DIF2] 和最近的论文 [DIF3-5] 之上。 附录 1. GAN 优先权之争（1990-91 年 vs 2014 年） 2014 年关于生成对抗神经网络 (GAN) 的论文 [GAN14] 未能引用 1990 年关于生成对抗神经网络的原始工作 [GAN90,91,20][R2][DLP]。 2014 年的论文 [GAN14] 也对另一个基于梯度的双网络对抗系统——可预测性最小化 (Predictability Minimization, 1991) [PM0-1][GAN20][DLP]——做出了错误的论断。在 1990 年关于人工好奇心的论文 [GAN90] 发表一年后，可预测性最小化利用两个学习神经网络之间的对抗来创建输入数据的解耦内部表示（或阶乘编码）[PM0-1]。2014 年的论文 [GAN1] 引用了可预测性最小化，但错误地声称它不是极小极大博弈，因此与 GAN 不同。然而，1991 年 [PM0-1] 和 1996 年 [PM2]（使用图像）的可预测性最小化实验正是极小极大类型。 即使是作者后来的调查[GAN14]也未能引用原始论文[DLP]。[GAN14]的作者从未更正他们2014年的论文，这表明他们意图强行构建一种新颖的叙事，即使面对相反的证据也是如此。 在2016年N(eur)IPS会议上，Juergen Schmidhuber (JS)与[GAN14]的第一作者发生了一次引人注目的会面，之后，包括彭博社[AV1]在内的大众媒体开始关注优先权之争。当时，[GAN14]的第一作者就生成对抗网络（GAN）发表了演讲，并鼓励与会者提问。JS也提出了问题，指出了N(eur)IPS 2014论文[GAN14]中存在的问题，以及该论文对先前关于概率管理（PM）的研究[GAN20][DLP]的错误论断。 随后，各方努力在一篇共同发表的论文中修正这些问题，但持续数月之久，最终未能成功。第一作者[GAN14]最终承认PM是对抗性的（他未经修正的NeurIPS论文[GAN14]仍然声称相反），但他强调PM并非生成式算法。作为回应，JS指出，更早的Artificial Curiosity[GAN90][GAN91][GAN20][R2][AC][DLP]既是对抗性的又是生成式的（其生成器神经网络包含概率单元[GAN90]，类似于StyleGANs[GAN19]）。 尽管这一说法属实，但[GAN14]的作者并未尝试更正论文或对此作出回应。因此，一篇关于此优先权争议的同行评审期刊论文[GAN20]于2020年发表，以澄清事实。 当然，众所周知，抄袭可以是“无意的”或“有意或鲁莽的”[PLAG1-6]，而本案很可能部分属于后者。但科学界有一套完善的方法来处理“重复发现”和抄袭问题——无论是无意的[PLAG1-6][CONN21]还是有意的[FAKE1-3]——其依据是出版物和专利的时间戳等事实[DLP][NOB]。科学的准则要求无意抄袭者通过勘误表更正其出版物，并在未来正确地注明原始出处。然而，作者[GAN14]并没有这样做；相反，他们不断地收集其他研究人员发明成果的引用[DLP]。这种行为显然将无意的抄袭[PLAG1-6]变成了有意的抄袭[FAKE2]。 参考 [AC] J. Schmidhuber（JS，AI博客，2021年，2023年更新）。三十年来，人工智能的好奇心与创造力不断发展。我们的人工智能科学家不仅能解答既定问题，还能提出新的问题。他们通过以下方式实现好奇心：（1990年）生成对抗网络原理；（1991年）最大化学习进度的神经网络；（1995年）最大化信息增益的神经网络（自2011年起达到最优）；（1997-2022年）对抗性设计出人意料的计算实验；（2006年）像科学家/艺术家/喜剧演员那样最大化压缩进度；（2011年）PowerPlay……自2012年起：应用于真实机器人。 [AC97] JS 什么有趣？技术报告 IDSIA-35-97，IDSIA，1997 年 7 月。重点在于自动创建复杂时空事件的可预测内部抽象：两个相互竞争、具有内在动机的智能体就本质上任意的算法实验达成一致，并在零和博弈中押注其可能令人惊讶（但尚未可预测）的结果。每个智能体都可能通过发明实验方案来智胜/出其不意地击败对方，从而使双方对预测结果产生分歧。重点在于探索通用算法空间（而非传统的从输入到输出的简单映射）；该通用系统专注于有趣的事物，而忽略了世界中可预测和不可预测的方面。与我们之前具有内在动机的系统（例如 [AC90]）不同，该系统还考虑了学习新技能、学习何时学习以及学习什么的计算成本。参见后续出版物 [AC99][AC02]。 [AC99] JS 人工好奇心基于通过协同进化发现新的算法可预测性。载于 P. Angeline、Z. Michalewicz、M. Schoenauer、X. Yao、Z. Zalzala 编，《进化计算大会》，第 1612-1618 页，IEEE 出版社，新泽西州皮斯卡塔韦，1999 年。 [AC02] JS 探索可预测性。载于 Ghosh, S. Tsutsui 编，《进化计算进展》，第 579-612 页，Springer，2002 年。 [AV1] A. Vance. Google、Amazon 和 Facebook 都欠 Jürgen Schmidhuber 一大笔钱——这个人是人工智能界想要遗忘的教父。《商业周刊》，彭博社，2018 年 5 月 15 日。 [DEC] JS（人工智能博客，2020年2月20日，2025年更新）。2010年代：我们的深度学习十年/2020年代展望。回顾过去十年基于我们人工智能技术的最重要发展和工业应用，并展望2020年代，同时探讨隐私和数据市场。 [DIF1] R. Rombach、A. Blattmann、D. Lorenz、P. Esser、B. Ommer。基于潜在扩散模型的高分辨率图像合成。CVPR 2022。预印本 arXiv:2112.10752，慕尼黑大学，2021。 [DIF2] C. Jarzynski. 非平衡测量得到的平衡自由能差异：主方程方法。物理评论 E，1997。 [DIF3] J. Sohl-Dickstein、EA Weiss、N. Maheswaranathan、S. Ganguli。使用非平衡热力学的深度无监督学习。 CoRR，abs/1503.03585，2015。 [DIF4] O. Ronneberger、P. Fischer、T. Brox. Unet：用于生物医学图像分割的卷积网络。载于 MICCAI (3)，计算机科学讲义第 9351 卷，第 234-241 页。Springer，2015 年。 [DIF5] J. Ho, A. Jain, P. Abbeel. 扩散概率模型去噪. 神经信息处理系统进展 33:6840-6851, 2020. [DL1] JS，2015。神经网络中的深度学习：概述。《神经网络》，61，85-117。更多。 [DLH] JS (2022)。现代人工智能和深度学习的注释历史。技术报告 IDSIA-22-22，IDSIA，瑞士卢加诺，2022 年。预印本 arXiv:2212.11279。 [DLP] J. Schmidhuber (2023)。三位图灵奖获得者如何重新发表了他们未注明出处的关键方法和思想。技术报告 IDSIA-23-23，瑞士人工智能实验室 IDSIA，2023 年 12 月 14 日。 [FAKE1] H. Hopf、A. Krief、G. Mehta、SA Matlin。《伪科学与知识危机：无知可能致命》。皇家学会开放科学，2019 年 5 月。引文：“科学家必须勇于发声，当他们在社交媒体、传统纸媒或广播媒体上看到虚假信息时”，并且“必须公开反对流传的虚假信息和伪科学，并有力地反驳那些宣扬虚假信息的公众人物”。 [FAKE2] L. Stenflo. 聪明的抄袭者是最危险的。《自然》，第427卷，第777页（2004年2月）。引文：“在我看来，更糟糕的是……一些科学家用不同的措辞改写先前的研究成果，故意隐藏其思想来源，然后在随后的几年里强行声称他们发现了新的现象。” [FAKE3] S. Vazire (2020). 向错误检测器致敬。愿 2020 年成为我们珍视那些确保科学自我纠正的人的一年。《自然》，第 577 卷，第 9 页，2020 年 2 月 2 日。 [GAN90] J. Schmidhuber (JS). 使世界可微：关于使用全循环自监督神经网络在非平稳环境中进行动态强化学习和规划。技术报告 FKI-126-90，慕尼黑工业大学，1990 年。这是第一篇关于使用强化学习循环神经网络 (NN) 进行规划的论文（更多内容），以及关于生成对抗网络的论文，其中生成器 NN 与预测器 NN 在极小极大博弈中对抗。 [GAN91] JS 在模型构建神经控制器中实现好奇心和无聊的可能性。载于 JA Meyer 和 SW Wilson 编辑的《国际自适应行为模拟会议论文集：从动物到拟人化动物》，第 222-227 页。MIT Press/Bradford Books，1991 年。基于 [GAN90]。 [GAN10] JS 创造力、乐趣和内在动机的形式理论 (1990-2010)。IEEE 自主心理发展汇刊，2(3):230-247, 2010。这篇著名的 2010 年综述总结了 1990 年的生成对抗神经网络如下：“神经网络作为预测世界模型，用于最大化控制器的内在奖励，该奖励与模型的预测误差成正比”（而模型的预测误差则被最小化）。 [GAN10b] O. Niemitalo. 一种训练人工神经网络在可变上下文中生成缺失数据的方法。博客文章，互联网档案馆，2010 年。一篇描述 GAN 基本思想的博客文章 [GAN90-91][GAN20][AC]。 [GAN14] I. Goodfellow、J. Pouget-Abadie、M. Mirza、B. Xu、D. Warde-Farley、S. Ozair、A. Courville、Y. Bengio。“生成对抗网络”。NIPS 2014，2672-2680，2014 年 12 月。该 GAN 描述未引用 JS 于 1990 年提出的原始 GAN 原理 [GAN90-91][GAN20][AC][R2][DLP]，并且包含关于 JS 用于可预测性最小化的对抗神经网络的错误声明 [PM0-2][GAN20][DLP]。 [GAN19] T. Karras, S. Laine, T. Aila. 生成对抗网络的基于风格的生成器架构。在 IEEE 计算机视觉与模式识别会议 (CVPR) 论文集，第 4401-4410 页，2019 年。 [GAN19b] D. Fallis.深度伪造的认知威胁。哲学与技术 34.4 (2021):623-643。 [GAN20] J. Schmidhuber. 生成对抗网络是人工好奇心 (1990) 的特例，并且与可预测性最小化 (1991) 密切相关。神经网络，第 127 卷，第 58-66 页，2020 年。预印本 arXiv/1906.04493。 [GAN25] J. Schmidhuber. 谁发明了生成对抗网络？技术报告 IDSIA-14-25，IDSIA，2025 年 12 月。参见上方链接。 [H90] WD Hillis. 共进化寄生虫改进模拟进化作为一种​​优化程序。Physica D: Nonlinear Phenomena, 42(1-3):228-234, 1990。 [LEC] JS（AI Blog，2022）。LeCun 2022 年发表的关于自主机器智能的论文重述了 1990 年至 2015 年间的重要工作，但并未引用这些工作。多年前，JS 的团队发表了 Y. LeCun 所称的他“主要原创贡献”的大部分内容：例如，能够学习多个时间尺度和抽象层次、生成子目标、利用内在动机改进世界模型并进行规划的神经网络（1990 年）；以及能够学习信息丰富的可预测表示的控制器（1997 年）等等。这些内容也曾在 Hacker News、Reddit 和媒体上讨论过。LeCun 还列出了“2012-2022 年的 5 个最佳想法”，却只字未提其中大部分都来自 JS 的实验室，而且时间更早。 [MIR] JS（2019 年 10 月，2021、2022、2025 年更新）。深度学习：我们奇迹般的 1990-1991 年。预印本 arXiv:2005.05744。 [MOST] JS（AI Blog，2021 年，2025 年更新）。被引用次数最多的神经网络都基于我实验室的工作：1. 长短期记忆网络 (LSTM)，20 世纪被引用次数最多的 AI 模型。2. ResNet（开放式高速公路网络），21 世纪被引用次数最多的 AI 模型。3. AlexNet 和 VGG Net（类似但更早的 DanNet 于 2011 年发布，此前赢得了 4 项图像识别挑战赛）。4. GAN（1990 年对抗性人工好奇心的一个实例）。5. Transformer 的变体——参见 1991 年的非归一化线性 Transformer (ULTRA)。生成式 AI 的基础理论发表于 1991 年：GAN（现用于深度伪造）、Transformer（ChatGPT 中的 T）、深度神经网络的预训练（ChatGPT 中的 P）、神经网络蒸馏以及著名的 DeepSeek 的原理。 [NOB] JS 因剽窃获得诺贝尔奖。技术报告 IDSIA-24-24（2024 年 12 月 7 日，2025 年 10 月更新）。 [PLAG1] 牛津大学关于剽窃类型的指南（2021）。引文：“剽窃可能是故意的、鲁莽的，也可能是无意的。” [PLAG2] 杰克逊州立社区学院 (2022)。无意抄袭。 [PLAG3] RL Foster. 避免无意抄袭。儿科护理专家杂志；霍博肯，第 12 卷，第 1 期，2007 年。 [PLAG4] N. Das. 无论是有意还是无意，抄袭都是绝对不允许的：关于印度大学如何处理抄袭问题的说明。Perspect Clin Res 9:56-7, 2018。 [PLAG5] InfoSci-OnDemand (2023)。什么是无意剽窃？互联网档案馆中的副本。 [PLAG6] 版权所有 (2022)。如何避免意外和无意抄袭 (2023)。互联网档案馆藏本。引文：“无论是意外还是故意，抄袭就是抄袭。” [PLAG7] 康奈尔评论，2024 年。哈佛大学校长因抄袭丑闻辞职。2024 年 1 月。 [PLAN] JS（AI Blog，2020）。规划与强化学习结合循环世界模型和人工智能好奇心30周年纪念（1990）。这项工作还引入了高维奖励信号、循环神经网络的确定性策略梯度以及生成对抗网络（GAN）原理（如今已被广泛应用）。具有自适应循环世界模型的智能体甚至为意识和自我意识提供了一种简单的解释。 [PLAN2] JS 一种用于反应式环境中动态强化学习和规划的在线算法。发表于 IEEE/INNS 国际神经网络联合会议论文集，圣地亚哥，第 2 卷，第 253-258 页，1990 年 6 月 17-21 日。基于 [GAN90]。 [PLAN3] JS 马尔可夫和非马尔可夫环境下的强化学习。载于 RP Lippman、JE Moody 和 DS Touretzky 编辑的《神经信息处理系统进展 3》（NIPS'3），第 500-506 页。加利福尼亚州圣马特奥：Morgan Kaufmann，1991 年。部分基于 [GAN90]。 [PM0] J. Schmidhuber. 通过可预测性最小化学习因子编码。TR CU-CS-565-91，科罗拉多大学博尔德分校，1991 年。 [PM1] JS 通过可预测性最小化学习因子编码。神经计算，4(6):863-879, 1992。 [PM2] JS, M. Eldracher, B. Foltin. 半线性可预测性最小化产生众所周知的特征检测器。神经计算，8(4):773-786, 1996。 [R2] Reddit/ML，2019 年。J. Schmidhuber 早在 1990 年就提出了 GAN。 [S59] AL Samuel. 利用跳棋游戏进行机器学习的一些研究。IBM 研究与开发杂志，3:210-229，1959。