来自 Jürgen Schmidhuber（@SchmidhuberAI）的推文线程

现代人工智能基于人工神经网络（NN）。是谁发明了它们？https://t.co/ZCI8ZrEKnZ 生物神经网络发现于19世纪80年代[Cpeople.idsia.ch/~juergen/who-i…创造出来[CAJ06]。许多人认为神经网络是在此之后发展起来的。但事实并非如此：第一个具有两层单元的“现代”神经网络早在两个多世纪前（1795-1805年）就由勒让德（1805年）和高斯（1795年，未发表）发明[STI81]，当时的计算成本比2025年高出数万亿倍。 诚然，人工神经网络的术语直到20世纪后期才被引入。例如，早在1943年就有人讨论过一些非学习型神经网络[MC43]。关于简单神经网络学习规则的非正式想法发表于1948年[HEB48]。神经网络的进化计算在1948年的一份未发表报告中被提及[TUR1]。各种具体的学习型神经网络分别发表于1958年[R58]、1961年[R61][ST61-95]和1962年[WID62]。 然而，尽管这些 20 世纪中期的神经网络论文具有历史意义，但它们与现代人工智能的关系实际上不如高斯和勒让德提出的更古老的自适应神经网络那么密切，后者至今仍被广泛使用，是所有神经网络（包括最近的更深层神经网络）的基础 [DL25]。 两个多世纪前提出的高斯-勒让德神经网络[NN25]包含一个输入层（包含多个输入单元）和一个输出层。为简单起见，我们假设输出层只有一个输出单元。每个输入单元可以存储一个实数值，并通过一个带有实数值权重的连接与输出单元相连。神经网络的输出是所有输入与其权重的乘积之和。给定一个训练集，其中包含输入向量以及每个向量的期望目标值，神经网络的权重会进行调整，使得神经网络输出与对应目标值之间的平方误差之和最小[DLH]。现在，该神经网络可以用来处理之前未见过的测试数据。 当然，当时这并不叫神经网络（NN），因为人们甚至还不了解生物神经元——神经细胞的第一张显微照片是几十年后的1836年由瓦伦丁拍摄的，而“神经元”一词则是瓦尔代尔在1891年创造的[CAJ06]。当时，这项技术被称为最小二乘法，在统计学中也广为人知的线性回归。但它在数学上与今天的线性两层神经网络完全相同：相同的基本算法、相同的误差函数、相同的自适应参数/权重。这种简单的神经网络执行的是“浅层学习”，而不是具有许多非线性层的“深度学习”[DL25]。事实上，许多现代神经网络课程都是从介绍这种方法开始，然后再过渡到更复杂、更深层的神经网络[DLH]。 即使是19世纪初的应用也与今天类似：根据序列中的前几个元素来预测下一个元素。这正是CHATGPT的功能！第一个著名的神经网络模式识别案例可以追溯到200多年前：1801年，高斯重新发现了矮行星谷神星。他收集了先前天文观测中带有噪声的数据点，然后用这些数据点调整预测器的参数，使预测器能够从训练数据中学习，从而正确预测谷神星的新位置。正是这项发现让年轻的高斯名声大噪[DLH]。 古老的 Gauss-Legendre 神经网络至今仍在无数应用中使用。它与 2010 年代以来一些令人瞩目的 AI 应用中使用的神经网络有何主要区别？后者通常更深，包含许多中间学习“隐藏”单元层。是谁发明了它？简而言之：Ivakhnenko 和 Lapa (1965) [DEEP1-2]。其他人对其进行了改进 [DLH]。另见：谁发明了深度学习 [DL25]？ 有些人仍然认为现代神经网络的灵感来源于生物大脑。但这并非事实：早在生物神经细胞被发现的几十年前，简单的工程学和数学问题解决就已经催生了如今所谓的神经网络。事实上，在过去的两个世纪里，人工智能研究并没有发生太大的变化：截至2025年，神经网络的发展仍然主要由工程学驱动，而非神经生理学见解。（一些可以追溯到几十年前的例外情况[CN25]也印证了这一规律。） 脚注1. 1958年，高斯-勒让德式的简单神经网络与输出阈值函数相结合，得到了称为感知器的模式分类器[R58][R61][DLH]。令人惊讶的是，作者[R58][R61]似乎并不了解更早的神经网络（1795-1805年），这种神经网络在统计学领域以“最小二乘法”或“线性回归”而闻名。值得注意的是，如今最常用的两层神经网络是高斯-勒让德式神经网络，而不是20世纪40年代[MC43]和50年代[R58]的神经网络（后者甚至无法微分）！ 参考文献（[NN25] 中还有许多其他参考文献 - 请参见上方链接）： [CAJ88] SR 卡哈尔。拉斯阿韦斯神经中心结构。牧师修剪。组织。规范。 Patol.，1 (1888)，第 1-10 页。 [CAJ88b] SR 卡哈尔。 Sobre las fibras nerviosas de la capa molecular del cerebelo。牧师修剪。组织。规范。 Patol.，1 (1888)，第 33-49 页。 [CAJ89] 神经元素的一般连接。医学。 《实践》，2 (1889)，第 341-346 页。 [CAJ06] F. López-Muñoz、J. Boya b、C. Alamo (2006)。神经元理论是神经科学的基石，纪念圣地亚哥·拉蒙·卡哈尔获得诺贝尔奖一百周年。 《脑研究公报》，第 70 卷，第 4-6 期，2006 年 10 月 16 日，第 391-405 页。 [CN25] J. Schmidhuber（AI Blog，2025）。谁发明了卷积神经网络？ [DEEP1] Ivakhnenko, AG 和 Lapa, VG (1965)。控制论预测装置。CCM 信息公司。第一个具有多层、学习内部表征的深度学习器。 [DEEP1a] 伊瓦赫年科，阿列克谢·格里戈列维奇。数据处理的群方法；随机逼近方法的竞争。苏联自动控制13（1968）：43-55。 [DEEP2] Ivakhnenko, AG (1971). 复杂系统的多项式理论。IEEE 系统、人与控制论汇刊，(4):364-378。 [DL25] J. Schmidhuber. 谁发明了深度学习？技术说明 IDSIA-16-25，IDSIA，2025 年 11 月。 [DLH] J. Schmidhuber. 现代人工智能和深度学习的注释历史。技术报告 IDSIA-22-22，IDSIA，卢加诺，瑞士，2022 年。预印本 arXiv:2212.11279。 [HEB48] J. Konorski (1948). 条件反射和神经元组织。作者监督下从波兰手稿翻译。剑桥大学出版社，1948 年。Konorski 在 Hebb [HEB49] 之前发表了所谓的“Hebb 规则”。 [HEB49] DO Hebb.《行为的组织》。Wiley，纽约，1949 年。Konorski [HEB48] 在 Hebb 之前发表了所谓的“Hebb 规则”。 [MC43] WS McCulloch, W. Pitts. 神经活动中内在思想的逻辑演算。数学生物物理学公报，第 5 卷，第 115-133 页，1943 年。 [NN25] J. Schmidhuber. 谁发明了人工神经网络？技术说明 IDSIA-15-25，IDSIA，2025 年 11 月。 [R58] Rosenblatt, F. (1958). 感知器：大脑信息存储和组织的概率模型。心理学评论，65(6):386。 [R61] Joseph, RD (1961). 感知器理论的贡献。康奈尔大学博士论文。 [R62] Rosenblatt, F. (1962). 神经动力学原理。斯巴达出版社，纽约。 [ST61] K.斯坦巴赫。学习矩阵。 （学习矩阵。）Kybernetik，1(1)：36-45，1961。 [TUR1] AM 图灵。智能机械。未发表的技术报告，1948 年。载于：Ince DC 编辑。AM 图灵文集——机械智能。爱思唯尔科学出版社，1992 年。 [STI81] SM Stigler. 高斯与最小二乘法的发明。统计年鉴 9(3):465-474, 1981。 [WID62] Widrow, B. 和 Hoff, M. (1962)。自适应神经元网络中数字信息的关联存储和检索。生物原型和合成系统，1:160，1962。