來自 Jürgen Schmidhuber（@SchmidhuberAI）的推文串

現代人工智慧是基於人工神經網路（NN）。是誰發明了它們？ https://t.co/ZCI8ZrEKnZ 生物神經網路發現於19世紀80年代people.idsia.ch/~juergen/who-i…1年被創造出來[CAJ06]。許多人認為神經網路是在此之後發展起來的。但事實並非如此：第一個具有兩層單元的「現代」神經網路早在兩個多世紀前（1795-1805年）就由勒讓德（1805年）和高斯（1795年，未發表）發明[STI81]，當時的計算成本比2025年高出數萬億倍。 誠然，人工神經網路的術語直到20世紀後期才被引入。例如，早在1943年就有人討論過一些非學習型神經網路[MC43]。關於簡單神經網路學習規則的非正式想法發表於1948年[HEB48]。神經網路的演化計算在1948年的一份未發表報告中被提及[TUR1]。各種特定的學習型神經網路分別發表於1958年[R58]、1961年[R61][ST61-95]和1962年[WID62]。 然而，儘管這些 20 世紀中期的神經網路論文具有歷史意義，但它們與現代人工智慧的關係實際上不如高斯和勒讓德提出的更古老的自適應神經網路那麼密切，後者至今仍被廣泛使用，是所有神經網路（包括最近的更深層神經網路）的基礎 [DL25]。 兩個多世紀前提出的高斯-勒讓德神經網路[NN25]包含一個輸入層（包含多個輸入單元）和一個輸出層。為簡單起見，我們假設輸出層只有一個輸出單元。每個輸入單元可以儲存一個實數值，並透過一個具有實數值權重的連接與輸出單元相連。神經網路的輸出是所有輸入與其權重的乘積總和。給定一個訓練集，其中包含輸入向量以及每個向量的期望目標值，神經網路的權重會被調整，使得神經網路輸出與對應目標值之間的平方誤差總和最小[DLH]。現在，這個神經網路可以用來處理之前未見過的測試資料。 當然，當時這並不叫神經網路（NN），因為人們甚至還不了解生物神經元——神經細胞的第一張顯微照片是幾十年後的1836年由瓦倫丁拍攝的，而「神經元」一詞則是瓦爾代爾在1891年創造的[CAJ06]。當時，這項技術被稱為最小平方法，在統計學中也廣為人知的線性迴歸。但它在數學上與今天的線性兩層神經網路完全相同：相同的基本演算法、相同的誤差函數、相同的自適應參數/權重。這種簡單的神經網路執行的是“淺層學習”，而不是具有許多非線性層的“深度學習”[DL25]。事實上，許多現代神經網路課程都是從介紹這種方法開始，然後再過渡到更複雜、更深層的神經網路[DLH]。 即使是19世紀初的應用也與今天類似：根據序列中的前幾個元素來預測下一個元素。這正是CHATGPT的功能！第一個著名的神經網路模式辨識案例可以追溯到200多年前：1801年，高斯重新發現了矮行星穀神星。他收集了先前天文觀測中帶有雜訊的資料點，然後用這些資料點調整預測器的參數，使預測器能夠從訓練資料中學習，從而正確預測穀神星的新位置。正是這項發現讓年輕的高斯名聲大噪[DLH]。 古老的 Gauss-Legendre 神經網路至今仍在無數應用中使用。它與 2010 年代以來一些令人矚目的 AI 應用中使用的神經網路有何主要區別？後者通常更深，包含許多中間學習「隱藏」單元層。是誰發明了它？簡而言之：Ivakhnenko 和 Lapa (1965) [DEEP1-2]。其他人對其進行了改進 [DLH]。另見：誰發明了深度學習 [DL25]？ 有些人仍然認為現代神經網路的靈感來自生物大腦。但這並非事實：早在生物神經細胞被發現的幾十年前，簡單的工程和數學問題解決就已經催生瞭如今所謂的神經網路。事實上，在過去的兩個世紀裡，人工智慧研究並沒有太大的變化：截至2025年，神經網路的發展仍然主要由工程學驅動，而非神經生理學見解。 （一些可以追溯到幾十年前的例外情況[CN25]也印證了這一規律。） 註腳1. 1958年，高斯-勒讓德式的簡單神經網路與輸出閾值函數結合，得到了稱為感知器的模式分類器[R58][R61][DLH]。令人驚訝的是，作者[R58][R61]似乎並不了解更早的神經網路（1795-1805年），這種神經網路在統計學領域以「最小二乘法」或「線性回歸」而聞名。值得注意的是，如今最常用的兩層神經網絡是高斯-勒讓德式神經網絡，而不是1940年代[MC43]和50年代[R58]的神經網絡（後者甚至無法微分）！ 參考文獻（[NN25] 中還有許多其他參考文獻 - 請參閱上方連結）： [CAJ88] SR 卡哈爾。拉斯阿韋斯神經中心結構。牧師修剪。組織。規範。 Patol.，1 (1888)，第 1-10 頁。 [CAJ88b] SR 卡哈爾。 Sobre las fibras nerviosas de la capa molecular del cerebelo。牧師修剪。組織。規範。 Patol.，1 (1888)，第 33-49 頁。 [CAJ89] 神經元素的一般連結。醫學。 《實踐》，2 (1889)，第 341-346 頁。 [CAJ06] F. López-Muñoz、J. Boya b、C. Alamo (2006)。神經元理論是神經科學的基石，紀念聖地牙哥·拉蒙·卡哈爾獲得諾貝爾獎一百週年。 《腦研究公報》，第 70 卷，第 4-6 期，2006 年 10 月 16 日，第 391-405 頁。 [CN25] J. Schmidhuber（AI Blog，2025）。誰發明了卷積神經網路？ [DEEP1] Ivakhnenko, AG 與 Lapa, VG (1965)。控制論預測裝置。 CCM 資訊公司。第一個具有多層、學習內部表徵的深度學習器。 [DEEP1a] 伊瓦赫年科，阿列克謝‧格里戈列維奇。資料處理的群方法；隨機逼近方法的競爭。蘇聯自動控制13（1968）：43-55。 [DEEP2] Ivakhnenko, AG (1971). 複雜系統的多項式理論。 IEEE 系統、人與控制論彙刊，(4):364-378。 [DL25] J. Schmidhuber. 誰發明了深度學習？技術說明 IDSIA-16-25，IDSIA，2025 年 11 月。 [DLH] J. Schmidhuber. 現代人工智慧與深度學習的註釋歷史。技術報告 IDSIA-22-22，IDSIA，盧加諾，瑞士，2022 年。預印本 arXiv:2212.11279。 [HEB48] J. Konorski (1948). 條件反射與神經元組織。作者監督下從波蘭手稿翻譯。劍橋大學出版社，1948 年。 Konorski 在 Hebb [HEB49] 之前發表了所謂的「Hebb 規則」。 [HEB49] DO Hebb.《行為的組織》。 Wiley，紐約，1949 年。 Konorski [HEB48] 在 Hebb 之前發表了所謂的「Hebb 規則」。 [MC43] WS McCulloch, W. Pitts. 神經活動中內在思想的邏輯演算。數學生物物理學公報，第 5 卷，第 115-133 頁，1943 年。 [NN25] J. Schmidhuber. 誰發明了人工神經網路？技術說明 IDSIA-15-25，IDSIA，2025 年 11 月。 [R58] Rosenblatt, F. (1958). 感知器：大腦資訊儲存與組織的機率模型。心理學評論，65(6):386。 [R61] Joseph, RD (1961). 感知器理論的貢獻。康乃爾大學博士論文。 [R62] Rosenblatt, F. (1962). 神經動力學原理。斯巴達出版社，紐約。 [ST61] K.斯坦巴赫。學習矩陣。 （學習矩陣。）Kybernetik，1(1)：36-45，1961。 [TUR1] AM 圖靈。智能機械。未發表的技術報告，1948 年。載於：Ince DC 編輯。 AM 圖靈文集－機械智能。愛思唯爾科學出版社，1992 年。 [STI81] SM Stigler. 高斯與最小平方法的發明。統計年鑑 9(3):465-474, 1981。 [WID62] Widrow, B. 與 Hoff, M. (1962)。自適應神經元網路中數位資訊的關聯儲存和檢索。生物原型和合成系統，1:160，1962。