現代人工智慧是基於「深度學習」。為什麼深度學習起源於1965年的烏克蘭（蘇聯）？當時，蘇聯在許多重要的科學技術領域處於領先地位，尤其是在航太領域：第一顆人造衛星（1957年）、第一個人造物體登陸天體（1959年）、第一位太空人進入太空（1961年）、第一位女性太空人進入太空（1962年）、第一個機器人登陸天體（1965年）、第一個機器登陸天體（1965年）。蘇聯也引爆了世界上威力最大的原子彈（1961年），並且擁有許多頂尖數學家，為基礎數學研究提供了充足的資金。這些研究的巨大意義直到幾十年後計算成本降低數十億倍時才顯現出來。 請參閱 Ivakhnenko 於 1971 年發表的英文綜述（IEEE Transactions on Systems, Man and Cybernetics, (4):364-378）。這篇綜述描述了一個 8 層的深度學習網絡，即使在 21 世紀初，這個層數也算是相當深的。給定一個包含輸入向量及其對應目標輸出向量的訓練集，網路層透過迴歸分析逐步增長並進行訓練。在微調階段，借助獨立的驗證集，透過正規化剪枝去除多餘的隱藏單元。這簡化了網絡，並提高了其在未見過的測試資料上的泛化能力。網路層數和每層單元數是根據具體問題進行學習的。甚至當時的實驗也與今天的實驗類似：根據序列中的前幾個元素來預測下一個元素。這正是 ChatGPT 的功能！ 也就是說，伊瓦赫年科在「連結主義」這個名稱在 20 世紀 80 年代流行起來的二十年前就提出了帶有自適應隱藏層的連結主義，在「深度學習」這個名稱在 21 世紀初流行起來的四十年前就提出了「深度學習」。 他還證明，僅使用局部可用資訊即可學習隱藏單元的適當權重，而無需進行生物學上不合理的反向傳播（反向傳播技術於 1970 年在鄰國芬蘭發表）。 更多內容請參考：誰發明了深度學習？技術說明 IDSIA-16-25，IDSIA，2025 年 11 月。
