令人難以置信的是,就連Hinton最近發表於2025年的文章[5]也沒有引用深度學習之父Ivakhnenko和Lapa(1965)[1-3][6-10]。 @geoffreyhinton聲稱[5]他1985年提出的“玻爾茲曼機”(BM)[11](實際上是1975年的Sherrington-Kirkpatrick模型[6])“不再使用”,但“具有重要的歷史意義”,因為“在20世紀80年代,它們證明了僅使用局部可用信息的反重 這太荒謬了。早在1960年代的烏克蘭,就已經有人證明了這一點[1-3]。伊瓦赫年科1971年的論文[3]描述了一個8層深度學習網絡,並採用了逐層訓練。這個深度與辛頓2006年發表的基於BM演算法的「深度信念網絡」的逐層訓練深度相當[4],而辛頓的論文發表於35年後,卻沒有與最初的工作[1-3]進行比較——要知道,當時的計算成本比現在高出數百萬倍。 事實上,早在半個多世紀前,伊瓦赫年科網路就學習到了隱藏神經元的適當權重,而無需進行生物學上不合理的反向傳播! Hinton & Sejnowski 及其同事多次抄襲 Ivakhnenko 等人的研究成果,並且在後來的調查中未能糾正這一錯誤 [6-8]。 令人匪夷所思的是:今天(2025 年 12 月 5 日,星期五),首屆所謂的「Sejnowksi-Hinton 獎」將在 NeurIPS 2025 上頒發給一篇關於無需精確反向傳播的學習的相關論文 [12],該論文也沒有提及關於無需反向傳播的深度學習的原始工作 [1-3]。 同儕審查和科學誠信都到哪裡去了? 參考 [1] Ivakhnenko, AG 與 Lapa, VG (1965)。控制論預測裝置。 CCM 資訊公司。第一個具有多層的深度學習器,學習內部表徵。 [2] 伊瓦赫年科,阿列克謝‧格里戈列維奇。資料處理的群方法;隨機逼近方法的競爭。蘇聯自動控制13(1968):43-55。 [3] Ivakhnenko, AG (1971). 複雜系統的多項式理論。 IEEE 系統、人與控制論彙刊,(4):364-378。 [4] GE Hinton, RR Salakhutdinov. 利用神經網路降低資料維度。科學,第 313 卷,第 5786 期,第 504-507 頁,2006 年。 [5] G. Hinton. 諾貝爾獎演講:玻爾茲曼機。現代物理評論 97, 030502, 2025 年 8 月 25 日。 [6] JS 因剽竊而獲得諾貝爾獎。技術報告 IDSIA-24-24(2024 年,2025 年更新)。 [7] JS 三位圖靈獎得主如何重新發表了他們未註明出處的關鍵方法和想法。技術報告 IDSIA-23-23,2023 年 12 月。 [8] JS (2025). 誰發明了深度學習?技術說明 IDSIA-16-25。 [9] JS (2015). 神經網路中的深度學習:概述。神經網絡,61,85-117。獲得了1988年創刊的《神經網路》期刊頒發的首個最佳論文獎。 [10] JS 現代人工智慧與深度學習的註釋歷史。技術報告 IDSIA-22-22,2022 年,arXiv:2212.11279。 [11] D. Ackley, G. Hinton, T. Sejnowski (1985). 玻爾茲曼機的學習演算法。認知科學,9(1):147-169。 [12] TP Lillicrap、D. Cownden、DB Tweed、CJ Akerman。隨機突觸回饋權重支持深度學習的誤差反向傳播。 《自然通訊》第7卷,13276(2016)。
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。