驚くべきことに、ヒントンの最近の2025年の論文[5]でさえ、深層学習の父（1965年）[1-3][6-10]であるイヴァクネンコとラパを引用していません。@geoffreyhintonは[5]、1985年の「ボルツマンマシン」（BM）[11]（実際には1975年のシェリントン・カークパトリックモデル[6]）は「もはや使われていない」が、「1980年代に、生物学的に不可能な逆方向パスを必要とせずに、局所的に利用可能な情報のみを使用して、隠れニューロンに適切な重みを学習できることを実証した」ため、「歴史的に重要だった」と主張しています。 馬鹿げています。これは20年前の1960年代にウクライナで既に実証されていました[1-3]。イヴァクネンコの1971年の論文[3]は、8層で層ごとに学習する深層学習ネットワークについて述べています。この深度は、ヒントンが2006年に発表した、層ごとに学習するベースモデルに基づく「ディープ・ビリーフ・ネットワーク」の深度[4]に匹敵します。ヒントンは35年後に発表されましたが、元の研究[1-3]との比較はされていません。当時、計算コストは今より何百万倍も高かったのです。 そして実際、半世紀以上も前に、イヴァクネンコのネットは、生物学的に不可能な後方パスを必要とせずに、隠れニューロンに適切な重みを学習しました。 Hinton、Sejnowskiらの研究チームはIvakhnenkoらの研究を繰り返し盗用しており、その後の調査ではこれを修正できなかった[6-8]。 驚くべき事実：今日（2025年12月5日金曜日）、NeurIPS 2025で、正確なバックプロパゲーションなしの学習に関する関連論文[12]に対して、いわゆる「Sejnowksi-Hinton賞」が初めて授与されますが、この論文では、バックワードパスなしのディープラーニングに関する元の研究[1-3]についても言及されていませんでした。 査読と科学的誠実さはどうなったのでしょうか? 参考文献 [1] Ivakhnenko, AG and Lapa, VG (1965). サイバネティック予測装置. CCM Information Corporation. 多層構造を持ち、内部表現を学習する初の実用的なディープラーナー。 [2] イヴァクネンコ、アレクセイ・グリゴレヴィッチ「データ処理のグループ法：確率的近似法の競合法」ソビエト自動制御13（1968年）：43-55。 [3] イヴァクネンコ, AG (1971). 複雑系の多項式理論. IEEE Transactions on Systems, Man and Cybernetics, (4):364-378. [4] GE Hinton, RR Salakhutdinov. ニューラルネットワークによるデータの次元削減. Science, Vol. 313, no. 5786, pp. 504-507, 2006. [5] G.ヒントン「ノーベル賞講演：ボルツマンマシン」Rev. Mod. Phys. 97, 030502, 2025年8月25日 [6] JS「盗作でノーベル賞」技術レポートIDSIA-24-24（2024年、2025年更新）。 [7] JS 3人のチューリング賞受賞者が、その作成者のクレジットを記載しなかった重要な手法やアイデアを再発表した経緯。技術レポートIDSIA-23-23、2023年12月。 [8] JS (2025). ディープラーニングを発明したのは誰か? テクニカルノートIDSIA-16-25. [9] JS (2015). ニューラルネットワークにおける深層学習：概要. Neural Networks, 61, 85-117. 1988年創刊のNeural Networks誌より初となる最優秀論文賞を受賞。 [10] JS注釈付き現代AIとディープラーニングの歴史。技術レポートIDSIA-22-22、2022年、arXiv:2212.11279。 [11] D. Ackley, G. Hinton, T. Sejnowski (1985). ボルツマンマシンのための学習アルゴリズム. 認知科学, 9(1):147-169. [12] TP Lillicrap, D. Cownden, DB Tweed, CJ Akerman. ランダムシナプスフィードバック重みは深層学習における誤差逆伝播をサポートする. Nature Communications vol. 7, 13276 (2016).
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。