Jürgen Schmidhuber（@SchmidhuberAI）のスレッド

現代のAIは人工ニューラルネットワーク（NN）に基づいています。誰が発明したのでしょうか？ https://t.co/ZCI8ZrEKnZ people.idsia.ch/~juergen/who-i…発見されました[CAJ88-06]。「ニューロン」という用語は1891年に造られました[CAJ06]。多くの人はニューラルネットワークがそれより後に開発されたと考えていますが、それは誤りです。2層のユニットを持つ最初の「現代的な」ニューラルネットワークは、2世紀以上前（1795～1805年）、ルジャンドル（1805年）とガウス（1795年、未発表）[STI81]によって発明されました。当時のコンピュータのコストは、2025年よりも何兆倍も高かったのです。 確かに、人工ニューラルネットワークという用語が導入されたのは1900年代に入ってからずっと後のことです。例えば、学習しないニューラルネットワークは1943年に議論されました[MC43]。単純なニューラルネットワークの学習規則に関する非公式な考察は1948年に発表されました[HEB48]。ニューラルネットワークにおける進化的計算は、1948年の未発表の報告書[TUR1]で言及されました。様々な具体的な学習型ニューラルネットワークは、1958年[R58]、1961年[R61][ST61-95]、そして1962年[WID62]に発表されました。 しかし、1900年代半ばのこれらのNN論文は歴史的には興味深いものですが、実際には、ガウスとルジャンドルによるはるかに古い適応型NNほど現代のAIとは関係がありません。適応型NNは現在でも頻繁に使用されており、最近のより深いNN [DL25]を含むすべてのNNのまさに基礎となっています。 2世紀以上前のガウス・ルジャンドルNN [NN25] は、複数の入力ユニットを持つ入力層と、出力層を備えています。ここでは、説明を簡略化するために、後者は1つの出力ユニットで構成されていると仮定します。各入力ユニットは実数値を保持でき、実数値の重みを持つ接続によって出力ユニットに接続されています。NNの出力は、入力とその重みの積の合計です。入力ベクトルのトレーニングセットとそれぞれの目標値が与えられた場合、NNの重みは、NN出力と対応する目標値との間の二乗誤差の合計が最小化されるように調整されます [DLH]。これで、NNはこれまで処理できなかったテストデータを処理できるようになります。 もちろん、当時はニューロン（NN）とは呼ばれていませんでした。なぜなら、まだ生物学的ニューロンの存在すら知られていなかったからです。神経細胞の最初の顕微鏡画像は、数十年後の1836年にヴァレンティンによって作成され、「ニューロン」という用語自体は1891年にワルダイアーによって造語されました[CAJ06]。この手法は最小二乗法と呼ばれ、統計学では線形回帰として広く知られています。しかし、これは今日の線形2層NNと数学的に同一です。同じ基本アルゴリズム、同じ誤差関数、同じ適応パラメータ／重みです。このようなシンプルなNNは、多数の非線形層を持つ「深層学習」とは対照的に、「浅い学習」を行います[DL25]。実際、現代の多くのNNコースでは、この手法の紹介から始め、その後、より複雑で深いNNへと進んでいきます[DLH]。 1800年代初頭の応用でさえ、今日のものと似ていました。つまり、前の要素が与えられたときに、シーケンスの次の要素を予測することを学習するのです。まさにCHATGPTがそれを実現するのです！ニューラルネットワークによるパターン認識の最初の有名な例は、200年以上前に遡ります。1801年、ガウスが準惑星ケレスを再発見した時です。ガウスは過去の天文観測からノイズの多いデータポイントを収集し、それらを用いて予測器のパラメータを調整しました。その結果、予測器は訓練データから一般化することを学習し、ケレスの新しい位置を正しく予測することができました。これが若きガウスを有名にしたのです[DLH]。 古くからあるガウス・ルジャンドルNNは、今日でも無数のアプリケーションで使用されています。2010年代以降の優れたAIアプリケーションで使用されているNNとの主な違いは何でしょうか？後者は通常、はるかに深く、学習のための「隠れた」ユニットを学習する中間層を多数備えています。これは誰が発明したのでしょうか？簡潔に答えると、Ivakhnenko & Lapa (1965) [DEEP1-2] です。他の研究者によって改良されました [DLH]。関連記事：ディープラーニングの発明者は誰か [DL25]？ 現代のニューラルネットワーク（NN）は生物学的脳に何らかの形でヒントを得たと信じている人もいます。しかし、それは全くの誤りです。生物学的神経細胞が発見される数十年前から、単純な工学と数学的な問題解決によって、現在NNと呼ばれるものが既に誕生していました。実際、過去2世紀の間にAI研究はそれほど変化していません。2025年現在でも、NNの進歩は神経生理学的な知見ではなく、主に工学によって推進されています。（数十年前の例外[CN25]もこの法則を裏付けています。） 脚注1. 1958年、ガウスとルジャンドルのスタイルのシンプルなニューラルネットワークに出力閾値関数を組み合わせることで、パーセプトロンと呼ばれるパターン分類器が実現しました[R58][R61][DLH]。驚くべきことに、著者ら[R58][R61]は、統計学の分野で「最小二乗法」または「線形回帰」としてよく知られている、はるか以前のニューラルネットワーク（1795-1805年）を認識していなかったようです。驚くべきことに、今日最も頻繁に使用されている2層ニューラルネットワークは、ガウスとルジャンドルのニューラルネットワークであり、1940年代[MC43]や1950年代[R58]（微分化すら不可能だった）のニューラルネットワークではありません。 選択された参考文献（[NN25]には多くの追加参考文献があります - 上記のリンクを参照してください）： 【CAJ88】SRカハル。ラス・アベスの中心部の構造。トリム牧師。ヒストル。標準。 Patol.、1 (1888)、1-10 ページ。 【CAJ88b】SRカハル。小脳の神経線維を破壊します。トリム牧師。ヒストル。標準。 Patol.、1 (1888)、33-49 ページ。 [CAJ89] 神経性要素の接続。医学。 Práct.、2 (1889)、341-346 ページ。 [CAJ06] F. ロペス＝ムニョス、J. ボヤ b、C. アラモ (2006)。サンティアゴ・ラモン・イ・カハル氏のノーベル賞受賞100周年を記念して、神経科学の基礎であるニューロン理論について語る。 Brain Research Bulletin、第 70 巻、第 4 ～ 6 号、2006 年 10 月 16 日、391 ～ 405 ページ。 [CN25] J. Schmidhuber (AI Blog, 2025). 畳み込みニューラルネットワークを発明したのは誰か？ [DEEP1] Ivakhnenko, AG and Lapa, VG (1965). サイバネティック予測装置. CCM Information Corporation. 多層構造を持ち、内部表現を学習する初の実用的なディープラーナー. [DEEP1a] イヴァクネンコ、アレクセイ・グリゴレヴィッチ. データ処理のグループ法：確率的近似法の競合. ソビエト自動制御 13 (1968): 43-55. [DEEP2] イヴァクネンコ, AG (1971). 複雑系の多項式理論. IEEE Transactions on Systems, Man and Cyber​​netics, (4):364-378. [DL25] J. Schmidhuber. ディープラーニングを発明したのは誰か？ テクニカルノートIDSIA-16-25、IDSIA、2025年11月。 [DLH] J. Schmidhuber. 現代AIとディープラーニングの注釈付き歴史. 技術レポートIDSIA-22-22, IDSIA, ルガーノ, スイス, 2022. プレプリントarXiv:2212.11279. [HEB48] J. コノルスキー (1948). 条件反射とニューロン組織化. 著者監修によるポーランド語原稿からの翻訳. ケンブリッジ大学出版局, 1948. コノルスキーはヘッブより先にいわゆる「ヘッブの法則」を発表した [HEB49]. [HEB49] DOヘブ著『行動の組織化』ワイリー社、ニューヨーク、1949年。コノルスキー[HEB48]はヘブに先立ち、いわゆる「ヘブルール」を発表した。 [MC43] WSマカロック、W.ピッツ. 神経活動に内在する観念の論理的計算. 数理生物物理学紀要、第5巻、p.115-133、1943年。 [NN25] J. Schmidhuber. 人工ニューラルネットワークを発明したのは誰か？ テクニカルノートIDSIA-15-25、IDSIA、2025年11月。 [R58] ローゼンブラット, F. (1958). パーセプトロン：脳における情報の記憶と組織化のための確率モデル. 心理学評論, 65(6):386. [R61] Joseph, RD (1961). パーセプトロン理論への貢献. コーネル大学博士論文. [R62] ローゼンブラット, F. (1962). 神経力学の原理. スパルタン, ニューヨーク. [ST61] K.スタインブッシュ。死のラーンマトリックス。 (学習マトリックス。) Kybernetik、1(1):36-45、1961。 [TUR1] AMチューリング『知能機械論』未発表技術報告書、1948年。インス・DC編『AMチューリング著作集—機械知能』エルゼビア・サイエンス・パブリッシャーズ、1992年。 [STI81] SMスティグラー. ガウスと最小二乗法の発明. Ann. Stat. 9(3):465-474, 1981. [WID62] Widrow, B. および Hoff, M. (1962). 適応ニューロンネットワークにおけるデジタル情報の連想記憶と検索. Biological Prototypes and Synthetic Systems, 1:160, 1962.