現代のAIは「ディープラーニング」に基づいています。なぜディープラーニングは1965年にウクライナ（ソ連）で生まれたのでしょうか？当時、ソ連は多くの重要な科学技術分野をリードしており、特に宇宙分野では、世界初の人工衛星（1957年）、天体への最初の人工物体の着陸（1959年）、人類初の宇宙飛行（1961年）、女性初の宇宙飛行（1962年）、天体への最初のロボット着陸（1965年）、惑星間への最初のロボット着陸（1970年）など、その名を馳せていました。ソ連はまた、世界最大の爆弾（1961年）を爆発させ、多くの著名な数学者を輩出しました。そして、コンピューターが数十億倍も安価になった数十年後に初めてその重要性が明らかになる、青空数学研究のための十分な資金を有していました。 Ivakhnenkoによる1971年の英語版サーベイ（IEEE Transactions on Systems, Man and Cybernetics, (4):364-378）をご覧ください。このサーベイでは、2000年代初頭でも依然として深層ネットワークと考えられていた8層の深層学習ネットワークについて説明しています。入力ベクトルとそれに対応するターゲット出力ベクトルのトレーニングセットが与えられ、層は段階的に成長し、回帰分析によってトレーニングされます。微調整段階では、別の検証セットを用いた正則化によって不要な隠れユニットが除去されます。これによりネットワークが簡素化され、未知のテストデータに対する汎化性が向上します。層の数と層あたりのユニット数は、問題に応じて学習されます。実験自体も今日のものと似ており、前の要素が与えられた場合に、シーケンスの次の要素を予測することを学習します。まさにChatGPTが行っていることです。 つまり、イヴァクネンコは、1980 年代に「コネクショニズム」という名前が普及する 20 年前に、適応型隠れ層を備えたコネクショニズムを持っており、2000 年代にその名前が普及する 40 年前に「ディープラーニング」を持っていたのです。 彼はまた、生物学的に不可能なバックプロパゲーションの逆方向パス（1970年に隣国フィンランドで発表された技術）を必要とせずに、ローカルで利用可能な情報のみを使用して隠れユニットの適切な重みを学習できることを実証しました。 詳細は、「ディープラーニングを発明したのは誰か?」をご覧ください。テクニカルノート IDSIA-16-25、IDSIA、2025 年 11 月。
