L'intelligence artificielle moderne repose sur l'apprentissage profond. Pourquoi l'apprentissage profond a-t-il vu le jour en Ukraine (URSS) en 1965 ? À cette époque, l'URSS était à la pointe de nombreux domaines scientifiques et technologiques, notamment dans le domaine spatial : premier satellite (1957), premier objet artificiel placé sur un corps céleste (1959), premier homme dans l'espace (1961), première femme dans l'espace (1962), premier robot atterrissant sur un corps céleste (1965), premier robot sur une autre planète (1970). L'URSS a également fait exploser la plus grosse bombe jamais construite (1961) et abritait de nombreux mathématiciens de renom, bénéficiant de financements suffisants pour la recherche fondamentale en mathématiques, dont l'importance capitale n'apparaîtrait que plusieurs décennies plus tard, lorsque le coût de la puissance de calcul serait considérablement réduit. Consultez l'étude d'Ivakhnenko de 1971 (IEEE Transactions on Systems, Man and Cybernetics, (4):364-378). Elle décrit un réseau de neurones profond à 8 couches, considéré comme profond au début des années 2000. À partir d'un ensemble d'entraînement composé de vecteurs d'entrée et de leurs vecteurs de sortie cibles correspondants, les couches sont construites progressivement et entraînées par analyse de régression. Lors d'une phase d'ajustement fin, les unités cachées superflues sont éliminées par régularisation à l'aide d'un ensemble de validation distinct. Cela simplifie le réseau et améliore sa capacité de généralisation sur des données de test inédites. Le nombre de couches et d'unités par couche est déterminé en fonction du problème. Les expériences étaient d'ailleurs similaires à celles d'aujourd'hui : apprendre à prédire l'élément suivant d'une séquence à partir des éléments précédents. C'est précisément le principe de ChatGPT ! Autrement dit, Ivakhnenko avait développé le connexionnisme avec des couches cachées adaptatives deux décennies avant que le terme « connexionnisme » ne devienne populaire dans les années 1980, et il avait développé « l'apprentissage profond » quatre décennies avant que le terme ne devienne populaire dans les années 2000. Il a également démontré qu'il est possible d'apprendre les poids appropriés pour les unités cachées en utilisant uniquement les informations disponibles localement, sans avoir besoin de la rétropropagation biologiquement improbable (une technique qui a été publiée dans la Finlande voisine en 1970). Pour en savoir plus : Qui a inventé l’apprentissage profond ? Note technique IDSIA-16-25, IDSIA, novembre 2025.
