Fil de Jürgen Schmidhuber (@SchmidhuberAI)

La vidéo de Fukushima (1986) montre un CNN qui reconnaît les chiffres manuscrits [3], trois ans avant la vidéo de LeCun (1989). Chronologie de CNN tirée de [5] : ★ 1969 : Kunihiko Fukushima a publié les unités linéaires rectifiées ou ReLU [1] qui sont maintenant largement utilisées dans les CNN. ★ 1979 : Fukushima publie l’architecture de base des CNN, comprenant des couches de convolution et de sous-échantillonnage [2]. Il la nomme néocognitron. Son entraînement repose sur des règles d’apprentissage non supervisé. Le coût de calcul est alors 100 fois supérieur à celui de 1989 et un milliard de fois supérieur à celui d’aujourd’hui. ★ 1986 : Vidéo de Fukushima sur la reconnaissance des chiffres manuscrits [3]. ★ 1988 : Wei Zhang et al. ont créé le premier réseau de neurones convolutif bidimensionnel « moderne » entraîné par rétropropagation et l’ont également appliqué à la reconnaissance de caractères [4]. Le coût de calcul était alors environ 10 millions de fois supérieur à celui d’aujourd’hui. ★ 1989- : travaux ultérieurs d'autres [5]. RÉFÉRENCES (plus de détails dans [5]) [1] K. Fukushima (1969). Extraction de caractéristiques visuelles par un réseau multicouche d'éléments de seuil analogiques. IEEE Transactions on Systems Science and Cybernetics. 5 (4) : 322-333. Ce travail a introduit les unités linéaires rectifiées ou ReLU, désormais largement utilisées dans les CNN et autres réseaux de neurones. [2] K. Fukushima (1979). Modèle de réseau neuronal pour un mécanisme de reconnaissance de formes insensible aux changements de position — Néocognitron. Trans. IECE, vol. J62-A, n° 10, p. 658-665, 1979. Première architecture de réseau neuronal convolutif profond, avec alternance de couches convolutives et de couches de sous-échantillonnage. En japonais. Version anglaise : 1980. [3] Film produit par K. Fukushima, S. Miyake et T. Ito (Laboratoires de recherche scientifique et technique de la NHK), en 1986. YouTube : https://t.co/MUyH81L5wD [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Réseau neuronal de reconnaissance de formes invariant par décalage et son architecture optique. Actes de la conférence annuelle de la Société japonaise de physique appliquée, 1988. Premier CNN 2D « moderne » entraîné par rétropropagation, appliqué à la reconnaissance de caractères. [5] J. Schmidhuber (AI Blog, 2025). Qui a inventé les réseaux neuronaux convolutifs ?