Étonnamment, même l'article récent de Hinton (2025) [5] omet de citer Ivakhnenko et Lapa, les pères de l'apprentissage profond (1965) [1-3][6-10]. @geoffreyhinton affirme [5] que ses « machines de Boltzmann » (MB) de 1985 [11] (en réalité les modèles de Sherrington-Kirkpatrick de 1975 [6]) « ne sont plus utilisées » mais « ont été historiquement importantes » car « dans les années 1980, elles ont démontré qu'il était possible d'apprendre des poids appropriés pour les neurones cachés en utilisant uniquement des informations disponibles localement, SANS avoir recours à une rétropropagation biologiquement improbable ». C'est absurde. Cela avait déjà été démontré deux décennies plus tôt, dans les années 1960, en Ukraine [1-3]. L'article d'Ivakhnenko de 1971 [3] décrivait un réseau d'apprentissage profond à 8 couches avec un entraînement couche par couche. Cette profondeur est comparable à celle des « réseaux de croyances profondes » de Hinton, basés sur la méthode BM et utilisant également un entraînement couche par couche [4], publiés 35 ans plus tard sans comparaison avec les travaux originaux [1-3] – réalisés à une époque où la puissance de calcul était des millions de fois supérieure. Et en effet, il y a plus d'un demi-siècle, le réseau d'Ivakhnenko apprenait les poids appropriés pour les neurones cachés SANS nécessiter une rétroaction biologiquement improbable ! Hinton & Sejnowski & leurs collègues ont plagié à plusieurs reprises Ivakhnenko et d'autres, et n'ont pas rectifié cela dans des enquêtes ultérieures [6-8]. Fait incroyable : aujourd'hui (vendredi 5 décembre 2025), le premier prix dit « Sejnowksi-Hinton » sera décerné à NeurIPS 2025 pour un article connexe sur l'apprentissage sans rétropropagation exacte [12] qui n'a pas non plus mentionné le travail original sur l'apprentissage profond sans rétropropagation [1-3]. Qu’est-il advenu de l’évaluation par les pairs et de l’honnêteté scientifique ? RÉFÉRENCES [1] Ivakhnenko, AG et Lapa, VG (1965). Dispositifs de prédiction cybernétiques. CCM Information Corporation. Premiers apprenants profonds fonctionnels avec de nombreuses couches, apprenant des représentations internes. [2] Ivakhnenko, Alexey Grigorevich. La méthode de groupe de traitement des données ; une rivale de la méthode d'approximation stochastique. Soviet Automatic Control 13 (1968) : 43-55. [3] Ivakhnenko, AG (1971). Théorie polynomiale des systèmes complexes. IEEE Transactions on Systems, Man and Cybernetics, (4):364-378. [4] GE Hinton, RR Salakhutdinov. Réduction de la dimensionnalité des données avec des réseaux neuronaux. Science, Vol. 313. no. 5786, pp. 504-507, 2006. [5] G. Hinton. Conférence Nobel : Machines de Boltzmann. Rev. Mod. Phys. 97, 030502, 25 août 2025. [6] JS Un prix Nobel pour le plagiat. Rapport technique IDSIA-24-24 (2024, mis à jour en 2025). [7] JS Comment 3 lauréats du prix Turing ont republié des méthodes et des idées clés dont ils n'ont pas crédité les créateurs. Rapport technique IDSIA-23-23, décembre 2023. [8] JS (2025). Qui a inventé l'apprentissage profond ? Note technique IDSIA-16-25. [9] JS (2015). Apprentissage profond dans les réseaux neuronaux : un aperçu. Neural Networks, 61, 85-117. A reçu le premier prix du meilleur article jamais décerné par la revue Neural Networks, fondée en 1988. [10] JS Annotated History of Modern AI and Deep Learning. Technical Report IDSIA-22-22, 2022, arXiv:2212.11279. [11] D. Ackley, G. Hinton, T. Sejnowski (1985). Un algorithme d'apprentissage pour les machines de Boltzmann. Cognitive Science, 9(1):147-169. [12] TP Lillicrap, D. Cownden, DB Tweed, CJ Akerman. Les poids de rétroaction synaptique aléatoires prennent en charge la rétropropagation de l'erreur pour l'apprentissage profond. Nature Communications vol. 7, 13276 (2016).
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.