Fil de 宝玉 (@dotey)

Ilya a clarifié et complété le contenu de son interview sur Twitter : Il y a un point que je n'ai pas clairement exposé lors de l'entretien, alors je l'ajoute ici : Poursuivre le développement à ce rythme — en augmentant la puissance de calcul, les données et les environnements d'entraînement — permettra assurément de nouvelles améliorations. Le système ne stagnera pas ; il continuera de progresser. Cependant, il manque toujours quelque chose d'important. Il s'agit de corriger un possible malentendu. Dans l'interview, il a beaucoup parlé de « retour à l'ère de la recherche » et du fait que « les méthodes actuelles atteindront leurs limites », ce qui pourrait facilement laisser penser qu'il était pessimiste quant à la loi d'échelle et que l'augmentation constante de la puissance de calcul, des données et de l'entraînement par renforcement deviendrait inefficace. Il a précisé que ce n'était pas ce qu'il voulait dire ; la voie actuelle continuera d'apporter des améliorations et ne stagnera pas. Le modèle continuera de se renforcer, le niveau d'exigence continuera de s'élever, le produit continuera d'évoluer et l'entreprise continuera de générer des profits. Notez le « mais » à la fin. Il y a des choses qu'on ne peut pas obtenir, quelle que soit la manière dont on les représente. C'est comme s'entraîner pour un sprint. Continuez à vous entraîner, et votre temps s'améliorera, de 12 secondes à 11,5 secondes, puis à 11 secondes, voire même 10,9 secondes. C'est un véritable progrès. Mais si votre objectif est d'apprendre à voler, alors peu importe votre vitesse de course, cela ne changera rien ; cela requiert une capacité totalement différente. Qu'est-ce qui manque ? D’après le contenu de l’entretien, cette « lacune importante » fait probablement référence à : 1. La véritable capacité de généralisation ne consiste pas à pouvoir effectuer de nombreuses tâches après un entraînement sur des quantités massives de données, mais à pouvoir apprendre rapidement de nouvelles choses à partir d'une expérience limitée et à s'assurer que ce qui est appris reste stable et fiable dans de nouveaux scénarios. 2. Les apprenants les plus efficaces peuvent apprendre à conduire en 10 heures et à programmer en quelques mois avant de pouvoir travailler. Ce niveau d'efficacité est impossible à atteindre par une préformation utilisant d'énormes quantités de données. L'analogie des « deux étudiants » dans l'entretien est très révélatrice. L'étudiant qui s'entraîne pendant 10 000 heures peut effectivement continuer à améliorer ses résultats en compétition, passant du top 10 % au top 1 %, puis au titre de champion : c'est un véritable progrès. Mais il ne deviendra jamais l'étudiant qui fait preuve d'« aptitudes » après seulement 100 heures d'entraînement.