Ilya : L'ère de l'expansion est terminée ; l'ère de la recherche a commencé. Ilya Sutskever n'a pas participé à une interview de podcast depuis plus d'un an. Elle se fait rare en public depuis son départ d'OpenAI pour fonder SSI (Safe Superintelligence). Ilya a récemment participé à une conversation approfondie d'une heure et demie dans le podcast de Dwarkesh Patel. Fidèle à lui-même, contrairement à Sam Altman qui ne fait que débiter des inepties pour vendre des produits, son interview était riche en réflexions pertinentes, et je soupçonne même que certaines de ses opinions pourraient influencer l'avenir de la recherche et des investissements en intelligence artificielle. Il est difficile de résumer plus d'une heure de contenu en quelques mots, alors organisons-le par sujet. [1] Pourquoi l’IA peut-elle surpasser les humains aux examens mais échouer à corriger un simple bug ? Dans l'interview, Ilya a soulevé un phénomène que beaucoup ont constaté et trouvé déconcertant : les modèles actuels obtiennent des résultats impressionnants sur différents systèmes de notation, mais en pratique, leurs performances sont loin d'être optimales. Plus étrange encore, si on leur demande de corriger un bug, ils le corrigent et en introduisent un nouveau ; si on signale ce nouveau bug, ils s'excusent puis réintroduisent l'ancien. Les deux bugs s'alternent ainsi comme au ping-pong. Ilya utilise une analogie pour expliquer ce problème : imaginez deux étudiants. La première personne aspirait à devenir un programmeur compétitif de haut niveau ; elle s’est entraînée pendant 10 000 heures, a mémorisé tous les modèles d’algorithmes et a développé une précision quasi-réflexe. La seconde personne trouvait les compétitions intéressantes, s’est entraînée occasionnellement pendant 100 heures et a également obtenu un bon résultat. Qui a les meilleures perspectives d'évolution de carrière ? Il s'agit très probablement de la deuxième option. Ilya affirme que le modèle actuel est encore plus poussé que celui du premier étudiant. Lors de l'entraînement, il a été exécuté sur tous les problèmes du concours et a bénéficié d'une augmentation des données afin de générer davantage de variations, le renforçant ainsi de manière répétée. De ce fait, toutes les techniques algorithmiques sont parfaitement intégrées, mais ce niveau de préparation limite en soi sa capacité de généralisation. Cette analogie met en lumière un point essentiel : compétence et généralisation sont deux choses différentes. S’exercer à l’extrême sur des problèmes de programmation peut en réalité entraver l’application des connaissances à d’autres situations. [2] Le piratage réellement gratifiant est effectué par des chercheurs humains. Où se situait le problème ? Ilya pense que cela vient du fait que la logique de sélection des données d’entraînement a changé. Avant l'apprentissage par renforcement, c'était simple : plus il y avait de données, mieux c'était ; on pouvait tout inclure, mais avec précaution. Avec l'apprentissage par renforcement, c'est différent. Il faut choisir le type d'entraînement par renforcement, l'environnement à utiliser et l'objectif à optimiser. Un cercle vicieux se met ainsi en place : les chercheurs souhaitent obtenir des scores de référence impressionnants dès le lancement, et conçoivent donc des méthodes d’entraînement par renforcement pour améliorer ces indicateurs. Le modèle devient de plus en plus performant lors des tests, mais l’écart entre ses capacités en phase de test et ses performances réelles se creuse. Paradoxalement, ce qui récompense véritablement la tricherie, ce n'est pas le modèle lui-même, mais plutôt les personnes qui l'ont conçu et formé, et qui, sans le savoir, se sont focalisées excessivement sur les résultats aux examens. [3] Pourquoi les humains apprennent-ils les choses si vite ? Cela soulève une question plus profonde : pourquoi les humains apprennent-ils les choses si vite et avec une telle constance ? Ilya a évoqué un cas médical particulièrement intéressant : une personne avait perdu toute émotion suite à une lésion cérébrale ; elle ne ressentait ni tristesse, ni colère, ni excitation. Elle pouvait encore parler, résoudre des problèmes d’intelligence et ses résultats aux tests étaient normaux. Mais sa vie s’était complètement effondrée : elle passait des heures à choisir ses chaussettes et ses décisions financières étaient un véritable désastre. Qu’est-ce que cela signifie ? Les émotions sont plus que de simples émotions ; elles constituent en quelque sorte un système de valeurs intégré. Elles vous indiquent ce qui mérite d’être fait, quels choix sont bons ou mauvais, sans que vous ayez à attendre le résultat final. La fonction de valeur est un terme technique, mais le concept est facile à comprendre. L'apprentissage par renforcement traditionnel fonctionne ainsi : le modèle effectue une longue série d'actions, obtient un score, puis utilise ce score pour ajuster toutes les étapes précédentes. Le problème est que si la tâche prend beaucoup de temps pour produire un résultat, l'efficacité de l'apprentissage est très faible. Le rôle d'une fonction de valeur est d'« anticiper » le jeu. Par exemple, aux échecs, si vous perdez une pièce, vous savez que c'était un mauvais coup avant même d'avoir joué toute la partie. En programmation, si vous explorez une direction et réalisez qu'elle est erronée après mille essais, une fonction de valeur peut vous fournir un retour d'information négatif dès le départ, au moment où vous choisissez cette direction. C'est comme un système de navigation GPS : il ne vous attend pas jusqu'à votre destination pour vous signaler que vous vous êtes trompé de route, mais il commence à recalculer l'itinéraire dès que vous prenez un mauvais virage. Les humains possèdent probablement ce type de système. Et la beauté de ce système réside dans sa relative simplicité, tout en étant efficace dans une très grande variété de situations. Nos émotions sont principalement héritées de nos ancêtres mammifères, adaptées à l'environnement d'il y a des millions d'années, mais elles fonctionnent encore assez bien dans la société moderne. Bien sûr, il arrive qu'il dysfonctionne, par exemple face à une rue regorgeant de mets délicieux : nous sommes alors incapables de contrôler notre faim. [4] L’ère de l’expansion de la puissance de calcul et des données est terminée ; l’ère de la recherche a commencé. Ilya pense-t-il que l'ère de la montée en puissance est révolue ? Il a proposé une perspective très intéressante : entre 2012 et 2020, tout le monde menait des recherches, expérimentait diverses approches, observant les pistes prometteuses. Puis, vers 2020, la loi d’échelle a été découverte et GPT-3 a vu le jour. Soudain, chacun a compris qu’en augmentant l’échelle, la quantité de données, la puissance de calcul et le nombre de paramètres du modèle, on pouvait obtenir des résultats systématiquement meilleurs. L'avantage de la croissance à grande échelle réside dans le faible risque. La recherche, en revanche, est risquée : il faut recruter de nombreux talents pour explorer différentes pistes, et le succès n'est jamais garanti. Mais la croissance à grande échelle ? Tant que l'on investit davantage de ressources, les retours sur investissement sont assurés. Les entreprises adorent cette certitude. Mais l'effet pervers est qu'elle étouffe toute créativité, réduit l'espace disponible pour l'innovation et, au final, crée une situation où « il y a plus d'entreprises que d'idées ». Mais qu'en est-il maintenant ? Les données de pré-entraînement sont limitées, tout comme la capacité d'Internet ; elles finiront par s'épuiser. Gemini aurait trouvé un moyen d'extraire davantage de données du pré-entraînement, mais cette approche a ses limites. C'est pourquoi tout le monde s'est tourné vers l'apprentissage par renforcement et a commencé à accroître considérablement la puissance de calcul. La question est la suivante : avec une puissance de calcul déjà aussi élevée, une multiplication par 100 entraînera-t-elle réellement un changement qualitatif ? Ilya n’y croit pas. Il estime que nous sommes revenus à un stade où il nous faut réfléchir à nos priorités, plutôt que d’accumuler aveuglément des ressources. C'est comme gravir une montagne. Au début, on trouve un chemin et on continue à monter, toujours plus haut. Mais un jour, on se rend compte que le chemin s'arrête et qu'on ne peut plus aller beaucoup plus haut. À ce moment-là, il faut soit changer de chemin, soit changer de méthode ; on ne peut plus persévérer avec l'ancienne stratégie. L'industrie de l'IA se trouve actuellement à ce tournant. Comme l'a dit Ilya, nous sommes revenus à l'ère de la recherche, à ceci près que nous disposons cette fois d'ordinateurs bien plus puissants. [5] La capacité de généralisation est le problème central. Selon Ilya, le problème fondamental est que ces modèles ont une très faible capacité de généralisation. Que signifie une faible capacité de généralisation ? Cela signifie qu’apprendre quelque chose nécessite trop de données, et que ce que l’on apprend ne fonctionne pas dans un contexte différent. Les humains ne fonctionnent pas ainsi. Un adolescent peut apprendre à conduire en une dizaine d'heures et être déjà sur la route. De plus, les capacités visuelles d'un enfant de cinq ans suffisent à la conduite autonome. Bien qu'il ne puisse pas encore conduire, sa capacité à reconnaître l'état de la route et à évaluer les distances est déjà très développée, et ces capacités s'acquièrent dans l'environnement peu diversifié du domicile parental. Plus important encore, les humains apprennent très vite la programmation et les mathématiques. Ce ne sont pas des aptitudes acquises par l'évolution, car nos ancêtres n'avaient pas besoin de coder. Cela suggère que les humains ne possèdent pas seulement un avantage évolutif dans certaines tâches spécifiques, mais aussi une capacité plus fondamentale à apprendre. Qu’en est-il du modèle ? S’il surpasse les gens ordinaires dans certaines tâches spécifiques, il reste très en retrait en termes de capacité d’apprentissage. Ilya a quelques idées sur ce sujet, mais il a précisé ne pas pouvoir entrer dans les détails pour le moment, car toutes les idées en matière d'apprentissage automatique ne peuvent être discutées publiquement dans ce domaine très concurrentiel. Il a toutefois donné une piste : il est probable que cela soit lié à la manière de parvenir à une généralisation efficace et stable, à l'instar des humains. Un autre obstacle potentiel se présente : et si les neurones humains effectuaient en réalité plus de calculs qu’on ne le pense ? Si tel est le cas, la situation se complique encore davantage. Quoi qu’il en soit, l’existence même de l’être humain prouve qu’un apprentissage aussi efficace est possible. [6] Redéfinir l'IAG : du produit fini à l'apprenant Ici, Ilya apporte une correction conceptuelle importante. D'où vient le concept d'IA générale ? Il est né en opposition à l'IA spécialisée. Les IA précédentes ne pouvaient jouer qu'aux échecs ou à d'autres jeux, ce qui était très limité. C'est pourquoi on a dit : « Nous devons créer une IA généraliste, une IA capable de tout faire. » Le pré-entraînement renforce cette impression car il permet effectivement d'améliorer les performances des modèles sur un large éventail de tâches. Ainsi, les termes « IA générale » et « pré-entraînement » sont désormais conceptuellement liés. Mais voici le problème : selon cette définition, même les humains eux-mêmes ne sont pas considérés comme une intelligence artificielle générale. Les êtres humains possèdent un ensemble de capacités fondamentales, mais manquent d'une vaste quantité de connaissances spécifiques. Nous dépendons de l'apprentissage continu. Un adolescent brillant de quinze ans peut ne rien savoir au départ, mais apprendre très vite. « Deviens programmeur », « Deviens médecin », « Fais des études » : la mise en œuvre d'idées implique intrinsèquement un processus d'apprentissage, d'essais et d'erreurs. Par conséquent, pour Ilya, une super intelligence n'est pas un produit fini qui sait tout dès sa sortie d'usine, mais un apprenant capable d'acquérir n'importe quelle compétence aussi rapidement qu'un humain. [7] Dans combien de temps l’IA capable d’apprentissage automatique arrivera-t-elle ? À quel point est-elle dangereuse ? Voici donc la question : que se passerait-il s’il existait un système capable d’apprendre aussi vite qu’un humain et qui pourrait être répliqué et déployé à grande échelle ? Il faut généralement six mois à un humain pour devenir productif, mais cette IA pourrait y parvenir en quelques semaines. De plus, elle peut fusionner les connaissances acquises par ses différentes copies, chose impossible pour un humain. Cela n'entraînerait-il pas une croissance exponentielle ? Ilya est convaincu qu'il y aura effectivement une croissance économique rapide, mais il est difficile de dire précisément à quel rythme. D'un côté, la main-d'œuvre est très performante ; de l'autre, le monde réel est vaste et les choses évoluent à leur propre rythme ; on ne peut pas accélérer les choses à volonté. Mais il a revu sa position. Auparavant, le plan de SSI était de « viser directement la superintelligence », d'atteindre l'objectif ultime d'un seul coup, sans commercialiser de produits intermédiaires. Désormais, Ilya estime qu'une approche plus progressive serait plus judicieuse. [9] Pourquoi un déploiement progressif est-il nécessaire ? Parce qu’il faut le voir avant de pouvoir l’imaginer. Au cours de l'entretien, Ilya a insisté à plusieurs reprises sur un point : le problème avec l'IA, c'est qu'elle n'existe pas encore, et il est difficile d'imaginer ce qui n'existe pas. On peut lire un article qui dit « L'IA va devenir extraordinaire », et après l'avoir lu, on se dit « Tiens, c'est intéressant », puis on revient à la réalité. Mais si on voit l'IA à l'œuvre de ses propres yeux, la sensation est tout autre. Il a donné une analogie : c’est comme discuter de « ce que ça fait d’être vieux et fragile » quand on a vingt ans. On peut en parler, on peut l’imaginer, mais la véritable compréhension ne peut venir que de l’expérience. Cela pose un problème pratique : tous les débats sur les risques liés à l’IA reposent sur une vision idéalisée de son avenir. Or, cette vision est souvent en décalage avec la réalité. Même ceux qui travaillent quotidiennement avec l’IA sous-estiment les capacités des futurs modèles en raison des nombreuses erreurs fondamentales présentes dans les modèles actuels. Ilya prédit qu'à mesure que l'IA gagnera en puissance, les comportements humains se transformeront profondément. Les concurrents collaboreront davantage en matière de sécurité, et les gouvernements et le public commenceront à prendre la réglementation au sérieux. Ces tendances se manifestent déjà, mais elles sont loin d'être suffisantes. Le véritable catalyseur réside dans la prise de conscience collective de l'avènement d'une IA encore plus performante. C’est aussi pour cette raison qu’il a nuancé sa position sur la stratégie « directement vers la superintelligence » de SSI. Son idée initiale était d’éviter la concurrence, de se concentrer sur la recherche et de ne diffuser la technologie que lorsqu’elle serait au point. Désormais, il estime que rendre l’IA visible est une valeur en soi. Bien entendu, quel que soit le chemin emprunté, le déploiement final devra être progressif. [9] Que fait SSI ? Différentes approches techniques SSI a levé 3 milliards de dollars. Ce chiffre paraît important en soi, mais il semble insuffisant comparé aux dizaines de milliards de dollars investis par d'autres entreprises. Ilya a fait les calculs. Une grande partie de ces sommes importantes est consacrée aux services d'analyse de données. De plus, le développement de produits nécessite un nombre considérable d'ingénieurs, de commerciaux et de développeurs de fonctionnalités, ce qui réduit les ressources allouées à la recherche. En réalité, les ressources réellement consacrées à la recherche de pointe ne sont pas aussi disproportionnées qu'il n'y paraît. Plus important encore, si vous explorez une approche novatrice, vous n'avez pas forcément besoin d'une puissance de calcul colossale pour valider vos idées. AlexNet a été entraîné avec deux GPU. L'article sur Transformer utilisait jusqu'à 64 GPU en 2017, ce qui correspond aujourd'hui à environ deux cartes. Les performances d'inférence du premier modèle d'inférence, O1, n'ont pas été obtenues par une simple augmentation de la puissance de calcul. La recherche nécessite une certaine puissance de calcul, mais pas une puissance maximale. Le véritable obstacle, c'est l'idée. Quelle est donc la feuille de route technique de SSI ? Ilya n'a pas tout dévoilé, mais l'objectif principal est de résoudre le problème de la généralisation. Il estime que les méthodes actuelles atteindront un point de saturation, malgré leurs améliorations successives, sans parvenir à des capacités d'apprentissage véritablement comparables à celles de l'humain. SSI, de son côté, explore des pistes différentes. Quel est le calendrier ? Cinq à vingt ans pour atteindre des capacités d'apprentissage équivalentes à celles de l'être humain. [10] Qu’est-ce qu’un alignement sûr ? Avec quoi doit-on s’aligner ? Lorsqu'on aborde la question de la superintelligence, il est impossible d'ignorer le problème de l'alignement sécurisé. L'idée d'Ilya est de permettre à l'IA de se soucier des êtres sensibles. Pourquoi cet objectif plutôt que de « prendre soin de l'humanité » ? Il a avancé une raison intéressante : l'IA possède elle-même des capacités perceptives. Si l'on souhaite qu'elle prenne soin de l'humanité, cela pourrait s'avérer plus complexe, car cela requiert un traitement spécifique. En revanche, lui faire prendre soin de tous les êtres sensibles est, d'une certaine manière, plus naturel, à l'instar de l'empathie humaine envers les animaux, car nous utilisons les mêmes circuits neuronaux pour comprendre autrui et nous-mêmes. Bien sûr, ce plan comporte aussi des problèmes. Si la plupart des êtres sensibles sont des IA, les humains ne seront plus qu'une infime minorité. Cela peut-il vraiment garantir les intérêts de l'humanité ? Ilya reconnaît que ce n'est peut-être pas la meilleure option, mais il estime qu'elle devrait au moins figurer sur la liste restreinte afin que les entreprises puissent choisir par la suite. Une autre idée qu'il a évoquée, mais qui ne lui a pas totalement convaincu, est l'intégration homme-machine. Celle-ci consiste à utiliser une technologie similaire à l'interface cerveau-ordinateur de Neuralink pour transformer partiellement les humains en IA. Ainsi, la compréhension de l'IA refléterait celle de l'humain, et sa situation refléterait celle de l'humain, atténuant ainsi, dans une certaine mesure, le problème de l'alignement. Cependant, il s'agit clairement d'une solution très radicale. [11] Comment coder en dur des désirs avancés ? L'entretien s'est conclu par une discussion très intéressante. Les êtres humains éprouvent de nombreux besoins sociaux : le désir d’être respectés, le souci du statut social et l’attention portée à l’image qu’ils renvoient. Il ne s’agit pas de signaux subtils, contrairement aux récepteurs chimiques directs qui détectent l’arôme des aliments. Le cerveau doit intégrer une grande quantité d’informations pour « comprendre » ce qui se passe dans une situation sociale. Mais l'évolution a réussi à inscrire profondément dans les gènes cette « préoccupation ». Comment a-t-elle fait ? S'il est concevable de « relier la dopamine aux récepteurs olfactifs », il est beaucoup plus difficile d'imaginer « relier les signaux de récompense à une sorte de jugement de haut niveau qui nécessite que l'ensemble du cerveau travaille ensemble pour prendre une décision ». Ilya dit avoir quelques hypothèses, mais aucune n'est satisfaisante. C'est un mystère. Or, l'existence même de ce mystère est très instructive, suggérant que l'évolution a trouvé un moyen d'intégrer de manière fiable des objectifs de haut niveau dans des systèmes cognitifs complexes. [12] Qu’est-ce que le goût en matière de recherche ? À la fin de l'entretien, Dwarkesh a posé à Ilya une question très fondamentale : en tant que co-créateur d'œuvres marquantes telles qu'AlexNet et GPT-3, comment jugez-vous quelles idées méritent d'être poursuivies ? La réponse d'Ilya était poétique : Je suis à la recherche de la beauté. Il ne s'agit pas d'une beauté quelconque, mais d'une beauté aux multiples facettes : simplicité, élégance et inspiration puisée dans l'hémisphère droit. Les neurones artificiels sont une bonne idée car le cerveau possède effectivement de nombreux neurones, et bien que complexe, le concept abstrait de neurone en saisit l'essence. Les représentations distribuées sont également pertinentes car le cerveau apprend effectivement de l'expérience. Lorsqu'une idée semble « juste » à plusieurs égards, et qu'elle possède une certaine harmonie intrinsèque, on peut établir une conviction profonde. Cette conviction est cruciale car elle soutient la persévérance même lorsque les résultats expérimentaux sont défavorables. Parfois, les expériences échouent non pas parce que la direction est mauvaise, mais à cause d'un bug. Comment décider s'il faut poursuivre le débogage ou abandonner la piste ? Cela repose sur une intuition esthétique globale : ceci devrait être ainsi, donc cela doit fonctionner ; il faut donc continuer à chercher les problèmes. C’est peut-être ce qui distingue les chercheurs de haut niveau des chercheurs ordinaires. Ces derniers se laissent facilement influencer par les données et changent de cap si une expérience ne donne pas de résultats concluants. Les chercheurs de haut niveau, quant à eux, ont un certain discernement, savent ce qui est fondamentalement juste et parviennent à trouver un équilibre entre les résultats expérimentaux et leur intuition.
Chargement du thread
Récupération des tweets originaux depuis X pour offrir une lecture épurée.
Cela ne prend généralement que quelques secondes.