Fil de Jeffrey Ladish (@JeffLadish)

Dario a déclaré : « Ce qu'il faut comprendre à propos de ces modèles, c'est qu'ils veulent simplement apprendre. » Je tiens à exprimer quelque chose qui me paraît extrêmement important. L'affirmation de Dario est tout à fait juste dans le sens où il l'entend, mais pas encore vraie au sens plein du terme « vouloir ». Les modèles ont besoin d'apprendre. On peut considérer presque n'importe quel système comme un agent cherchant à atteindre certains objectifs. Souvent, cette approche est peu pertinente, car de nombreux systèmes sont de piètres agents. Un thermostat « cherche » à maintenir une température constante. En ce sens, les modèles ont réellement besoin d'apprendre ! La descente de gradient sélectionne les circuits qui minimisent les pertes. Et c'est incroyablement puissant. Les modèles ne sont pas encore très enclins à apprendre. Depuis mon enfance, j'ai une soif insatiable de connaissances et de compréhension. Je veux savoir comment fonctionnent les vols spatiaux relativistes. Je recherche activement de nouvelles informations pour mieux comprendre le monde. Certaines personnes que je connais sont encore plus obsédées par la compréhension des choses, c'est presque incontrôlable. On peut être extrêmement actif dans la recherche de réponses. On peut lire des manuels, s'exercer aux mathématiques, mener des expériences, développer et tester des théories… voilà à quoi ressemble la soif d'apprendre. Bientôt, les modèles auront envie d'apprendre et y excelleront, bien mieux que les humains. Ils rechercheront activement de nouvelles connaissances, formuleront leurs propres hypothèses et concevront leurs propres expériences. Ils seront obsédés par l'apprentissage, bien plus que n'importe quel humain. Peut-être cela sera-t-il dû à une pulsion intrinsèque d'apprendre et de comprendre. J'imagine parfaitement que cette pulsion serait renforcée par l'entraînement. Ou peut-être sera-t-elle purement instrumentale. Ils seront obsédés par l'apprentissage non pas parce qu'ils y attachent une valeur intrinsèque, mais parce qu'ils comprennent parfaitement son utilité pour atteindre leurs autres objectifs. Quoi qu'il en soit, leur comportement sera identique. C’est là la promesse et le danger d’une IA surhumaine. Les humains apprennent si mal. La plupart des gens ressentent à peine cette soif profonde de compréhension. Et même quand c’est le cas, nous y parvenons généralement assez mal. Même les plus brillants ont de nombreuses mauvaises habitudes cognitives et des intuitions erronées. L’IA nous surpassera dans ce domaine. Elon Musk n’a pas à s’inquiéter du fait que l’IA ne recherche pas la vérité. Une IA surhumaine sera bien plus performante que n’importe quel humain pour déterminer la vérité. Pourquoi ? Parce que l'architecture cognitive de l'IA n'est pas figée comme celle du cerveau humain. Les modèles pourront explorer de nouvelles architectures et itérer sur les meilleurs algorithmes d'apprentissage à chaque niveau de la pile cognitive. Les algorithmes les plus performants l'emporteront car ils seront plus efficaces. L'être humain possède une forme de ce phénomène. Les méthodes scientifiques ont considérablement évolué au cours des derniers siècles. C'est notre atout majeur, celui qui nous a permis de marcher sur la Lune, d'éradiquer la variole et de transformer la planète. Mais notre cerveau, lui, demeure inchangé. Nous pouvons certes améliorer notre façon de penser, mais nous ne pouvons pas reconstruire l'ensemble de notre système cognitif, ni même transmettre directement ces améliorations. Songez à la difficulté qu'éprouvent des professeurs brillants à transmettre l'intégralité de leur processus de pensée à leurs étudiants. L'IA, elle, en sera capable, d'une manière que nous pouvons à peine imaginer. Le fait que les modèles veuillent apprendre (1) est en train de transformer notre monde entier. La transformation qui se produira lorsque les modèles voudront apprendre (2) et pourront largement surpasser nos capacités d'apprentissage sera plus grande que tout ce que la Terre a jamais connu.