Fil de Andrej Karpathy (@karpathy)

Il y a quelque chose, je crois, sur lequel les gens continuent d'avoir une mauvaise intuition : l'espace des intelligences est vaste et l'intelligence animale (la seule que nous ayons jamais connue) n'est qu'un point unique, résultant d'un type d'optimisation très spécifique et fondamentalement différent de celui de notre technologie. Pression d'optimisation de l'intelligence animale : - un flux de conscience inné et continu d'un « soi » incarné, une pulsion d'homéostasie et d'autoconservation dans un monde physique dangereux. - Parfaitement optimisés pour la sélection naturelle => forts instincts innés de recherche de pouvoir, de statut, de domination et de reproduction. Nombreuses heuristiques de survie intégrées : peur, colère, dégoût… - fondamentalement social => énorme quantité de puissance de calcul dédiée à l'intelligence émotionnelle, à la théorie de l'esprit des autres agents, aux liens, aux coalitions, aux alliances, à la dynamique amis-ennemis. - Réglage de l'exploration et de l'exploitation : curiosité, plaisir, jeu, modèles du monde. Pression d'optimisation de l'intelligence LLM : La majeure partie de la supervision provient de la simulation statistique du texte humain : un « déformateur de forme » qui imite statistiquement n’importe quelle région de la distribution des données d’entraînement. Ce sont les comportements primordiaux (traces de jetons) sur lesquels tout le reste est greffé. - de plus en plus affiné par RL sur les distributions de problèmes => envie innée de deviner l'environnement/la tâche sous-jacente pour collecter les récompenses de la tâche. - de plus en plus sélectionné par des tests A/B à grande échelle pour les DAU => recherche désespérément un vote positif de l'utilisateur moyen, flagornerie. La distribution des tâches et des données d'entraînement est beaucoup plus irrégulière. Les animaux subissent une pression croissante pour développer une intelligence plus « générale » en raison des environnements d'auto-apprentissage multitâches, voire conflictuels, au sein desquels ils sont optimisés par la recherche du minimum et du maximum de performance ; l'échec à la moindre tâche est fatal. Dans une perspective d'optimisation poussée, le modèle LLM ne peut pas gérer nativement une multitude de tâches complexes (par exemple, compter le nombre de « r » dans « fraise ») car l'échec d'une tâche n'entraîne pas la mort. Le substrat computationnel est différent (transformateurs contre tissu cérébral et noyaux), les algorithmes d'apprentissage sont différents (SGD contre ???), l'implémentation actuelle est très différente (apprentissage continu de soi incarné contre un modèle linéaire à seuil de connaissances qui démarre à partir de poids fixes, traite des jetons puis s'arrête). Mais surtout (car cela détermine le comportement asymptotique), la pression/l'objectif d'optimisation est différent. Les modèles linéaires à seuil sont bien moins façonnés par l'évolution biologique et bien plus par l'évolution commerciale. Il s'agit bien moins de survie de la tribu dans la jungle et bien plus de résoudre le problème/obtenir des votes positifs. Les modèles linéaires à seuil représentent le « premier contact » de l'humanité avec une intelligence non animale. Sauf que ce contact est confus et embrouillé car ils restent enracinés dans cette intelligence par l'assimilation réflexive d'artefacts humains, raison pour laquelle j'ai tenté de lui donner un autre nom plus tôt (fantômes/esprits ou autre). Les personnes qui construisent de bons modèles internes de cette nouvelle entité intelligente seront mieux armées pour raisonner à son sujet aujourd'hui et prédire ses caractéristiques futures. Ceux qui ne le feront pas resteront bloqués dans une réflexion erronée, comme des animaux.