Bilan de fin d'année 2025 du LLM d'Andrej Karpathy : 6 « changements de paradigme » 1. RLVR : En 2025, l’apprentissage par renforcement est passé de la phase de récompense vérifiable (RLVR) à la nouvelle phase standard de l’entraînement des modèles de langage. En optimisant les récompenses sur une longue période dans des domaines objectifs tels que les mathématiques et la programmation, les modèles développent naturellement des stratégies de raisonnement similaires à celles des humains et permettent d’améliorer considérablement leurs capacités tout au long de l’année. 2. Fantômes contre animaux / Intelligence inégale : D’ici 2025, le secteur commencera à réaliser que le LLM est un « fantôme invoqué » plutôt qu’un « animal évolué ». Son intelligence est extrêmement inégale et, bien qu’elle soit d’un niveau exceptionnel dans des domaines vérifiables, elle est facilement trompée, ce qui conduit à une perte totale de confiance dans les référentiels. 3. Couche d'application LLM émergente : Représentée par Cursor, une nouvelle couche d'application LLM a émergé en 2025. Grâce à l'ingénierie du contexte, à l'orchestration multi-appels, aux interfaces dédiées et aux curseurs autonomes, elle transforme les « étudiants universitaires généraux » organisés par le modèle de base en « équipes professionnelles » dans des domaines verticaux spécifiques. 4. Agents d'IA locaux : Claude Code présente pour la première fois une démonstration convaincante d'agents LLM fonctionnant localement qui peuvent s'intégrer profondément dans l'environnement et les données privés de l'utilisateur, transformant l'interaction IA d'un site Web de chat basé sur le cloud en un « petit sprite résidant sur l'ordinateur ». 5. Le codage par l'inspiration : En 2025, le « codage par l'inspiration » fera son apparition, permettant aux gens de générer du code simplement en décrivant leurs intentions en langage naturel, démocratisant ainsi la programmation, faisant exploser la productivité professionnelle et rendant le code bon marché et jetable. 6. Le prototype de LLM GUI : Nano Banana a préfiguré l'ère des interfaces utilisateur graphiques pour LLM, qui a permis aux modèles de produire des informations dans un format visuel que les humains préfèrent en intégrant profondément le texte, la génération d'images et la connaissance du monde.
