Fil de Subbarao Kambhampati (కంభంపాటి సుబ్బారావు) (@rao2z)

Résolution de mémoire vs résolution à partir de zéro – ou l’inutilité d’appliquer la « lentille de complexité » aux LLM #SundayHarangue #NeurIPS2025 Je reste perplexe face à l’insistance à considérer les performances des tâches LLM en termes de complexité de calcul de la tâche sous-jacente (voir https://t.co/4X1yQFY3KH). Et ce, malgré les nombreux témoignages anecdotiques montrant que l'intelligence irrégulière des étudiants en master de mathématiques (LLM) n'est pas directement liée à la complexité des tâches. Ces étudiants peuvent être compétitifs aux Olympiades internationales de mathématiques, tout en tombant dans des pièges puérils du type « Amazon m'a envoyé une chaussure gauche au lieu d'une chaussure droite, et vice versa » (suivez @conitzer pour une liste apparemment interminable de ces pièges pour les étudiants en master de mathématiques de haut niveau !). La complexité computationnelle est souvent définie en termes de résolution algorithmique d'une tâche à partir de zéro. Or, dans les modèles linéaires à longue portée (LLM), tout, du pré-entraînement au post-entraînement en passant par l'inférence, semble plutôt reposer sur la mémoire. Bien sûr, cela ne signifie pas que les LLM se contentent de récupérer directement la solution à une tâche donnée dans une vaste bibliothèque de solutions précédentes. Il s'agit plutôt de répondre à la question posée non pas en la résolvant algorithmiquement à partir de zéro, mais par un processus d'essais et d'erreurs, en combinant les connaissances acquises avant et après l'entraînement sur des connaissances humaines. De ce point de vue, les « jetons intermédiaires » produits par les modèles de raisonnement ne doivent pas être interprétés comme des traces d'un algorithme entièrement nouveau, mais peut-être comme une empreinte des tentatives du modèle pour composer les connaissances préalables en mémoire afin de répondre à la demande de la tâche actuelle. (Comme je l'explique ailleurs, https://t.co/qE0vAwB636, la pré-formation peut être considérée comme l'ingestion des connaissances déclaratives de l'humanité, tandis que la post-formation peut être considérée comme l'ingestion progressive des connaissances procédurales de l'humanité, en termes de déroulement toujours plus long des procédures). Le rapport coût/précision de la résolution de problèmes par essais et erreurs compositionnels ne dépend pas de la complexité de calcul initiale de la tâche, mais plutôt de la facilité à construire une solution à partir des données en mémoire. C'est pourquoi les modèles linéaires à longue portée (LLM) présentent une faible précision sur les tâches très éloignées de la distribution avant et après l'entraînement. Voir https://t.co/RL9ZEOKbpQ. Un signe révélateur de la résolution de problèmes basée sur la mémoire est que le modèle peut présenter une faible précision et des étapes intermédiaires (« calcul ») plus longues lorsque le problème sort de la distribution d'entraînement, même s'il est en réalité trivialement résoluble. C'est le message de notre article « Performative Thinking » (https://t.co/itCXNctKZ1), qui sera présenté à l'atelier #NeurIPS2025 sur le raisonnement efficace.