Je commence à penser que nous ne résoudrons pas le problème des hallucinations de sitôt sans une amélioration significative de l'inférence. Il ne s'agit pas seulement d'un problème d'entraînement, du moins à court terme. Le modèle du monde LLM est comme une tache gaussienne : s'éloigner légèrement de la zone de couverture optimale et l'on observe un flou. Et les LLM, malgré leur capacité supposée à détecter la confiance, ne parviennent toujours pas à identifier ce flou comme le moment où il faut dire « Je ne sais pas ». Je suis pessimiste quant à la possibilité de résoudre ce problème avec, par exemple, l'exploration des connaissances combinée à l'apprentissage par renforcement, car l'immensité et la nature irrégulière du domaine de connaissances rendent la généralisation entre sous-domaines difficile ; ce sera comme jouer à un jeu de taupe. Gemini est phénoménal : non seulement il ne se contente pas de me répéter, mais il anticipe parfois ce que je dirai *un tour plus tard* (et le précise souvent si j'utilise Sonnet en parallèle, car Sonnet ne le permet pas). Il possède une connaissance approfondie du sujet. Mais si on le pousse encore plus loin, il hallucinera des absurdités très plausibles *auxquelles vous auriez pu croire*. Comme précédemment, on ne peut pas résoudre le problème des hallucinations par la seule échelle.
