我開始覺得，如果不大幅提升推理能力，我們短期內恐怕無法解決幻覺問題。這不僅僅是一個訓練問題，至少短期內是如此。 LLM的世界模型就像一塊高斯斑點：稍微偏離完全覆蓋的視角，就會出現模糊的區域。 LLM雖然號稱具備內部置信度檢測功能，卻仍然無法意識到這種模糊的邊緣正是應該說「我不知道」的時候。我對透過知識探測+強化學習等方法解決這個問題持悲觀態度，因為知識球的面積巨大且表面崎嶇，使得子領域之間的泛化變得異常困難，就像在玩打地鼠遊戲一樣。 雙子座的奇妙之處在於，它不僅能鸚鵡學舌地重複我的話，有時還能預判我*下一回合*要說的話（而且如果我同時使用十四行詩，它還會說出來，因為十四行詩做不到這一點）。它擁有極為豐富的長尾知識。但如果進一步激發它，它就會產生一些看似合理*你可能信以為真*的荒謬幻覺。和之前一樣，我們不能只依靠規模來解決幻覺問題。
