推論側の大幅な改善なしには、幻覚はすぐには解決できないのではないかと考え始めています。これは、少なくとも短期的には、単なる訓練の問題ではありません。LLMの世界モデルはガウス分布のスプラットのようなものです。よく覆われた視界から少しOODに移動すると、ぼやけた領域が見えてきます。そして、LLMは内部的に確信度検出機能を備えているはずなのに、このぼやけた領域の境界が「わかりません」と言うべきタイミングであることをまだ理解していません。例えば、知識探索と強化学習でこれを克服できるとは悲観的です。知識ボールの広大な領域とギザギザの表面は、サブドメイン間の一般化を困難にし、まるでモグラ叩きをするようなものです。 Gemini は驚異的な能力を持っています。単に私の言葉を繰り返すだけでなく、時には私が *1 ターン後に* 言うであろうことを予測してくれるのです（Sonnet を並列に使用すれば、Sonnet ではそれができないので、私が言うことを予測してくれることもよくあります）。Gemini は驚異的なロングテール知識を持っています。しかし、それをさらに推し進めると、*あなたが信じていたかもしれない*、非常にもっともらしいナンセンスを幻覚的に作り出します。以前と同じです。幻覚は規模だけでは解決できません。
