私もそう思っており、私がよく投稿する例を見れば、それがはっきりと分かると思います。真実に焦点を絞っているのではなく、文脈によって設定された大まかな方向を、ただ漫然と辿っているだけです。問題を解決したり、発見したりしようとは、実際には思っていないのです。
gpt-3.5 の「農夫がヤギもオオカミもいない川を渡るには7往復かかる」という記述から、この記述まで、直線でつながっています。すべての LLM に共通するのは、実際に問題を解決しようとせず、表面的に解決策に似たテキストを生成しようとしている点です。
表面的に解決策のように見えるのは、それが解決策であるからという場合もあります。しかし、どんな分野でも、深い進歩のためにこれに頼ることはできないと思います。
もし誰かが明日リーマン予想を証明したら、GPT-5.2にその証明を説明でき、GPT-5.2はそれを理解しているように見えるだろう。そして、なぜ自力で証明に至らなかったのかと不思議に思うかもしれない。その理由は、GPT-5.2をその方向に導くものが何もないからだ。