Subbarao Kambhampati (కంభంపాటి సుబ్బారావు)（@rao2z）のスレッド

記憶から解く vs ゼロから解く ― あるいは、LLM に「複雑性レンズ」を適用することの無益さ #SundayHarangue #NeurIPS2025 Edition LLM タスクのパフォーマンスを基礎となるタスクの計算の複雑さの観点から見るという主張には、依然として困惑しています ( https://t.co/4X1yQFY3KH を参照)。 これは、LLMのギザギザ知能がタスクの複雑さと直接関係がないことを示す多くの逸話的証拠が既に存在するにもかかわらずです。LLMは国際数学オリンピックの問題で競争力を発揮できる一方で、「Amazonが右の靴ではなく左の靴を送ってきた、あるいはその逆」といった幼稚な落とし穴に陥ることがあります（SOTA LLMのこうした落とし穴の終わりのないリストについては、@conitzerをフォローしてください！）。 計算の複雑さは、多くの場合、タスクをアルゴリズム的にゼロから解決することを意味します。LLMにおける事前学習、事後学習、そして推論のすべては、記憶から解決することを強く求めています。 もちろん、これはLLMが個々のタスクプロンプトに対する解決策を、過去の解決策を蓄積した膨大なライブラリから直接取得するという意味ではありません。LLMは、タスクプロンプトをアルゴリズム的にゼロから解決するのではなく、人間の知識に基づく事前学習と事後学習から得られた知識を組み合わせるという試行錯誤のプロセスによって、タスクプロンプトに対処しようとしているのです。 この観点から、推論モデルによって出力される「中間トークン」は、何らかのゼロからのアルゴリズムの痕跡として解釈されるのではなく、現在のタスクプロンプトに対処するためにメモリ内の事前知識を構成しようとするモデルの試みの足跡として解釈される可能性があります。 (私が他の場所で主張しているように、https://t.co/qE0vAwB636、事前トレーニングは人類の宣言的知識を摂取するものと見なすことができますが、事後トレーニングは、手順の展開がますます長くなるという観点から、人類の手続き的知識を段階的に摂取するものと見なすことができます)。 このような構成的な試行錯誤による問題解決のコスト／精度は、現在のタスクプロンプトの計算複雑度ではなく、現在のメモリからその解を組み立てるのがどれほど容易かによって決まります。これが、LLMがトレーニング前後の分布から大きく離れたタスクで精度が低下する理由です。https://t.co/RL9ZEOKbpQ をご覧ください。 記憶に基づく問題解決の顕著な兆候として、問題が訓練分布から外れている場合、モデルの精度が低く、中間トークン（「計算」）が長くなることが挙げられます。これは、実際には最初から自明に解決できる場合でも当てはまります。これが、#NeurIPS2025 効率的推論ワークショップで発表する「形成的思考」論文（https://t.co/itCXNctKZ1）のメッセージです。