François Chollet（@fchollet）のスレッド

Transformer アーキテクチャは、基本的にはコンテキストの並列プロセッサですが、推論は順次的な反復プロセスです。 複雑な問題を解くには、モデルは出力CoTだけでなく内部状態にも「スクラッチパッド」を必要とします。モデルが有効な解を見つけるまで、ループ、分岐、バックトラックを微分可能な方法で実行できるのです。