來自 François Chollet（@fchollet）的推文串

Transformer 架構本質上是一個平行上下文處理器，但推理是一個順序的、迭代的過程。 為了解決複雜問題，模型不僅需要在輸出的CoT中，而且需要在內部狀態中提供一個「草稿本」。這需要一種可微分的方式，讓模型能夠循環、分支和回溯，直到找到有效的解決方案。