Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

Seed は潜在的にループする Transformer を実行します。 これはかなり成熟した手法で、簡単なトークンであればモデルは2ループで終了できます。この方法では計算量は節約できませんが、データ予算からより良い結果が得られます。この手法がどの程度スケールするかを示す、かなり大きなMoEが見られることを期待しています。