Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

正直に言うと、彼らはDSAを完全に放棄して、より細粒度のNSAに戻ってくるか、チャンクからトップKトークンへと徐々に切り替え、さりげなく新しい事前学習アルゴリズムを導入するという、クレイジーなハイブリッドな手法をとっているように見えます。DPSA、DeepSeek Progressive Sparse Attention、Whaleスタイルといった具合です。