來自 Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）的推文串

說實話，我覺得他們完全有可能放棄DSA，轉而使用更細粒度的NSA，或者搞個瘋狂的混合方案，比如逐步從分塊訓練過渡到前K個標記訓練，然後順便引入一個新的預訓練演算法。 DPSA，DeepSeek Progressive Sparse Attention，鯨魚風格。