来自 Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）的推文线程

说实话，我觉得他们完全有可能放弃DSA，转而使用更细粒度的NSA，或者搞个疯狂的混合方案，比如逐步从分块训练过渡到前K个标记训练，然后顺便引入一个新的预训练算法。DPSA，DeepSeek Progressive Sparse Attention，鲸鱼风格。