来自 Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）的推文线程

唯一能取代MoE的，只有更好的MoE。 总之，“MoE”这个名称并不恰当（尽管DeepSeek努力推广FFN专业化）。@main_horse说得最好：稀疏路由模型。 1）更高的稀疏性。2）更强、更可区分的路由。这就是你实现根本性突破的关键所在。