Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

MoE に代わるものは、より優れた MoE だけです。 いずれにせよ、「MoE」は誤称です（DeepSeekがFFN特化を推進しようと努力しているにもかかわらず）。@main_horse が的確に表現しています。「スパースルーティングモデル」です。 1) よりスパース性を高める。2) より強力で差別化可能なルーティング。これが根本的なムーンショットです。