Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

このような大規模なMoE（特にDSMoE以降の高度なアーキテクチャ）の挙動は、まだ理解できていないと思います。しかし、合計約28Bでも0.8%のスケーリングは良好であることが分かっています。そして、「より細粒度」を超えたスパース性を活用する巧妙な方法も可能になります。10Tで1%というのは*保守的*だと思います。