Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

現代のMoEトレーニングに関する非常に高いアルファレポート これは、並列処理がうまく機能すれば、大規模クラスタを使うことの価値がいかに高いかを示しています（当たり前ですが）。多くの問題は大規模になるほど解決しやすくなります。トークンを勾配に変換する速度が速くなるだけではありません。