Alexander Doria（@Dorialexander）のスレッド

今のところ漠然とした投稿ですが、私たちの主な研究の賭けは製品版で成果を上げているようです。合成環境に特化した小さな推論エンジンは、出力でトップ モデルと競合しているだけでなく、さらに驚くべきことに、ドラフト推論の品質でも競合しています。

超スパースMoEがなぜこんなにうまく機能するのかも、これと同じ理由だと思います。推論は探索空間です。