Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

「MoEモデルは世界知識タスクに優れているが、パープレキシティが固定されている場合、推論においては高密度モデルに匹敵する」 直感的には納得できますが、より細分化されたMoEにも当てはまるのでしょうか？推論は当然疎なので、いくつかの低ランク演算を組み合わせるだけです。