Kimi-K2-Thinking と MiniMax M2 のサイズを比較するとどうなりますか? 2/n 1. MiniMax M2 には、10B のアクティブ パラメータと、完全な注意を払うと合計 230B のパラメータがあります。 2. Kimi K2 には 350 億のアクティブ パラメータと合計 1 兆のパラメータがあります。 どちらも重みのほとんどは 8 ビットです。 つまり、M2 のホスティングははるかに簡単になり、KV キャッシュははるかにコンパクトになります。 MiniMax M2 は完全な注意力を使用しますが、Kimi-M2 が注意力層に何か興味深いことを行ったかどうかを確認するのは興味深いでしょう。 （この計算では、Kimi-K2-ThinkingはKimi-K2-Baseに基づいていると仮定しています）
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。