レーダーに引っかからなかったのは、Mamba-2とMLAのハイブリッドで、Llama 3で*事後学習*されたものです。GQA=>完全なMLAは実現可能だと分かっていました。KimiはMLAと線形アテンションを組み合わせられることを証明しました(ただしKDAはMamba2よりも洗練されています)。しかし、彼らはゼロから学習しました。 これは技術的に素晴らしいです。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
1 件のツイート · 2025/12/07 6:37
レーダーに引っかからなかったのは、Mamba-2とMLAのハイブリッドで、Llama 3で*事後学習*されたものです。GQA=>完全なMLAは実現可能だと分かっていました。KimiはMLAと線形アテンションを組み合わせられることを証明しました(ただしKDAはMamba2よりも洗練されています)。しかし、彼らはゼロから学習しました。 これは技術的に素晴らしいです。