Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）のスレッド

レーダーに引っかからなかったのは、Mamba-2とMLAのハイブリッドで、Llama 3で*事後学習*されたものです。GQA=>完全なMLAは実現可能だと分かっていました。KimiはMLAと線形アテンションを組み合わせられることを証明しました（ただしKDAはMamba2よりも洗練されています）。しかし、彼らはゼロから学習しました。 これは技術的に素晴らしいです。