來自 Teortaxes▶️ (DeepSeek 推特🐋铁粉 2023 – ∞)（@teortaxesTex）的推文串

悄悄出現：一個基於 Llama 3 訓練的 Mamba-2 + MLA 混合模型。我們知道 GQA 到完整 MLA 的轉換是可行的。 Kimi 已經證明可以將 MLA 和線性注意力機制結合起來（儘管 KDA 比 Mamba2 更複雜），但他們是從零開始訓練的。 這在技術上令人印象深刻。