來自 meng shao（@shao__meng）的推文串

[論文解讀] DeepSeek-V3.2 技術報告：透過架構創新與高效訓練策略，在推理能力與智能體表現上，追平甚至超越同期的頂尖閉源模型，同時大幅降低運算成本 架構突破：DeepSeek 稀疏注意力機制(DSA) 這是模型最核心的底層創新。傳統大模型在處理長文本時，計算量會隨著文字長度爆炸性成長，導致速度慢且成本高。 · 技術原理：DeepSeek 提出了一種「稀疏注意力」機制。有別於以往模型需要「全盤掃描」所有訊息，DSA 能夠讓模型聰明地識別並聚焦於關鍵訊息片段，忽略無關的噪音。 · 實際價值：這種機制在維持模型理解能力不下降的前提下，將計算複雜度從幾何級數增長降低到了線性水平。簡單來說，它讓模型在處理大量資訊時，既快又準，且顯著降低了算力門檻。 訓練策略：大規模強化學習與專家蒸餾為了提升模型的“智商”，特別是邏輯推理和數學解題能力，論文展示了一套全新的訓練流程。 · 專家分化與融合：團隊並沒有直接訓練一個全能模型，而是先訓練了多個在特定領域（如數學、程式設計、邏輯推理）達到極致程度的「專家模型」。 · 知識蒸餾：接著利用這些專家模型產生的優質數據，配合大規模強化學習演算法，將這些能力「傳授」給DeepSeek-V3.2 主模型。這種「集百家之長」的策略，使得通用模型也能擁有特定領域的深度推理能力。 智能體能力：合成資料建構演練場針對大模型不僅要「會說話」還要「會做事」（即使用工具、操控軟體）的需求，論文提出了一種創新的資料產生方法。 · 模擬演練：團隊透過演算法合成建構了超過1800 種複雜的虛擬任務場景，涵蓋了從簡單的日程安排到複雜的程式碼調試。 · 強化訓練：模型在這些高難度的模擬環境中反覆進行「試誤-回饋-最佳化」的訓練。這極大增強了模型在現實世界中呼叫工具、遵循複雜指令的穩健性。 性能表現與產業評估· 頂尖競賽水準：在2025 年的國際數學奧林匹克（IMO）和國際資訊學奧林匹克（IOI）中，該模型均達到了金牌水準，證明了其在硬核理科領域的深厚功底。 · 比肩閉源巨頭：在多項權威基準測試中，其綜合推理能力與Google的Gemini-3.0-Pro 持平，並在部分複雜任務上優於GPT-5。 閱讀論文原文