Transformer 中的“靜默特徵學習” 這是這週很有趣的一篇論文：它指出，loss 曲線可能會誤導我們對模型學習內容的判斷。 通常，我們會以loss 作為衡量神經網路訓練進度的主要指標。 如果loss 沒變化，就覺得模型沒學到東西；loss 下降，就覺得學習在發生。 但這個假設在處理演算法任務時就不成立了。 這項新研究用Transformer 處理了10 個基礎演算法任務，發現了「靜默特徵」：內部表徵在loss 停滯時也在發展。 研究發現，模型在提升輸出效能之前，就已經學會了中間計算步驟。 例如：加法中的進位、BFS 中的佇列成員關係、乘法中的部分積。 這些特徵在長時間的平台期內逐漸形成，然後突然結合起來解決問題。 研究人員在二元算術（加法、乘法）、圖演算法（BFS、最短路徑、拓撲排序、MST）和序列最佳化（最大子數組、活動選擇）中探測了內部表徵。 六個任務都顯示出明顯的兩階段轉換：長時間停滯後，效能突然提升。 消融實驗證實了因果關係。 從64 位元加法模型中移除進位特徵，準確率下降了75.1%。 消融BFS 中的隊列成員關係，準確率下降了43.6%。 演算法任務需要多個子程序協同工作。 在所有部分都對齊之前，單一正確的組件不會降低loss。 模型在平坦的loss 曲線下累積了潛在的能力。 看來，交叉熵loss 是一種不完整的診斷方法。 即使指標看起來停滯不前，也可能發生大量的內部學習。 這促使我們開發比loss 曲線更豐富的監控工具。 🔖 論文連結：
本內容由xaicreator翻譯生成 xaicreator.com
感謝你花時間閱讀了這篇推文！ 關注@Yangyixxxx ，分享AI訊息，商業洞察與增長實戰如果你喜歡這篇內容，也請點讚並轉發第一條推文，把有價值的內容分享給更多人~