而且,這是一項重要的開放科學成果發布:他們沒有充分強調這一點,但SFT部分的內容遠不止於訓練後階段。這是一份完整的訓練中期文檔,其中包含大量關於MoE訓練、非同步基礎強化學習和深度研究的真知灼見。這份報告值得仔細閱讀(一邊吃火雞一邊讀?),其中包含了所有中間實驗,甚至可以用較小的模型重現這些實驗結果。 https://t.co/p9nmK65bdF