關於「更好的預訓練」可能意味著什麼的一些假設 - 與其他訓練階段的整合：我猜他們最終已經到了可以將訓練後表現（例如 SWE-Bench）作為訓練前工程決策訊號的階段。 - 過濾：採用諸如影響函數之類的縮放方法來去除對評估性能無益的數據點 - 合成資料：利用改寫語言對某些有用的文件進行增採樣，使其更適合推理。 - 混合：確定混合係數的更具原則性和可擴展性的方法 - 新增資料：購買和掃描更多書籍，轉錄 YouTube 視頻，購買新聞文章等私人代幣收藏 - 智慧打包：有幾種方法可以將文件分組，這種方法尤其適用於篇幅較長的內容。 系統：更多數據，更多浮點運算
正在載入線程內容
正在從 X 取得原始推文，整理成清爽的閱讀畫面。
通常只需幾秒鐘，請稍候。