來自 Viv（@Vtrivedy10）的推文串

一個關於如何使模型適應安全帶的有趣問題 + 關於類似「安全帶測試台」的想法 1. 更聰明的模型在遷移到新的安全帶時是更好還是更差？最近的結果表明，Opus 在 CC 安全帶上的遷移幅度比 Sonnet 在 CC 安全帶上要大得多。 2. 在實際應用中，新安全帶的適應性與微調之間有什麼差距？ HarnessBench： Terminal Bench 的結果報告方式在某種程度上體現了這種理念，但基本上我們需要更多針對線束的評估，而不僅僅是模型。 - 我們沒有很好的指標來衡量模型在不同框架下的泛化能力 HarnessBench 本質上是對各種任務的評估，我們用它來衡量一個框架在多種固定模型上的平均表現。當然，我們也會從中獲得每個模型和框架的基準測試分數。 我認為這是一個很有價值、很有趣的問題，值得探討。它能幫助我們了解安全帶的哪些特性對某些模特兒有用而對另一些模特兒沒用，以及安全帶通常應該具備哪些「好」特質。 我們需要爬山式安全帶，還要提高解釋性。而且，強化學習的微調很可能就是一切。