就我們目前所知,Opus 4.5 在許多方面都是目前最合適的型號。 作為我進行校準評估工作的一部分,我會密切注意訓練過程。以下是我認為讓 4.5 版本與眾不同的兩大主要原因。 🧵
首先:規格。 @AmandaAskell 和她的合作者們撰寫了大量文章,探討「如何才能成為一個優秀的克勞德」。 我認為,最終得到的模型規格比迄今為止在模型訓練中使用的任何規範都更加連貫、細緻和成熟,無論是在這裡還是其他地方。
正如網路似乎已經注意到的那樣,我們也以一種相當獨特的方式使用了這些書面資料。
在 Opus 4.5 中,我們不僅使用此規範來產生*獎勵*或*演示*,以教會模型規範中描述的行為,我們還直接使用規範文本訓練模型。
越來越明顯的是,模特兒的自我形像或自我概念對其行為在新環境中的泛化方式有著實際的影響。
這種直接監督訓練模型性格相關文本的方法,似乎是影響模型自我概念的特別直接的方式。
第二:協調研究者參與訓練的各個環節。 我們目前還沒有明確劃分對齊研究和應用微調之間的界線。專注於對齊的研究人員深度參與了生產訓練運行的設計和人員配備工作。
在訓練過程中,我們會密切觀察模型的行為和性格形成的關鍵階段,並根據觀察結果定期進行調整。
這項工作有時需要對我們訓練流程的大部分環節以及模型的對齊和行為的大部分方面進行更改。
一位廚師如果知道該注意什麼,並在烹飪過程中不斷調整自己的技法,那麼他烹飪出來的菜餚會比一位嚴格按照食譜烹飪的廚師做得更好。
但這很難:它需要一個龐大的混合型團隊,能夠憑藉工程技術、研究直覺、創造力和品味快速反應。
該公司每次推出新機型都在不斷進步,我認為 Opus 4.5 的表現尤其出色。在最近的訓練運行中,他們完成的一些校準和模型行為研究的速度和品質都給我留下了深刻的印象。
參與這項實際協調工作的各個方面的人員眾多,但 @sprice354_、Jon Kutasov、@MinaeKwon、Monty Evans 和 Richard Dargan 發揮了尤為核心的作用。