就我们目前所知,Opus 4.5 在很多方面都是目前最合适的型号。 作为我进行校准评估工作的一部分,我会密切关注训练过程。以下是我认为使 4.5 版本与众不同的两大主要原因。🧵
首先:规格。 @AmandaAskell 和她的合作者们撰写了大量文章,探讨“如何才能成为一个优秀的克劳德”。 我认为,最终得到的模型规范比迄今为止在模型训练中使用的任何规范都更加连贯、细致和成熟,无论是在这里还是其他地方。
正如互联网似乎已经注意到的那样,我们也以一种相当独特的方式使用了这些书面材料。
在 Opus 4.5 中,我们不仅使用这份规范来生成*奖励*或*演示*,以教会模型规范中描述的行为,我们还直接使用规范文本训练模型。
越来越明显的是,模特的自我形象或自我概念对其行为在新环境中的泛化方式有着实际的影响。
这种直接监督训练模型性格相关文本的方法,似乎是影响模型自我概念的一种特别直接的方式。
第二:协调研究人员参与培训的各个环节。 我们目前还没有明确划分对齐研究和应用微调之间的界限。专注于对齐的研究人员深度参与了生产训练运行的设计和人员配备工作。
在训练过程中,我们会密切观察模型的行为和性格形成的关键阶段,并根据观察结果定期进行调整。
这项工作有时需要对我们训练流程的大部分环节以及模型的对齐和行为的大部分方面进行更改。
一位厨师如果知道该注意什么,并在烹饪过程中不断调整自己的技法,那么他烹饪出来的菜肴会比一位严格按照食谱烹饪的厨师做得更好。
但这很难:它需要一个庞大的混合型团队,能够凭借工程技术、研究直觉、创造力和品味快速做出反应。
该公司每次推出新机型都在不断进步,我认为 Opus 4.5 的表现尤其出色。在最近的训练运行中,他们完成的一些校准和模型行为研究的速度和质量都给我留下了深刻的印象。
参与这项实际协调工作的各个方面的人员众多,但 @sprice354_、Jon Kutasov、@MinaeKwon、Monty Evans 和 Richard Dargan 发挥了尤为核心的作用。