これまでにわかっていることすべてから判断すると、Opus 4.5 はさまざまな点で最もよく調整されたモデルのようです。 アライメント評価の仕事の一環として、トレーニングプロセスを綿密に追跡しています。4.5を特別なものにしている最も大きな要因は何か、私の推測を述べさせていただきます。🧵
まず、仕様。 @AmandaAskell と協力者たちは、「良いクロードとはどういうことか」について多くの文章を準備しました。 結果として得られるモデル仕様は、ここでも他の場所でも、これまでモデルトレーニングで使用されてきたものよりも一貫性があり、ニュアンスに富み、成熟していると思います。
インターネット上では気づいているようですが、私たちはこの文書をかなり独特な方法でも使用しました。
Opus 4.5では、この仕様を、仕様に記述された動作をモデルに学習させるための*報酬*や*デモンストレーション*を生成するためだけに使用したのではなく、仕様のテキストに基づいてモデルを直接学習させました。
モデルの自己イメージや自己概念が、その行動が新しい設定にどのように一般化されるかに実際に影響を及ぼすことが、ますます明らかになりつつあります。
モデルの性格に関するテキストを用いたこの種の直接的な教師付きトレーニングは、モデルの自己概念に影響を与える特に直接的な方法であると思われます。
2つ目: アライメント研究者はトレーニングのあらゆる部分に関与しています。 アライメント研究と応用微調整の間に明確な区分はありません。アライメントに重点を置く研究者は、生産訓練の設計と人員配置に深く関わっています。
私たちは、モデルの行動や性格の設定に最も影響するトレーニングの部分でモデルを注意深く観察し、観察結果に応じて定期的に調整を行います。
この作業には、トレーニング パイプラインのほとんどの部分と、モデルの配置と動作のほとんどの側面への変更が含まれることがあります。
何に注意すべきかを知っていて、料理を準備する際に常に自分のテクニックを調整する料理人は、レシピに厳密に従う料理人よりも良い結果を得るでしょう。
しかし、これは困難です。エンジニアリングの知識と研究の直感、創造性、そしてセンスを持って迅速に対応できる、大規模なハイブリッド チームが必要です。
同社はモデルのリリースごとにこの点を改善しており、Opus 4.5では特にうまくいったと思います。最近のトレーニング実行中に行われたアライメントとモデルの挙動に関する研究のスピードと品質には、本当に感銘を受けました。
この実践的な調整作業には多くの人が関わっていますが、@sprice354_、Jon Kutasov、@MinaeKwon、Monty Evans、Richard Dargan が特に中心的な役割を果たしました。