5/5 Customer Composer モデルトレーニングで使用される非同期 RL とは何ですか? 長いロールアウト生成などの遅い操作を待機することを避けるために、複数のレベルで非同期実行を使用します。 ご存知の通り、GRPOのような強化学習では、与えられた問題に対して複数の軌道を生成します。しかし、軌道によっては完了までに時間がかかりすぎる場合があります。 したがって、十分な軌跡が得られたら、トレーニングを実行します。 部分的なサンプル/ロールアウトは、更新されたモデルを使用して後から再開されます。これにより、一部のトークンは古いモデル/ポリシーによって生成され、一部は新しいモデル/ポリシーによって生成されるという状況が発生します。 ただし、これは許容範囲です。非同期強化学習についてさらに詳しく知りたい場合は、非同期強化学習プロジェクト「APRIL」をご覧ください。
