snwy（@snwy_me）のスレッド

すっごく あまり質の良くないデータで SFT を実行してから、重要なメトリクスを強化するのと、最初から質の良いデータで SFT を実行するのとでは、どれくらい悪いのでしょうか。 タスクの構造を訓練したいが、いわゆる高品質の「肉」を生成したくない状況について考える

私の疑念は、不良データの影響を修正するために行う強化学習は、それを実際に打ち消すほど広範ではないということだ。