「より良い事前トレーニング」が何を意味するかについてのいくつかの仮説 - 他のトレーニング段階との統合: トレーニング後のパフォーマンス (例: SWE-Bench) をトレーニング前のエンジニアリング決定のシグナルとして使用できる段階にようやく達したのではないかと思います。 - フィルタリング: 影響関数のようなスケーリングアプローチを使用して、評価パフォーマンスに役立たないデータポイントを削除します。 - 合成データ: 特定の有用な文書を言い換えによってアップサンプリングし、推論しやすいものにする - 混合：混合係数を決定するためのより原理的でスケーラブルなアプローチ - 新しいデータ: より多くの本を購入してスキャンし、YouTubeを書き起こし、ニュース記事などのプライベートトークンコレクションを購入 - スマートパッキング: ドキュメントをバッチにグループ化するさまざまな方法があり、特に長いコンテキストのドキュメントに適しています。 - システム: データが増えれば、失敗も増える
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。