英語版の公式 SYNTH ナノチャット データセットがほぼ終了しました。ナノチャットのトレーニング経験があり、最適なアプローチをテスト/確認していただける方はいらっしゃいますか? 通常は最小限の適応(すでにシャード化)ですが、データセットのインポート スクリプトは fineweb にハードコードされています。
そうでなければ、メインの.shファイルは大部分が簡素化されるはずです。SYNTHでは、トレーニング前/中/後の段階を別々にする必要はありません。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。