Le jeu de données officiel SYNTH nanochat en anglais est presque terminé : y a-t-il des personnes ayant de l'expérience en entraînement nanochat qui seraient prêtes à tester/voir quelle serait la meilleure approche ? Normalement, il s'agit d'une adaptation minimale (déjà partitionné), mais le script d'importation du jeu de données est codé en dur sur fineweb.
Sinon, le fichier .sh principal devrait être en grande partie une simplification : avec SYNTH, vous n’avez pas besoin d’étapes séparées pour le pré-entraînement, le milieu de l’entraînement et le post-entraînement.