Il nous reste à déterminer cette loi d'échelle, mais voici mon intuition actuelle : la mémorisation est directement liée à la densité des faits dans les échantillons, au suréchantillonnage de la synthèse, au nombre de paramètres et à l'efficacité d'apprentissage de l'architecture du modèle.
Les bons pipelines synthétiques résolvent non seulement le point 2), mais aussi le point 4, car vous pouvez exécuter des expériences contrôlées et vérifier directement le rappel précis au lieu de perdre du temps avec un proxy bizarre (laissez Hellaswag mourir).