5/5 Qu'est-ce que l'apprentissage par renforcement asynchrone utilisé par l'entraînement du modèle Customer Composer ? Il utilise l'exécution asynchrone à plusieurs niveaux pour éviter d'attendre les opérations lentes, par exemple une longue génération de déploiement. Comme vous le savez, pour un problème donné, en apprentissage par renforcement comme GRPO, nous générons plusieurs trajectoires. Cependant, certaines trajectoires peuvent prendre trop de temps à se réaliser. Une fois qu'ils disposent de suffisamment de trajectoires, ils lancent l'entraînement. Les déploiements partiels reprennent ultérieurement avec un modèle mis à jour. Il en résulte une situation où certains jetons sont générés par l'ancien modèle/la nouvelle politique et d'autres par le nouveau. Cependant, cela est acceptable. Si vous souhaitez en savoir plus sur l'apprentissage par renforcement asynchrone, veuillez consulter la documentation d'APRIL, un projet dédié à l'apprentissage par renforcement asynchrone.
