5/5 ¿Qué es el aprendizaje por refuerzo asíncrono que utiliza el entrenamiento del modelo Customer Composer? Utiliza la ejecución asíncrona en múltiples niveles para evitar esperar en operaciones lentas, por ejemplo, una generación de despliegue prolongada. Como ya sabrás, para un problema dado, en aprendizaje por refuerzo como GRPO generamos múltiples trayectorias. Sin embargo, algunas trayectorias pueden tardar demasiado en completarse. Así pues, una vez que tienen suficientes trayectorias, ejecutan el entrenamiento. Las implementaciones/muestras parciales se reanudan posteriormente con un modelo actualizado. Esto provoca que algunos tokens se generen con el modelo/política anterior y otros con el nuevo. Sin embargo, esto es aceptable. Si desea obtener más información sobre el aprendizaje por refuerzo asíncrono, consulte APRIL, un proyecto sobre aprendizaje por refuerzo asíncrono.
