La pérdida se dispara, agregue un RMSNorm, reinicie.
RMSNorm es mi mejor amigo.
Aunque tenga en cuenta que (1) una mejor entropía cruzada con VAE no dice mucho, en realidad (2) una mejor entropía cruzada en general puede no traducirse en una mejor evaluación. Pero al menos no explota y parece que el codificador cumple su función.