A perda de dados aumenta exponencialmente, adicione um RMSNorm e reinicie.
RMSNorm é meu melhor amigo.
Embora observe que (1) uma melhor entropia cruzada com VAE não significa muito, na verdade (2) uma melhor entropia cruzada em geral pode não se traduzir em uma melhor avaliação. Mas pelo menos não explode e parece que o codificador está fazendo o seu trabalho.