La gente parece estar bastante confundida por el hecho de que la incrustación aleatoria del VAE sea completamente aleatoria durante la inferencia. Lo que debería ocurrir —si todo va bien— durante el entrenamiento es que el modelo transformará esta distribución previa en algo útil. 1/2
Esto es lo que realmente sucede con el modelo AR. El modelo aprende a transformar una distribución fija (la que proviene del generador aleatorio) en la distribución de tokens adecuada mediante los logits. 2/2