Parece haver bastante confusão sobre o fato de a incorporação aleatória do VAE ser completamente aleatória durante a inferência. O que deve acontecer – se tudo correr bem – durante o treinamento é que o modelo transformará essa distribuição a priori em algo útil. 1/2
É isso que realmente acontece com o modelo AR. O modelo aprende a transformar uma distribuição fixa (o que vem do gerador aleatório) na distribuição de tokens adequada por meio dos logits. 2/2