Um exemplo simples para ilustrar o problema com o VAE é considerar um sinal composto por três variáveis aleatórias booleanas A, B, C, com A e B independentes com probabilidade 1/2 e C = A xor B. As três variáveis juntas têm uma entropia de dois bits. 1/2
Idealmente, o valor latente Z forneceria esses dois bits e o decodificador seria totalmente determinístico. Modular corretamente a quantidade de informação Z que o codificador captura é complicado, e se ultrapassarmos o valor e o codificador fornecer três bits, perdemos a estrutura conjunta. 2/2