Un exemple simple pour illustrer le problème du VAE consiste à considérer un signal composé de trois variables aléatoires booléennes A, B, C avec A et B indépendants de probabilité 1/2 et C = A xor B. L'entropie cumulée des trois variables est de deux bits. 1/2
Idéalement, le Z latent fournirait ces deux bits et le décodeur serait entièrement déterministe. La modulation correcte de la quantité d'informations Z / que l'encodeur capture est compliquée, et si nous dépassons et que l'encodeur fournit trois bits, nous perdons la structure articulaire. 2/2