Un ejemplo sencillo para ilustrar el problema con el VAE es considerar una señal compuesta por tres variables aleatorias booleanas A, B, C con A y B independientes con probabilidad 1/2 y C = A xor B. Las tres variables juntas tienen una entropía de dos bits. 1/2
Idealmente, la Z latente proporcionaría esos dos bits y el decodificador sería completamente determinista. Modular adecuadamente la cantidad de información Z / que captura el codificador es complicado, y si nos excedemos y el codificador proporciona tres bits, perdemos la estructura conjunta. 2/2