VAE の問題を説明する簡単な例として、3 つのブールランダム変数 A、B、C で構成される信号を考えます。A と B は確率 1/2 に依存せず、C = A xor B となります。 3 つの変数を合わせると、エントロピーは 2 ビットになります。 1/2
理想的には、潜在的な Z がそれらの 2 つのビットを提供し、デコーダーは完全に決定論的になります。 エンコーダがキャプチャする情報量 Z / を適切に調整するのは複雑であり、オーバーシュートしてエンコーダが 3 ビットを提供すると、ジョイント構造が失われます。 2/2