為了說明 VAE 的問題,可以考慮一個由三個布林隨機變數 A、B、C 組成的訊號,其中 A 和 B 獨立,機率為 1/2,C = A xor B。 這三個變數的熵總共為 2 位元。 1/2
理想情況下,潛在的 Z 可以提供這兩個比特,解碼器將是完全確定性的。 正確調節編碼器捕獲的資訊量 Z / 很複雜,如果我們過衝而編碼器提供 3 位,我們就丟失了關節結構。 2/2
正在載入線程內容
正在從 X 取得原始推文,整理成清爽的閱讀畫面。
通常只需幾秒鐘,請稍候。
共 2 則推文 · 2025年11月10日 清晨7:19
為了說明 VAE 的問題,可以考慮一個由三個布林隨機變數 A、B、C 組成的訊號,其中 A 和 B 獨立,機率為 1/2,C = A xor B。 這三個變數的熵總共為 2 位元。 1/2
理想情況下,潛在的 Z 可以提供這兩個比特,解碼器將是完全確定性的。 正確調節編碼器捕獲的資訊量 Z / 很複雜,如果我們過衝而編碼器提供 3 位,我們就丟失了關節結構。 2/2