VAE のランダム埋め込みが推論中に完全にランダムであることに、人々はかなり混乱しているようです。 すべてがうまくいけば、トレーニング中にモデルがこの事前分布を有用なものに変換するはずです。 1/2
これがARモデルで実際に起こっていることです。このモデルは、ロジットを通して、固定分布(乱数生成器から得られるもの)を適切なトークン分布に変換することを学習します。 2/2
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
2 件のツイート · 2025/11/02 7:56
VAE のランダム埋め込みが推論中に完全にランダムであることに、人々はかなり混乱しているようです。 すべてがうまくいけば、トレーニング中にモデルがこの事前分布を有用なものに変換するはずです。 1/2
これがARモデルで実際に起こっていることです。このモデルは、ロジットを通して、固定分布(乱数生成器から得られるもの)を適切なトークン分布に変換することを学習します。 2/2