損失が急増した場合は、RMSNorm を追加して再起動します。
RMSNormは私の親友です。
ただし、(1) VAE によるクロスエントロピーの向上はあまり意味がなく、(2) 一般的にクロスエントロピーが向上することは必ずしも評価の向上につながるわけではないことに注意してください。 しかし、少なくとも爆発は起こらず、エンコーダーはエンコーダーとしての役割を果たしているようです。
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。