来自 François Fleuret（@francoisfleuret）的推文线程

RMSNorm是我最好的朋友。

不过需要注意的是，（1）VAE 的交叉熵更好并不能说明什么，实际上，（2）一般来说，更好的交叉熵可能不会转化为更好的评估。 但至少它没有爆炸，而且编码器似乎也完成了它的编码工作。