来自 Alexander Doria（@Dorialexander）的推文线程

终于有时间读完了。目前最让我感兴趣的是它对衡量更长上下文质量/健康状况的意义：实验中，上下文长度达到 500 个词元时，质量没有下降。

显然，所有内容都在原上下文长度范围内。现在我目前的预期（我的预期错了吗？）：ROPE 会导致旋转精度持续下降，直到达到一个临界点，此时可逆性将无法维持？