ようやく読む時間ができました。今一番興味を惹かれているのは、より長いコンテキストの品質／健全性を測定する上での示唆です。実験は500トークンまで実施しましたが、劣化はありませんでした。
明らかに、すべて元のコンテキストの長さの範囲内です。さて、私の現在の予想は（間違っているでしょうか？）：ROPEは回転精度を継続的に低下させ、最終的に可逆性が維持できなくなる限界点に達するのではないか？
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。