#16 - 注意力低下の因果メカニズムの調査 リンク - https://t.co/7Nb21sY76l @HeMuyu0327 による素敵な読み物 >RoPE は、周波数に依存した順序付けを位置に課しsmoothcriminal.notion.site/let-that-sink-…度が極値となる位置に形成されます。 > 連続性は、隣接する位置が相関した q/k 方向を生成するため重要であり、これにより極値位置の値ベクトルがレイヤー全体に繰り返し注入されます。不連続性はこの強化を破壊します。 >著者は、シンクの注意寄与をロジットパッチすることで因果依存性を示しています。反復的なQK強化ループが壊れているため、シンクは消滅します。 >これは、シンクが意味的なアーティファクトではなく、RoPE の幾何学的構造とトランスフォーマーの反復的な更新ダイナミクスによって生成される位置アトラクターであることを意味します。
