#16 - 주의력 저하의 인과 메커니즘에 대한 조사 링크 - https://t.co/7Nb21sY76l @HeMuyu0327의 좋은 글이네요 >RoPE는 위치에 주파수에 따른 순smoothcriminal.notion.site/let-that-sink-… 해당 순서에서 극단적인 위치에서 형성됩니다. >연속성은 이웃 위치가 상관된 q/k 방향을 생성하고, 이로 인해 극단 위치의 값 벡터가 여러 층에 반복적으로 주입되기 때문에 중요합니다. 불연속성은 이러한 강화를 깨뜨립니다. 저자는 싱크의 주의 기여도를 로짓 패칭하여 인과적 종속성을 보여줍니다. 반복적인 QK 강화 루프가 끊어지기 때문에 싱크가 사라집니다. >즉, 싱크는 의미적 아티팩트가 아니라 RoPE의 기하학적 구조와 변환기의 반복적 업데이트 역학에 의해 생성된 위치적 어트랙터입니다.
