Axiom의 새로운 연구 블로그: https://axiommath.ai/territory/lear…습하기 - 모든 토끼굴의 어머니 수학계에서 가장 악명 높은 미해결 문제 중 하나에 트랜스포머를 훈련시킨 다음, 그 트랜스포머가 실패하는 방식을 연구하면 어떤 일이 벌어질까요?
아무 숫자나 하나 고르세요. 이제 그것을 이상한 나라의 앨리스에 나오는 흰 토끼가 산수라는 토끼굴 속으로 백조처럼 뛰어들기 전에 시계를 초조하게 쳐다보는 모습으로 상상해 보세요. 짝수이면 반으로 나누세요. 홀수이면 3+1을 더한 다음 반으로 나누세요. 어떻게 된 일인지 토끼는 항상 4→2→1 순서로 되돌아갑니다. 정말 신기하네요!
이 모든 기발하고 흥미로운 이야기 뒤에는 수학계에서 가장 악명 높은 미해결 문제 중 하나가 숨어 있습니다. 콜라츠 추측. 이곳은 1930년대부터 영업을 해왔습니다. 컴퓨터는 2.95×10²⁰까지 모든 초기값을 확인해 보았습니다. 모든 값이 결국 1에 도달합니다. 하지만 증거는 없습니다.
그 느낌을 느껴보고 싶으세요? 81부터 시작해 보세요. 81→244→122→61→184→92→46→23→70→35→106→53→160→80→40→20→10→5→16→8→4→2→1 그러면 그 과정은 영원히 반복됩니다. 정수 사이를 미친 듯이 지그재그로 헤쳐나가세요! 순식간에 23단계를 굴러 땅으로 돌아온 토끼는 마침내 햇빛 아래에서 다시 눈을 깜빡입니다.
토끼가 최종 목적지까지 곧장 뛰어넘으려고 할 때, 이를 긴 콜라츠 스텝이라고 합니다. 변압기가 이러한 "긴 콜라츠 단계"를 예측할 수 있을까요? 얼마나 완벽한가요? Axiom의 Francois Charton(@f_charton)과 그의 협력자 Ashvni Narayanan은 1조 단위까지 99.8%의 정확도를 달성했습니다.
변압기가 어떻게 이렇게 높은 높이에 도달했을까요? 단계적인 상승을 통해서입니다. 25%→37%→55%→71%→88% 토끼처럼 여러 단계를 거칩니다. 이러한 도약은 결코 우연이 아닙니다. 그것들은 콜라츠 수열 자체의 심오한 수학적 구조와 밀접하게 관련되어 있습니다.
그 비밀은 바로 이진 인코딩입니다. 모델은 특정한 방식으로 학습합니다. 모든 곳에서 "그냥 괜찮은" 수준에 머무르는 대신, 그들은 점점 더 다양한 입력값에 대해 완벽하게 정확한 결과를 내는 법을 배우고, 그다음 입력값 세트로 빠르게 전환합니다. 이진수 접미사가 001로 끝나는 입력부터 먼저 처리하고, 그다음 1011로 끝나는 입력 순으로 처리합니다.
민간 속설에 따르면 법학 석사(LLM)는 산수를 못한다고 하지만, 여기 모델들은 환각을 보고 있는 것이 아닙니다. 오류의 거의 90%는 우리가 해석할 수 있는 단 두 가지 간단하고 설명 가능한 규칙을 따릅니다. 그들은 신중하게 추론하고 있지만, 아주 가끔씩 올바른 토끼를 따라 잘못된 길이의 터널로 들어가는 실수를 저지릅니다.
수학 자체가 해석 가능성 연구의 새로운 도구가 될 수 있다! 해석 가능성은 종종 무게별 부검을 의미합니다. 하지만 모델이 발전할수록 마치 도시의 뉴런 하나하나를 지도화하는 것과 같습니다. 우리는 기본 원리에 기반하여 실험을 설계합니다. 그리고 나서 결과를 분석합니다. 수학을 현미경으로 살펴보세요.🔬
논문 링크: arxiv.org/pdf/2511.10811 블로그: axiommath.ai/territory/lear…