Axiomの新しい研究ブログ: https://t.caxiommath.ai/territory/lear… あらゆる落とし穴の母 数学の最も悪名高い未解決パズルの 1 つでトランスフォーマーをトレーニングし、その後それが失敗する理由を調べると、何が起こるでしょうか?
数字を一つ選んでください。任意の数字です。 今度は、それを『不思議の国のアリス』の白ウサギだと想像してください。白ウサギは、計算のウサギの穴に白鳥のように飛び込む前に、神経質に腕時計をちらりと見ています。 偶数？半分にします。奇数？3倍+1してから半分にします。 どういうわけかウサギはいつも4→2→1に戻ってしまう。魔法のようだ！
このウサギの穴のような奇抜さの背後には、数学界で最も悪名高い未解決問題のひとつが潜んでいます。 コラッツ予想。 1930年代から営業しています。 コンピューターは2.95×10²⁰までのすべての初期値をチェックしました。最終的にはすべて1になります。 しかし、まだ証拠はない。
感じてみたい？まずは81から： 81→244→122→61→184→92→46→23→70→35→106→53→160→80→40→20→10→5→16→8→4→2→1 その後、永久にループします。 整数をジグザグに駆け抜けろ！ 23段の転がりで地面に舞い戻る。そしてウサギはついに再び太陽の光を浴びて瞬きを始めた。
ウサギが最終目的地までまっすぐに跳躍しようとする場合、それはロング コラッツ ステップと呼ばれます。 トランスフォーマーはこれらの「長いコラッツステップ」を予測できますか? そしてどれくらい完璧ですか? Axiom の Francois Charton @f_charton と協力者の Ashvni Narayanan は、1 兆まで 99.8% の精度を達成しました。
トランスはどうやってここまで到達したのでしょうか? 離散ジャンプによってです。 25%→37%→55%→71%→88% ウサギが跳躍するような複数のステップ。 こうした飛躍は決してランダムなものではありません。 それらは、コラッツ列自体の深い数学的構造に結びついています。
秘密は？バイナリエンコーディングです。 モデルは特定のスタイルで学習します。 どこでも「まあまあ」というのではなく、入力セットを拡張して完全に正しく反応することを学習し、次のセットにすぐに適応します。 最初にバイナリサフィックスが 001 で終わる入力を行い、次に 1011 で終わる入力を行います。
伝承では、LLM は算術演算ができないと言われていますが、ここでのモデルは幻覚ではありません。 間違いの約 90% は、私たちが解釈できる 2 つの単純な説明可能なルールに従っています。 彼らは慎重に推論している。ただ、ごくまれに正しいウサギを追いかけて、間違った長さのトンネルに入ってしまうだけだ。
数学自体が解釈可能性研究の新しいツールになり得ます！ 解釈可能性は、多くの場合、重量ごとの剖検を意味します。 しかし、モデルが大きくなるにつれて、それは都市をニューロンごとにマッピングするようなものです。 私たちは第一原理に基づいて実験を計画し、その結果を解釈します。 数学は顕微鏡だ。🔬
論文: httarxiv.org/pdf/2511.10811ログ: https://t.co/5MifD6pmoT