Axiom 最新研究博客:https://t.co/maxiommath.ai/territory/lear…之母 当你用数学中最臭名昭著的未解难题之一来训练一个 Transformer 模型,然后研究它是如何失败的,会发生什么?
随便选一个数字。 现在想象一下,它就像《爱丽丝梦游仙境》里的白兔,在纵身跃入算术兔子洞之前,紧张地瞥了一眼手表。 偶数?减半。奇数?先乘以 3 再加 1,然后减半。 不知何故,兔子总是能迅速回到 4→2→1。神奇!
在这种种奇思妙想背后,隐藏着数学中最臭名昭著的未解难题之一。 考拉兹猜想。 它从上世纪30年代就开始营业了。 计算机已经检查了所有小于等于 2.95×10²⁰ 的起始值。每一个起始值最终都会达到 1。 然而——却没有任何证据。
想感受一下吗?从81开始: 81→244→122→61→184→92→46→23→70→35→106→53→160→80→40→20→10→5→16→8→4→2→1 然后它就一直循环下去。 疯狂地在整数中跳跃! 兔子迅速地翻滚了23步,回到了地面。然后,它终于再次在阳光下眨了眨眼。
当兔子想要直接跳到最终目的地时,这被称为长科拉茨步。 变压器能否预测这些“长考拉兹步长”? 多么完美啊! Axiom 的 Francois Charton (@f_charton) 和合作者 Ashvni Narayanan 在万亿以内达到了 99.8% 的准确率。
变压器是如何达到这么高的?通过多次离散跳跃实现的。 25%→37%→55%→71%→88% 像兔子跳跃一样迈出多步。 这些飞跃绝非偶然。 它们与考拉兹序列本身的深层数学结构密切相关。
秘诀是什么?二进制编码。 模型以特定的方式学习。 他们不再处处“差强人意”,而是学会了在不断扩展的输入集合上做到完全正确,然后迅速过渡到下一个集合。 首先处理二进制后缀以 001 结尾的输入,然后处理以 1011 结尾的输入,依此类推。
民间传说法学硕士不会算术,但这里的模型并没有产生幻觉。 近 90% 的错误都遵循两条简单易懂的规则,我们可以加以解释。 他们推理很谨慎——只是偶尔会跟着正确的兔子走进长度错误的隧道。
数学本身可以成为可解释性研究的新工具! 可解释性通常意味着逐个重量进行尸检。 但随着模型的增长,这就好比逐个神经元地绘制城市地图一样。 我们根据基本原理设计实验,然后解读结果。 数学就像显微镜。🔬
论文链接:htarxiv.org/pdf/2511.10811博客:https://t.co/5MifD6pmoT