来自 Alexander Doria（@Dorialexander）的推文线程

有趣的是，随着用例变得越来越复杂和成熟，我第一次开始受到模型规模的限制。300亿密集层或500亿到1500亿活跃层可能正成为一个最佳平衡点。

数学证明题仍然是我衡量数学水平的标准。如果哥德尔在32b题上达到了SOTA级别，那么这大概就是你目前解决最难数学题所需的一切。