有趣的是,随着用例变得越来越复杂和成熟,我第一次开始受到模型规模的限制。300亿密集层或500亿到1500亿活跃层可能正成为一个最佳平衡点。数学证明题仍然是我衡量数学水平的标准。如果哥德尔在32b题上达到了SOTA级别,那么这大概就是你目前解决最难数学题所需的一切。