正在阅读一本老书，但仍然很棒：《用棋盘游戏进行缩放定律》（2021 年），作者是 @andy_l_jones。 它因能够预测推理规模而闻名。 但这还不是论文中最有趣的发现！ Andy 正在探索三个不同事物之间的关系：训练计算、测试时间计算和问题复杂度。 而他对问题复杂性（又称棋盘大小）的研究成果最为有趣。 例如，你可能会问，随着游戏棋盘尺寸的增大，从随机游戏到完美游戏的计算是如何扩展的？ 他发现计算能力提升一个数量级就能获得 500 分的 Elo 积分，无论棋盘大小如何。 真奇怪！我本来可以编个故事，说问题越难，取得进展就越困难。但实际上并非如此。 我没有看到公开证据表明这一发现是否能推广到其他领域，或者它是否只是 Hex（安迪正在训练的游戏）搜索空间的产物。 但如果这种现象具有普遍性，那么它将对通用人工智能产生一些重大影响。 世界极其复杂，远超围棋或国际象棋的范畴。你或许会认为，即便人工智能的计算能力是人类的十倍，其水平也依然会与人类相差无几。但事实上，人工智能从“村里的傻瓜”跃升至“超级人工智能”（ASI）所需的计算能力提升幅度，或许与AlphaGo从3000 Elo等级分飙升至3500 Elo等级分所需的提升幅度相当。（请记住，Elo等级分的线性增长对应于获胜概率的指数级增长。） 说清楚点，我觉得我们离“村里的傻子”还差得远。但一旦我们达到那个水平，可能只需要再增加一个数量级的计算能力就能达到“高级科学指数”（ASI）的水平。 --- 其他一些有趣的要点： 1. 更高的智能仅仅是拥有更丰富的策略吗？还是说，其核心存在某种单一的、连贯的、原子性的要素？至少在《Hex》这款游戏中，似乎是前者： “性能随计算能力提升而扩展的方式是，计算能力是对手两倍的智能体大约有三分之二的胜率。这种行为与一个玩具模型惊人地相似，在这个玩具模型中，每个玩家选择与其计算能力相同的随机数，随机数最多的玩家获胜。在这个玩具模型中，计算能力翻倍，随机数的数量也翻倍，获得最大随机数的概率为三分之二。这表明，Hex 复杂的博弈机制实际上可能简化为每个智能体拥有与其计算能力成比例的策略‘池’，选择更优策略的玩家获胜。” 2. 我想再仔细思考一下这个问题： “我们最初的直觉是，测试时计算比训练时计算‘便宜’得多，因此我们很惊讶两者竟然可以轻易互相替代。但经过反思，我们认为关键区别在于，测试时的优化只需要针对一个样本进行优化，而训练时的计算则必须针对所有样本的分布进行优化。” --- 总之，非常值得从头到尾读一遍。链接如下。
