正在閱讀一本老書，但仍然很棒：《用棋盤遊戲進行縮放定律》（2021 年），作者是 @andy_l_jones。 它因能夠預測推理規模而聞名。 但這還不是論文中最有趣的發現！ Andy 正在探索三個不同事物之間的關係：訓練計算、測試時間計算和問題複雜度。 而他對問題複雜度（又稱棋盤大小）的研究成果最為有趣。 例如，你可能會問，隨著遊戲棋盤尺寸的增大，從隨機遊戲到完美遊戲的計算是如何擴展的？ 他發現運算能力提升一個數量級就能獲得 500 分的 Elo 積分，無論棋盤大小如何。 真奇怪！我本來可以編個故事，說問題越難，要取得進展就越困難。但實際上並非如此。 我沒有看到公開證據表明這項發現是否能推廣到其他領域，或者它是否只是 Hex（安迪正在訓練的遊戲）搜尋空間的產物。 但如果這種現象具有普遍性，那麼它將對通用人工智慧產生一些重大影響。 世界極為複雜，遠遠超過圍棋或西洋棋的範疇。你或許會認為，即便人工智慧的運算能力是人類的十倍，其等級仍會與人類相差無幾。但事實上，人工智慧從「村裡的傻瓜」躍升至「超級人工智慧」（ASI）所需的運算能力提升幅度，或許與AlphaGo從3000 Elo等級分飆升至3500 Elo等級分所需的提升幅度相當。 （請記住，Elo等級分的線性增長對應於獲勝機率的指數級增長。） 說清楚點，我覺得我們離「村裡的傻子」還差得遠。但一旦我們達到那個水平，可能只需要再增加一個數量級的運算能力就能達到「高級科學指數」（ASI）的水平。 --- 其他一些有趣的要點： 1. 更高的智能只是擁有更豐富的策略嗎？還是說，其核心存在某種單一的、連貫的、原子性的要素？至少在《Hex》這款遊戲中，似乎是前者： 「性能隨運算能力提升而擴展的方式是，計算能力是對手兩倍的智能體大約有三分之二的勝率。這種行為與一個玩具模型驚人地相似，在這個玩具模型中，每個玩家選擇與其計算能力相同的隨機數，隨機數最多的玩家獲勝。在這個玩具模型中，計算能力表明，隨機數的數量也翻倍，獲得最大隨機數的概率為三分之二翻倍，Hex數的概率為三分之二。複雜的博弈機制實際上可能簡化為每個智能體擁有與其計算能力成比例的策略‘池’，選擇更優策略的玩家獲勝。 2. 我想再仔細思考這個問題： 「我們最初的直覺是，測試時計算比訓練時計算‘便宜’得多，因此我們很驚訝兩者竟然可以輕易互相替代。但經過反思，我們認為關鍵區別在於，測試時的優化只需要針對一個樣本進行優化，而訓練時的計算則必須針對所有樣本的分佈進行優化。” --- 總之，非常值得從頭到尾讀一遍。連結如下。
