古くて良い本を読みました: @andy_l_jones 著『Scaling Scaling Laws with Board Games (2021)』。 推論のスケーリングを予測することで有名です。 しかし、それはこの論文の中で最も興味深い発見ではありません。 Andy は、トレーニングのコンピューティング、テスト時間のコンピューティング、問題の複雑さという 3 つの異なる要素の関係を調査しています。 そして、問題の複雑さ (つまりゲームボードのサイズ) に関する彼の調査結果が最も興味深いです。 たとえば、ゲームボードのサイズを大きくすると、ランダムプレイから完璧なプレイに至るまでの計算はどのようにスケールされるのか、と疑問に思うかもしれません。 そして、彼はそれが同じようにスケールすることを発見しました。ゲームボードの大きさに関係なく、計算能力が1桁向上すると、Eloポイントが500ポイントも増えるのです。 変ですね！問題が難しくなるにつれて、段階的な進歩も難しくなる、という話をすればよかったのですが、実際はそうではありません。 この発見が他のドメインにも一般化できるのか、それとも Hex (Andy がトレーニングしているゲーム) の探索空間の産物にすぎないのかについては、公開されている証拠をまだ見ていません。 しかし、もしそれが一般化すれば、AGI にとって劇的な意味を持つことになります。 世界には計り知れないほどの複雑さがあります。囲碁やチェスよりもはるかに複雑です。そのため、人間レベルのAIで10倍の計算能力を持っていても、人間レベルにとどまるだろうと思われるかもしれません。しかし実際には、村の愚か者からASIへと急上昇するには、AlphaGoがElo 3000から3500へと急上昇するのに要したのと同じくらいの相対的な計算能力の増加が必要なのかもしれません。（Eloの線形増加は、勝率の指数関数的な増加に対応することを覚えておいてください。） はっきり言って、私たちはまだ「村のバカ」レベルには程遠いと思っています。でも、そこまで到達すれば、ASIレベルに到達するには、あと1桁の計算能力が必要になるかもしれません。 --- その他の興味深いポイント: 1. より優れた知能とは、単に戦略のプールが大きくなるだけなのでしょうか？それとも、その中心には何か単一の、まとまりのある、原子的な何かがあるのでしょうか？少なくともHexでは、前者のようです。 パフォーマンスが計算能力に応じて変化する仕組みは、対戦相手の2倍の計算能力を持つエージェントが、およそ3分の2の確率で勝てるというものです。この動作は、各プレイヤーが計算能力と同じ数の乱数を選択し、最も高い数値を持つプレイヤーが勝利するというトイモデルの動作と驚くほど似ています。このトイモデルでは、計算能力を2倍にすると、抽出する乱数の数も2倍になり、最大の数値を持つ確率は3分の2です。これは、Hexの複雑なゲームプレイが、実際には各エージェントが計算能力に比例した戦略の「プール」を持ち、より優れた戦略を選んだ者が勝利するという形に簡略化される可能性があることを示唆しています。 2. このことについてもう少し考えてみたいと思います。 私たちは、テスト時のコンピューティングはトレーニング時のコンピューティングよりもはるかに「安価」だと直感していたため、どちらかが簡単に代替できることに驚きました。しかし、よく考えてみると、重要な違いは、テスト時の最適化では1つのサンプルのみを最適化すればよいのに対し、トレーニング時のコンピューティングではサンプルの分布全体を最適化する必要があることだと考えています。 --- とにかく、最後まで読む価値は十分あります。リンクは下記です。
