宝玉（@dotey）のスレッド

イリヤはツイッターでインタビューの内容を明確にし、補足した。 インタビューで明確に述べられなかった点があるので、ここで付け加えておきます。 コンピューティング能力、データ、トレーニング環境の増強など、現在の方法でスケールアップを継続することで、確実にさらなる改善につながります。停滞することなく、改善を続けていくでしょう。 しかし、何か重要なものが常に欠けています。 これは誤解を正すためです。インタビューの中で彼は「研究時代に戻る」ことや「現在の手法は壁にぶつかる」といった発言を繰り返しており、スケーリング則について悲観的で、計算能力、データ、強化学習を積み重ね続けるだけでは効果がなくなると考えていると誤解されやすいでしょう。 彼はそうではないと言った。現在の道筋は今後も改善を続け、停滞することはない。モデルは今後も強化され、ベンチマークは上昇し続け、製品は改良を続け、会社は利益を上げ続けるだろう。 最後に「しかし」に注意してください。 どれだけスケールを変えても得られないものもあります。 短距離走のトレーニングのようなものです。トレーニングを続ければ、タイムは12秒から11.5秒、そして11秒、さらには10.9秒へと向上していきます。それが真の進歩です。しかし、もし目標が飛ぶことを学ぶことなら、どれだけ速く走っても意味がありません。飛ぶためには、全く異なる能力が必要なのです。 何が足りないですか? インタビューの内容に基づくと、この「重大な欠陥」とは、おそらく以下のことを指していると思われます。 1. 真の一般化能力とは、膨大な量のデータでトレーニングした後に多くのタスクを実行できることではなく、限られた経験から新しいことを素早く学習し、学習した内容が新しいシナリオでも安定して信頼できることを保証できることです。 2. 非常に効率的な学習者は、10時間で運転を習得し、数か月でプログラミングを習得して就業できるようになります。このレベルの効率性は、膨大なデータを用いた事前学習では達成できません。 インタビューで「二人の生徒」の例えは非常に示唆的です。1万時間練習した生徒は、確かに競技成績を向上させ続けることができます。上位10%から上位1%、そしてチャンピオンへと。それこそが真の進歩です。しかし、たった100時間の練習で「適性」を発揮する生徒には決してなれません。