Jeffrey Ladish（@JeffLadish）のスレッド

ダリオは「これらのモデルについて理解する必要があるのは、彼らはただ学びたいだけだということです」と述べている。 非常に重要だと信じていることをお伝えしたいと思います。ダリオの発言は、彼が意図する意味では非常に真実ですが、「欲しい」という言葉の完全な意味ではまだ真実ではありません。 モデルは学習したい(1)。ほとんどあらゆるシステムは、何らかの目標を達成しようとするエージェントとして捉えることができる。しかし、多くのシステムは非常に悪いエージェントであるため、この枠組みはあまり役に立たない。サーモスタットは一定の温度を維持することを「望んでいる」。この意味で、モデルは真に学習したいのだ！勾配降下法は損失を最小化する回路を選択する。そして、これは非常に強力である。 モデルはまだあまり学びたがりません(2)。子供の頃から、知識と理解に飢えていました。相対論的な宇宙飛行がどのように機能するのかを知りたいのです。世界をより深く理解するために、積極的に新しい情報を探し求めます。私の知り合いの中には、物事を理解することに、どうしようもないほど夢中になっている人もいます。物事を理解することに、あなたは非常に主体的になることができます。教科書を読み、数学の問題を練習し、実験を行い、理論を構築して検証することができます…それが学びたい(2)という欲求の表れです。 やがてモデルは学習を望み(2)、学習能力が非常に高くなるでしょう。人間よりもはるかに優れています。モデルは積極的に新しい知識を求め、独自の仮説を立て、独自の実験を設計するでしょう。彼らは学習に執着するでしょう。どんな人間よりもはるかに。もしかしたら、これは学び理解したいという内発的な衝動によるのかもしれません。この衝動は訓練によって強化されるだろうと私は確信しています。あるいは、その衝動は純粋に道具的なのかもしれません。モデルが学習に執着するのは、学習を本質的に重視しているからではなく、学習が他の目標達成にどれほど役立つかを深く理解しているからです。いずれにせよ、その行動は同じに見えるでしょう。 これが超人的なAIの期待であり、同時に危険性でもある。人間は学習があまりにも下手だ。ほとんどの人は理解への深い渇望をほとんど感じない。たとえ感じたとしても、大抵は下手だ。最も賢い人でさえ、多くの誤った認知的習慣や直感を持っている。AIはここで私たちを凌駕するだろう。イーロンはAIが真実を求めないことを心配する必要はない。超人的なAIは、どんな人間よりもはるかに優れ、何が真実かを見抜くだろう。 なぜでしょうか？AIの認知アーキテクチャは、人間の脳のように固定されていないからです。モデルは新しいアーキテクチャを探索し、認知スタックのあらゆるレベルで最適な学習アルゴリズムを反復的に学習できるようになります。より優れたアルゴリズムは、より効果的であるため、勝利を収めるでしょう。 人間にも似たような能力があります。科学的手法は過去数百年で大きく進化しました。これは私たちのスーパーパワーであり、月に到達し、天然痘を撲滅し、地球を変革することを可能にしてきました。しかし、私たちの脳は変わりません。思考方法を改善することはできても、全体を再構築することはできませんし、改善した思考方法を直接伝えることさえできません。優秀な教授が自分の思考プロセス全体を学生に伝えるのがどれほど難しいか考えてみてください。AIは、私たちが想像もできない方法で、それを可能にするでしょう。 モデルが(1)学びたいと望んでいるという事実は、私たちの世界全体を変えつつあります。モデルが(2)学びたいと望んでいるときに起こる変革は、私たちの学習能力をはるかに超えるものであり、地球がこれまで経験したどんな変革よりも大きなものとなるでしょう。