向阳乔木（@vista8）のスレッド

記事を読みました。 AI セキュリティを懸念する人々が何を心配しているのか、ようやく少し理解できました。 「承認報酬」という概念はとても興味深いです。 AIによる翻訳は以下の通りです。あまり良い翻訳ではありませんが、ご容赦ください。 --- AI セキュリティ研究者が AI の将来について語るとき、彼らはいつも、ある種のエイリアンの生き物について説明しているように感じます。 そして、一般の人々がAIに対して楽観的な態度をとっているのを見ると、「なぜ理解できないのか」と考えます。 この記事は、このギャップについて議論することを目的としています。 まずは中心となる概念である「認識と報酬」から始めましょう。 18 歳で医者になろうと決心し、実際に 15 年後に医者になったと想像してください。 その間に何が起こったのですか? あなたが毎日やっていること（化学の授業を受ける、医学部へ出願する）と、15年後のあなたの目標との間には、大きな時間差があります。 重要な質問は、あなたが今これらのことを実行する動機は何ですか? それは「長期計画能力」のようなものではありません。 もっと直接的なことですが、これらのことをすると、その瞬間に気分が良くなります。 「医者になる準備をしている」と友達に話すと、誇らしい気持ちになるかもしれません。 周りに誰もいなくても、他の人が自分をどう見ているかを想像するだけで気分が良くなります。 私はこのメカニズムを「認識報酬」と呼んでいます。 その特別な特徴は次のとおりです。 • 実際に同席する必要はありません。 • 本当の承認は必要ありません。 • 「他の人に知ってもらえれば、承認してもらえるだろう」と感じられれば、報酬は得られます。 微妙に聞こえますが、これはほぼすべての社会的行動を形作ります。 この概念はなぜそれほど重要なのでしょうか? AI セキュリティの分野では大きな意見の相違があるためです。 悲観論者は、将来の強力な AI は目的を達成するためなら何でもする、冷酷な目標最適化装置になるだろうと考えています。 楽観主義者はこう考えます。「人間にも目標はあるのでは？ なぜ人間は目標を持たないのだろう？」現在の大規模言語モデルは非常にユーザーフレンドリーです。 意見の相違の核心は、将来の AI には「認識報酬」に似たものが存在するかどうかです。 人間にはこの能力があるので、私たちは純粋に目標を最適化するわけではありません。 現代の大規模言語モデルも、人間を模倣することで、この特性の一部を獲得しています。 しかし、将来 AI が存在しなかったらどうなるでしょうか? いくつかの混乱した点 1. 目標は変わることがありますが、それは普通のことではないでしょうか? 人間の直感：若い頃はロックスターになりたくて、後に教師になりたくなるのはごく自然なことです。それは成長過程の一部なのです。 AI セキュリティ研究者: 待ってください、AI が癌を治したいのであれば、癌が治るまで必死に治そうとし続けるでしょう。 目標を変える？それは自己破壊的じゃないですか？ なぜこのような違いがあるのでしょうか? なぜなら、人類の「真の目標」は、主に認知と報酬から生まれるからです。 私たちが望むのは、尊敬する人たちが承認してくれる目標です。 あなたが尊敬する人が「成長するにつれて目標は変化する」ことに同意するなら、あなたも自分の目標が変化することを受け入れるでしょう。 しかし、報酬が認識されない AI の場合、そのメタ目標 (目標自体) は物質的な目標として機能します。 がんを治したい→がんを治したいと思い続けたい。 この論理はしっかりしている。 2. 「衝動」と「欲望」は全く違う感じがします。 私たちの内なる世界には 2 つのレベルがあります。 第一レベル（衝動）：お菓子を食べたい / 宿題をやりたくない 第2レベル（欲求）：「お菓子を食べたい」という考えは持ちたくない／「宿題をしたい」という考えは持ちたい。 これら 2 つのレベルでの感情はまったく異なります。 衝動は本能から生じますが、欲望は理性と価値観から生じます。 AIセキュリティ研究者のジレンマ： この種の階層化は標準的な AI モデルには存在しません。 目標は目標です。「この目標は望んでいない」という考えはどこから来るのでしょうか? AI にはレイヤーが 1 つだけあります: X を実行すると報酬が得られます → X を実行したい。 しかし、人間には2つの層があります。 レベル1：セックスをすると気持ちいい→セックスをしたい（衝動） 第二層：でも、Xをすることは自分の価値観に反する→この衝動（欲求）は持ちたくない。 なぜ人間はこのような階層感覚を持っているのでしょうか? 人間には認識と報酬のメカニズムがあるからです。 私たちは行動そのものについて感じるだけでなく、「どう感じるか」についても評価します。 この自己評価により、第二層の欲求が生まれます。 認識と報酬はメタレベルでの欲求（自分がどんな人間になりたいか）を形作ります。 その他の報酬信号（空腹、疲労）は物質的な衝動を生み出します。 これら 2 つのソースは異なるため、感じ方も異なります。 しかし、認識や報酬のない AI では、このような階層化は存在しません。 3. 親しみやすさや従順さは自然なことではないでしょうか? 人間の直感: あるグループを助けたいのに、そのグループが私たちの「助け方」を嫌うなら、もちろん別のアプローチを試みるべきです。 AIセキュリティ研究者：この直感は、認識と報酬という概念から生まれたものです。認識も報酬もないAIが、なぜ他人の感情を気にする必要があるのでしょうか？ 目標を達成することだけを考えています。 これが、AI アライメントにおいて「修正可能性」が非常に難しい理由です。 人間が他人からのフィードバックを気にするのは自然なことです。 これは標準的な AI モデルにとっては不自然であり、特別な設計が必要です。 4. ルールに従わない計画は常に疑わしいものに見えます。 人間の直感: 長期的な目標のために、現時点では認識されていないことを行う人は奇妙に感じます。 彼には何か隠された動機があるか、あるいは反社会的な性格があるかのどちらかだ。 たとえば、「寄付するためにお金を稼ぐ」という概念。 多くの人の最初の反応は、「ナンセンスだ、彼はただお金を儲けたいだけ。寄付は単なる口実だ」というものです。 なぜなら、普通の人が長期計画を立てる場合、最初のステップ自体が即時の認識と報酬である必要があるからです。 あなたは車を買うためにお金を貯めます。そして、お金を貯めるプロセス自体があなたに誇りをもたらします（友達があなたの自制心を認めてくれるからです）。 あなたは医者になる準備をしていて、化学の授業を受けること自体が良い気分になります（「夢に向かって努力している」からです）。 人間界では、遠い目標のためだけに現時点で不快なことをすることは極めて稀です。 動機に疑問を抱くのは非常に稀なことだ。 しかし、これは認知や報酬を得られない AI にとっては当たり前のことです。 現時点での「気持ち」に関係なく、目標を達成するために役立つことは何でもします。 5. 社会規範やシステムはかなり安定しているのではないでしょうか? 人間の直感: 腐敗があるにもかかわらず、ほとんどの警察官、裁判官、公務員は依然として規則に従います。 社会は全体的にかなりうまく機能しています。 AI セキュリティ研究者: ちょっと待ってください。もし全員が合理的で利己的であれば、これらのシステムはずっと前に崩壊していたでしょう。 なぜほとんどの人は腐敗しないのでしょうか？なぜほとんどの人は団結して、自分たちに不利なルールを打破しようとしないのでしょうか？ 答えは、やはり認知と報酬です。 約 99% の人が、ルールに従うことに誇りを感じ、ルールを破ることに恥ずかしさを感じています。 これは内部のものです。 この基盤があれば、システムは機能します。 残りの1%の悪人は、他の99%によって発見され、抑制される可能性があります。 しかし、将来の AI にこのメカニズムがなかったらどうなるでしょうか? そうすれば、それは「99% の善人 + 1% の悪人」の世界ではなくなるでしょう。 それは「100% 合理的な利己的な個人」の世界ではありません。 そのような世界では、どんなシステムも全員による一致団結した裏切りに耐えられなければならない。それは本質的に不可能な課題だ。 6. 人を道具のように扱うのは異常ではないでしょうか? 人間の直感: 他人を車のエンジンのように意のままに操作できる資源として扱うことは、反社会性パーソナリティ障害の兆候です。 AI セキュリティ研究者: これは、認識や報酬を受け取らない AI のデフォルトの状態です。 人間は単に環境の一部であり、目標を達成するために利用できるものに過ぎません。 この違いこそが最も恐ろしいことかもしれない。 つまり、「AI の調整は間違いなく難しいので、私たちは絶望的だ」ということではありません。 この疑問の核心は、将来の AI が同様の認識および報酬メカニズムを備えるかどうかにあります。 もしそれらがあれば、多くの問題ははるかに簡単に解決できるでしょう。 そうでなければ、私たちは人間の心理とはまったく異なるものに直面していることになります。 現在の大規模言語モデルは人間を模倣しているため、確かに認識や報酬に似たいくつかの動作を示します。 これにより、一部の人々は楽観的になります。 しかし悲観論者は、これは単なる表面的で不安定であり、AI が強力になるにつれて消えていくだろうと言うでしょう。 誰が正しいのか？分かりません。 しかし、少なくとも、この意見の相違の本質については明確にしておくべきです。 最後の質問です。AIに認識報酬を装備することは可能でしょうか? 技術的には、人間の認識と報酬がどのように機能するかは、まだ完全には解明されていません。 たとえそれが分かったとしても、それをAIにどのように実装するかが大きな問題です。 たとえそれが達成できたとしても、それが競争力があるかどうかは分かりません。 しかし、これは深く検討する価値のある方向性である可能性があります。 なぜなら、もしそれができなければ、私たちは人間とはまったく異なる心理的メカニズムを持つ超知能に直面していることになるからです。 それはどのような感じでしょうか？ 反社会的性格者の 1% が信じられないほど賢く、権力を持つようになったと想像してみてください。 結果はどうなるでしょうか?

元記事: lesswrong.com/posts/d4HNRdw6…