リッチ・サットンが「苦い経験のないスーパーインテリジェンスのビジョン」を詳しく説明する準備をしている（彼がここで言っているのは、苦い教訓を尊重しているということだけで、私たち全員に巻き起こるような副次的な苦い経験ではないということらしい😋）#NeurIPS2025
「オプション」についてですが、これはSTRIPSマクロ演算子のMDP一般化です。これらに関する課題は、どのように作成するかという点ではなく（選択肢が多すぎるため）、有用なものだけを残し、不要なものを捨てる方法、いわゆる「ユーティリティ問題」です。
こうした「エージェントに独自の抽象化を発見させる」という手法に関して私が懸念しているのは、その抽象化が私たちが開発したものと一致しない可能性があり、その結果、整合問題が悪化するのではないかということです。
*ふぅ* リッチがプランニングにグリーンチェックを入れてくれて嬉しい！でも、正直なところ、「プランニング」とはエージェントが既に持っている遷移モデルをポリシーに変換することだというのは同意する。でも、プランニングと学習を切り離すのは難しい場合が多いんだよね… https://t.co/72HjXOJ1G6 参照 #NeurIPS2025
気楽な話ですが、聴衆の中で「トランジションモデル」が法学修士課程でよく使われる「ワールドモデル」の現実世界での名称に過ぎないことに気づいている人がどれくらいいるでしょうか。#NeurIPS2025 [また、Richが「倫理的な行動には死への恐怖が必要か」という質問に対して「いいえ、それは私の講演とは関係ありません」と一蹴したのも良かったです。]
要約: Rich 氏の #NeurIPS2025 講演では、「LLM があれば十分」という人々に、実際の経験から学ぶという課題にもっと注意を払うよう勧めています。しかし、私見では、彼は既存の人間の知識に従いながらそれを実行することの難しさを過小評価しています。 https://t.co/85IfNVLC3j
純粋に自身の経験から学習するエージェントを私たちの価値観に合わせることがどれほど難しいかを、人々は過小評価しています。LLMアライメントは一種の家内工業化していますが、それに比べれば子供の遊びに過ぎません！ #NeurIPS2025