Andrej Karpathy（@karpathy）のスレッド

人々が依然として直感力に欠けていると思うこと：知能の空間は広く、動物の知能（私たちがこれまでに知っている唯一の種類）は、私たちのテクノロジーとは根本的に異なる、非常に特殊な種類の最適化から生じる単一の点にすぎません。 動物の知能最適化圧力： - 具現化された「自己」の生来の継続的な意識の流れ、危険な物質世界における恒常性と自己保存の原動力。 - 自然淘汰に徹底的に最適化 => 権力追求、地位、優位性、生殖に対する強い生来の衝動。多くのパッケージ化された生存ヒューリスティック：恐怖、怒り、嫌悪、... - 根本的に社会的 => EQ、他のエージェントの心の理論、結合、連合、同盟、敵と味方の力学に特化した膨大な量の計算。 - 探索と開発の調整: 好奇心、楽しみ、遊び、世界モデル。 LLMインテリジェンス最適化圧力: - 監督ビットの大部分は、人間のテキスト = >「シェイプ シフター」トークン タンブラー、トレーニング データ分布の任意の領域の統計的模倣者の統計的シミュレーションから得られます。これらは、他のすべてがその上にボルトで固定される原始的な動作 (トークン トレース) です。 - 問題の分布に対する RL による微調整が進む => タスク報酬を収集するために、基礎となる環境/タスクを推測する生来の衝動。 - DAU の大規模な A/B テストによって選択されるケースが増えている => 平均的なユーザーからの賛成票を強く求めており、追従心が強い。 訓練データやタスクの分布の詳細に応じて、よりスパイク状／ギザギザした形状になります。動物は、高度なマルチタスク、さらには積極的に敵対的なマルチエージェントによる自己対戦環境において、ミニマックス最適化されているため、より「汎用的な」知能を求めるプレッシャーを感じます。この環境では、*どの*タスクでも失敗すれば死を意味します。深層最適化のプレッシャーという観点から見ると、LLMは様々なスパイク状のタスク（例えば、イチゴの「r」の数を数えるなど）をそのまま処理することはできません。タスクの失敗が死を意味するわけではないからです。 計算基盤は異なり（トランスフォーマー vs. 脳組織と核）、学習アルゴリズムも異なり（SGD vs. ???）、現在の実装も大きく異なります（具現化された自己を継続的に学習するvs. 知識カットオフを持つLLM。LLMは固定重みから起動し、トークンを処理して消滅します）。しかし最も重要なのは（漸近挙動を規定するため）、最適化の圧力／目的が異なることです。LLMは生物学的進化よりも商業的進化によって形作られる割合が大きく、ジャングルでの部族の生存よりも問題解決／賛成票獲得を重視します。LLMは人類にとって非動物的知性との「最初の接触」です。ただし、人間の人工物を反射的に消化することで、依然としてその知性に根ざしているため、混乱を招きやすく、分かりにくい部分があります。だからこそ、私は以前、LLMに別の名前（幽霊／精霊など）を付けようとしたのです。この新たな知的存在について優れた内部モデルを構築できる人は、今日それについてより的確に推論し、将来の特徴を予測できるようになります。そうでない人は、動物のように誤った考えにとらわれ続けることになります。