Dwarkesh Patel（@dwarkesh_sp）のスレッド

@karpathyさんに特に聞きたかったのは、自動運転車が素晴らしいデモ走行から実用化に至るまでに10年以上もかかった理由です。Andrejさんはテスラで5年間AI部門を率いていました。 私は、これらの摩擦が AGI のタイムラインを長くすることになるのか、それとも自動運転に特有のものなのかを本当に知りたかったのです。 運転には、故障時のコストが非常に高いという欠点があります。人間は驚くほど信頼できるドライバーであり、40万マイル（約64万キロメートル）走行するごとに、あるいは7年ごとに重大な事故が発生しています。自動運転車が実用化されるには、この安全性プロファイルに匹敵するか、それを上回る必要があります。 しかし、ほとんどの分野がそうなのでしょうか？ インタビュー前は、AGIを組み込む可能性のあるほぼすべての分野で、失敗のコストははるかに低いように思えました。もし完全に自律的なソフトウェアエンジニアが7年間もミスを許されないとしたら、導入は確かに非常に遅くなるでしょう。 Andrej は、私がこれまで聞いたことのない興味深い点を指摘しました。自動運転と比較して、ソフトウェア エンジニアリングでは失敗のコストが高く (潜在的に無制限) なるということです。 > 実際に製品レベルのコードを書いている場合、どんなミスでもセキュリティ上の脆弱性につながる可能性があります。何億人もの個人の社会保障番号が漏洩する恐れがあります。 > 自動運転では、何か問題が起きれば怪我をする可能性があります。もっと悪い結果も考えられます。しかし、ソフトウェアでは、どれほどひどい結果になるかはほぼ無限です。 > ある意味、ソフトウェアエンジニアリングは（自動運転よりもはるかに難しい問題です。自動運転は、人間が行う何千ものことの一つに過ぎません。まるで一つの垂直分野のようなものですね。一方、一般的なソフトウェアエンジニアリングについて話す場合、より広い範囲が対象となります。 LLMから広く普及しているAGIへの移行がはるかに早く起こる可能性がある理由は他にもあります。LLMは知覚、表現、そして常識（分布外の例に対処するため）を無料で提供してくれますが、自動運転車ではこれらをゼロから構築する必要がありました。この点についてAndrejに尋ねました。 > どれだけのものが無料で手に入るのか、私には分かりません。法学修士課程はまだかなり誤りやすく、埋めるべきギャップが山積しています。魔法のような一般化がすぐに得られるとは思えません。 > もう一つ触れておきたいのは、自動運転車の開発はまだ完全には終わっていないということです。実用化はごくわずかで、ウェイモでさえ車両数はごくわずかです。彼らは未来を見据えた製品を開発しました。未来を見据えた開発をせざるを得なかったのですが、その分、経済的な負担も大きくなってしまいました。 > また、これらの車を見ても誰も運転していないのに、想像以上に人間が関わっていることがわかります。ある意味、私たちは実際に人間を排除したわけではなく、見えない場所に移動させたのです。