Andrej Karpathy（@karpathy）のスレッド

AI が経済に与える影響についての最近の興味深い会話を共有します。 AI は、電気、産業革命など、さまざまな歴史的前例と比較されてきましたが、最も強い類似点は、新しいコンピューティングパラダイム (ソフトウェア 2.0) としての AI であると私は考えます。なぜなら、どちらも基本的にはデジタル情報処理の自動化に関するものであるからです。 1980年代頃の雇用市場におけるコンピューティングの影響を予測するとしたら、タスク／仕事の最も予測力のある特徴は、そのアルゴリズムがどの程度固定されているか、つまり、単に暗記した、簡単に指定できるルール（例えば、タイピング、簿記、人間による計算など）に従って情報を機械的に変換するだけかどうかです。当時、これは当時のコンピューティング能力によって（手作業で）作成可能だったプログラムのクラスでした。 AIのおかげで、これまで手作業で書くことは到底不可能だった新しいプログラムを書くことができるようになりました。目標（例えば分類精度、報酬関数）を指定し、勾配降下法を用いてプログラム空間を探索し、その目標に対してうまく機能するニューラルネットワークを見つけます。これは、少し前に書いたソフトウェア2.0に関するブログ記事です。この新しいプログラミングパラダイムにおいて、注目すべき最も予測力の高い機能は検証可能性です。タスク／ジョブが検証可能であれば、直接または強化学習によって最適化でき、ニューラルネットワークを非常にうまく機能するように訓練することができます。AIが何かを「練習」できる範囲が重要です。環境はリセット可能（新しい試行を開始できる）、効率的（何度も試行できる）、そして報酬が与えられる（特定の試行に対して報酬を与えるための自動プロセスがある）必要があります。 タスク／ジョブが検証可能であるほど、新しいプログラミングパラダイムにおける自動化への適応性は高まります。検証不可能な場合は、ニューラルネットワークの魔法（願わくば一般化の魔法）から抜け出すか、模倣のようなより弱い手段を経由するしかありません。これが、法学修士（LLM）における進歩の「ギザギザ」なフロンティアを推進しているものです。検証可能なタスクは急速に進歩し、場合によってはトップエキスパートの能力を超えるもの（例えば、数学、コード、動画の視聴時間、正解のあるパズルのようなもの）も存在します。一方、他の多くのタスク（創造的、戦略的、現実世界の知識、状態、文脈、常識を組み合わせたタスク）は、それに比べて遅れをとっています。 ソフトウェア 1.0 では、指定できる内容を簡単に自動化できます。 ソフトウェア 2.0 では、検証できるものを簡単に自動化できます。