AIエージェントに関する一連の記事を書こうとするまでは、プロンプトエンジニアリングについてかなり詳しいと思っていました。ところが、その時に、プロンプトエンジニアリングについて表面的な理解しか持っていなかったことに気づきました。 --- GPT のパラメータ数が 1 億 1,700 万であるのに対し、GPT-2 のパラメータ数は 15 億です。 GPT-2 のトレーニング データ サイズは 40 GB のテキストですが、GPT はわずか 4.5 GB です。 モデル サイズとトレーニング データ サイズのこの桁違いの増加により、前例のない新たな品質がもたらされます。 研究者はもはや、単一のタスクのためにGPT-2を微調整する必要はありません。代わりに、調整されていない事前学習済みモデルを特定のタスクに直接適用することができ、多くの場合、そのタスク向けに特別に微調整された最先端のモデルよりも優れたパフォーマンスを発揮します。 GPT-3 は、モデル サイズとトレーニング データ サイズの両方でさらに桁違いの改善を達成し、機能も大幅に向上しました。 2020 年の論文「言語モデルは少数のタスク例（いわゆる少数ショットの例）のみをモデルに提供することで、モデルは入力内のパターンを正確に再現し、想像できるほぼすべての言語ベースのタスクを達成でき、多くの場合非常に高品質の結果が得られることを示しています。 この段階で、入力、つまりプロンプトを変更することで、モデルを特定のタスクを実行するように制限できることが認識されました。プロンプトエンジニアリングはまさにこの瞬間に誕生したのです。 ---
人間はそういうものです。賢い人たちは、たった一つのキーワードを伝えれば、ほぼ全ての物語を再現することができます。