Mr Panda（@PandaTalk8）のスレッド

AIエージェントに関する一連の記事を書こうとするまでは、プロンプトエンジニアリングについてかなり詳しいと思っていました。ところが、その時に、プロンプトエンジニアリングについて表面的な理解しか持っていなかったことに気づきました。 --- GPT-2は15億のパラメータを誇り、GPTは1億1700万です。また、GPT-2の学習データサイズは40GBのテキストであるのに対し、GPTはわずか4.5GBです。モデルと学習データサイズのこの桁違いの増加は、前例のない新たな品質をもたらします。研究者はもはや個々のタスクのためにGPT-2を微調整する必要はなく、調整されていない事前学習済みモデルを特定のタスクに直接適用できるようになり、多くの場合、そのパフォーマンスは、そのタスク向けに特別に微調整された最先端のモデルを凌駕します。 GPT-3は、モデルサイズとトレーニングデータ規模においてさらに桁違いの改善を達成し、機能面でも飛躍的な進歩を遂げました。2020年の論文「言語モデルは少数のタスク例（いわゆる少数ショット例）をモデルに与えるだけで、入力のパターンを正確に再現し、考えられるほぼあらゆる言語ベースのタスクを実行できることを実証しました。しかも、非常に高品質な結果が得られることも少なくありません。この段階で、入力、つまりプロンプトを変更することで、モデルを特定のタスクを実行するように条件付きで制約できることが認識されました。プロンプトエンジニアリングは、まさにこの瞬間に誕生したのです。 ---