我以為我很懂prompt engineering , 直到我想完成一系列關於ai 智能體相關技術文章時, 我才明白, 我對prompt 工程也只是一知半解。 --- GPT-2 擁有15 億個參數,相較之下,GPT 只有1.17 億個參數; GPT-2 的訓練資料規模為40GB 文本,而GPT 僅為4.5GB。 模型規模和訓練資料規模的這種數量級提升,帶來了前所未有的湧現能力(emergent quality): 研究人員不再需要為單一任務對GPT-2 進行微調,而是可以直接將未經微調的預訓練模型應用到具體任務上,並且在許多情況下,其表現甚至優於那些為該任務專門微調過的最先進模型。 GPT-3 在模型規模和訓練資料規模上又實現了一次數量級的提升,並伴隨著能力上的顯著飛躍。 2020 年發表的論文《Language Models Are Few-Shot Learners》 表明,只要給模型提供少量任務示例(即所謂的few-shot examples),模型就能夠準確復現輸入中的模式,從而完成幾乎任何你可以想像的、基於語言的任務——而且往往能夠得到質量非常高的結果。 正是在這一階段,人們意識到:透過修改輸入內容──也就是提示(prompt)──就可以對模型進行條件約束,使其執行所需的特定任務。提示工程(prompt engineering)正是在這一刻誕生的。 ---
人類就是這樣的, 聰明人, 只要你給說一個關鍵字, 他差不多可以給你把整件事還原出來。