我以為我很懂prompt engineering ， 直到我想完成一系列關於ai 智能體相關技術文章時， 我才明白， 我對prompt 工程也只是一知半解。 --- GPT-2 擁有15 億個參數，相較之下，GPT 只有1.17 億個參數；GPT-2 的訓練資料規模為40GB 文本，而GPT 僅為4.5GB。模型規模和訓練資料規模的這種數量級提升，帶來了一種前所未有的湧現能力（emergent quality）：研究人員不再需要為單一任務對GPT-2 進行微調，而是可以直接將未經微調的預訓練模型應用到具體任務上，並且在許多情況下，其表現甚至優於那些為該任務專門微調過的最先進模型。 GPT-3 在模型規模和訓練資料規模上又實現了一次數量級的提升，並伴隨著能力上的顯著飛躍。 2020 年發表的論文《Language Models Are Few-Shot Learners》 表明，只要給模型提供少量任務示例（即所謂的few-shot examples），模型就能夠準確復現輸入中的模式，從而完成幾乎任何你可以想像的、基於語言的任務——而且往往能夠得到質量非常高的結果。正是在這一階段，人們意識到：透過修改輸入內容──也就是提示（prompt）──就可以對模型進行條件約束，使其執行所需的特定任務。提示工程（prompt engineering）正是在這一刻誕生的。 ---
正在載入線程內容
正在從 X 取得原始推文，整理成清爽的閱讀畫面。
通常只需幾秒鐘，請稍候。