인공지능 에이전트에 관한 기사 시리즈를 쓰기 전까지는 프롬프트 엔지니어링에 대해 많이 알고 있다고 생각했습니다. 하지만 막상 글을 써보니 프롬프트 엔지니어링에 대한 이해가 피상적이라는 것을 깨달았습니다. --- GPT-2는 15억 개의 매개변수를 가지고 있는 반면, GPT는 1억 1700만 개의 매개변수를 가지고 있습니다. GPT-2의 학습 데이터 크기는 40GB의 텍스트 데이터인 반면, GPT는 4.5GB에 불과합니다. 모델 크기와 훈련 데이터 크기의 이러한 10배 증가는 전례 없는 새로운 특성을 가져옵니다. 연구자들은 더 이상 단일 작업을 위해 GPT-2를 미세 조정할 필요가 없습니다. 대신, 미세 조정되지 않은 사전 학습된 모델을 특정 작업에 직접 적용할 수 있으며, 많은 경우 해당 작업에 맞게 특별히 미세 조정된 최첨단 모델보다 더 나은 성능을 보여줍니다. GPT-3는 모델 크기와 훈련 데이터 크기 모두에서 또 한 번 10배 이상의 향상을 이루었으며, 기능 면에서도 상당한 도약을 달성했습니다. 2020년 논문 "언어 모델은 소수 샘플 학습자이다(Few-Shot Learners)"는 모델에 적은 수의 작업 예제(소위 소수 샘플 예제)만 제공하면 모델이 입력의 패턴을 정확하게 재현하여 상상할 수 있는 거의 모든 언어 기반 작업을 수행할 수 있으며, 종종 매우 높은 품질의 결과를 얻을 수 있음을 보여줍니다. 바로 이 단계에서 사람들은 입력, 즉 프롬프트를 수정함으로써 모델이 필요한 특정 작업을 수행하도록 제한할 수 있다는 사실을 깨달았습니다. 프롬프트 엔지니어링은 바로 이 순간 탄생했습니다. ---
인간은 원래 그래요. 똑똑한 사람들은 키워드 하나만 줘도 거의 전체 이야기를 재구성할 수 있죠.