Mr Panda(@PandaTalk8)의 스레드

인공지능 에이전트에 관한 기사 시리즈를 쓰기 전까지는 프롬프트 엔지니어링에 대해 많이 알고 있다고 생각했습니다. 하지만 막상 글을 써보니 프롬프트 엔지니어링에 대한 이해가 피상적이라는 것을 깨달았습니다. --- GPT-2는 GPT의 1억 1700만 개에 비해 훨씬 많은 15억 개의 파라미터를 자랑하며, 학습 데이터 크기 또한 GPT의 4.5GB에 비해 40GB에 달합니다. 모델과 학습 데이터 크기의 이러한 10배가 넘는 증가는 전례 없는 새로운 성능을 가져옵니다. 연구자들은 더 이상 특정 작업을 위해 GPT-2를 미세 조정할 필요 없이, 조정되지 않은 사전 학습된 모델을 특정 작업에 직접 적용할 수 있으며, 많은 경우 해당 작업에 맞게 미세 조정된 최첨단 모델보다 뛰어난 성능을 보여줍니다. GPT-3는 모델 크기와 훈련 데이터 규모에서 또 한 번 10배 이상의 향상을 이루었으며, 그에 따른 성능 향상도 두드러졌습니다. 2020년 논문 "언어 모델은 소수의 예제만으로 학습할 수 있다(Language Models Are Few-Shot Learners)"에서는 모델에 소수의 작업 예제(소위 소수 예제)만 제공하더라도 입력의 패턴을 정확하게 재현하여 거의 모든 언어 기반 작업을 수행할 수 있으며, 종종 매우 높은 품질의 결과를 얻을 수 있음을 보여주었습니다. 바로 이 시점에서 입력, 즉 프롬프트를 수정함으로써 모델이 특정 작업만 수행하도록 조건부 제약을 가할 수 있다는 사실이 밝혀졌습니다. 프롬프트 엔지니어링은 바로 이 순간 탄생했습니다. ---