저는 LLM 에이전트가 단계별로 맥락을 "축약"하거나 요약하는 멋진 방법을 계속 보고 있습니다. 우리는 2020년 가을에 이 작업을 진행하면서 현재 사용되는 "축약된" 검색이라는 용어를 어떻게든 만들어냈습니다. 이는 추론 사슬에 대한 자체 학습 언어 모델의 매우 초기 사례를 보여줍니다.
이것은 자기회귀적 사고 사슬에 선행했기 때문에 여기서의 추론은 긴 검색 쿼리 사슬과 500만 개의 문서 코퍼스에서 추출한 스니펫입니다. HoVer의 점수는 오늘날까지도 현대 LLM의 프롬프트나 RL을 통해 맞추기가 매우 어렵습니다!
수염을 만드는 건 정말 힘들었어요. 최종 레시피만 해도 12개 모델을 순차적으로 훈련해야 했던 것 같아요. 이것이 DSPy를 개발하게 된 동기입니다. 이를 통해 모듈식 LLM 시스템/에이전트를 구축하고 모든 작업을 수행하지 않고도 자체적으로 학습할 수 있게 되었습니다.