Viv(@Vtrivedy10)의 스레드

evals에 의해 주도되는 루프 내 인간+에이전트와 함께 반복적인 하네스 디자인을 좋아하는 팬 예시 워크플로: 1. 기준 에이전트 하네스를 만듭니다(단순화를 위해 프롬프트+도구라고 가정). 2. 일련의 평가에 대해 에이전트를 실행하고 추적 데이터를 수집합니다. 이는 사람이 분석하기에는 너무 많은 데이터일 수 있으므로, 에이전트를 활용하여 도움을 받되, 에이전트가 제대로 작동하도록 안내하세요. 3. "데이터 마이닝": 다른 심사 담당자를 통해 해당 흔적을 마이닝하고, 무엇을 찾고 있는지 명확히 하십시오. 흥미로운 패턴으로는 반복되는 패턴을 찾기 위한 흔적 계층화, 도구 호출 실패에 대한 통계 계산 등이 있습니다. 4. 이번 데이터 마이닝에서 얻은 도구와 프롬프트를 개선하세요. 이제 데이터를 확보했으니 다음 재작성을 위한 방향을 제시하세요. 이는 무엇이 효과적이고 무엇이 효과적이지 않은지를 명확히 보여주는 신호입니다. 5. 포화 상태가 될 때까지 반복합니다. 원하는 경우, 여러 하네스와 모델에서 이 프로세스를 병렬로 실행할 수 있습니다. 이는 인간과 에이전트의 가장 뛰어난 부분을 강화합니다. 에이전트는 뛰어난 패턴 매칭 능력을 갖추고 있어 방대한 양의 데이터를 빠르게 처리할 수 있습니다. 인간은 하네스 업데이트 과정을 안내할 직관과 전문 지식을 보유하고 있습니다. 평가는 우리에게 언덕 오르기(hill climb)에 대한 지표를 제공합니다.