Yangyi(@Yangyixxxx)의 스레드

제가 개인적으로 이해하는 AI 에이전트 평가 및 점수 산정 방식은 다음과 같습니다. 1. 내부 전문가 평가: 먼저, 해당 분야의 모든 지식, 서적 또는 방법론을 광범위하게 검색하여 전문가의 접근 방식을 찾습니다. 그런 다음, 이러한 접근 방식을 여러 차원으로 추상화하고 정량화하여 평가 프레임워크를 구축합니다. 다음으로, 우리는 방대한 사례 데이터 세트를 확보했고, 전문가들이 수동으로 점수를 매기도록 했습니다. 물론, 전문가 점수와 일치하도록 결과를 채점하는 에이전트를 학습시킬 수도 있습니다. 2. 모델 점수 평가: 이 특정 시나리오에서는 동일한 데이터 세트에 대해 여러 모델을 실행하여 점수 결과를 얻고, 이를 통해 해당 시나리오에 가장 적합한 최첨단(SOTA) 모델을 찾습니다. 3. 자사 상담원과 경쟁사 상담원의 성과를 나란히 비교하고 평가하십시오. 동일한 입력값을 사용하여 다양한 결과를 도출해 보세요. 그런 다음 1단계로 돌아가 특정 시나리오에서 자사 상담원과 경쟁사 상담원 간의 차이점을 분석하십시오. 4. 전문가 사용자 평가: 전문가 사용자를 찾아 그들의 평가 기준과 NPS(순평점수)를 수집하여 평가 체계를 반복적으로 최적화하고 개선합니다. ----- 일반 사용자가 제품을 평가할 수 있도록 허용하지 마십시오. 그렇게 하면 평가가 무효화됩니다. 일반 사용자에게 NPS에 대해 물어볼 수는 있지만, 전문가에게 일반인이 지시를 내리도록 해서는 안 됩니다. 제품이 좋은지 나쁜지는 전문가 사용자들이 판단할 수 있습니다. 여기 있는 전문가들은 단순히 내부 업계 전문가뿐만 아니라 외부 전문가 사용자들도 포함합니다. 전문 사용자들은 종종 여론 주도자이며, 그들의 선호도는 일반 대중에게 큰 영향을 미칠 수 있습니다. 즉, 이러한 사용자들은 일반 대중의 취향을 종합하는 역할을 하므로, 그들의 평가는 참고 자료로서 더욱 가치가 있습니다.