LLM은 박사 학위 수준의 지능을 갖추었다고 주장하지만, 여전히 평범한 업무에는 실패합니다. 이러한 어려움을 해결하기 위해 Databricks는 전문 지식이 아닌 신뢰성과 성실함을 요구하는 유용한 업무의 벤치마크인 OfficeQA를 출시했습니다. 또한, 경연 대회도 진행하고 있습니다! https://t.co/W8PFESKXAF
OfficeQA는 난해하거나 추상적인 지식을 테스트하지만 실제 업무에서 더 나은 성과로 이어지지는 않는 "초지능" 벤치마크와 대조됩니다. "초지능이 사무실에서 하루를 버틸 수 있을까?"라는 질문으로 해석할 수 있습니다.
OfficeQA는 신입생 누구나 안정적으로 업무를 수행할 수 있다고 믿기 때문에 훌륭하지만, 기업이 AI와 관련하여 겪는 어려움을 잘 보여줍니다. 최신 문서 AI 도구를 사용하면 에이전트의 업무 처리 능력이 조금 더 향상되지만, 여전히 개선의 여지가 많습니다. 연구자들에게 도움이 되기를 바랍니다!