LLM（法学修士）は博士号レベルの知能を持つと言われていますが、それでも日常的なタスクはこなせません。この課題を理解するために、Databricksは専門知識ではなく信頼性と勤勉さを必要とする有用なタスクのベンチマークであるOfficeQAを立ち上げました。コンテストも開催中です！ https://t.co/W8PFESKXAF
OfficeQAは、難解または抽象的な知識をテストする一方で、必ずしも実際の業務でのパフォーマンス向上にはつながらない「スーパーインテリジェンス」ベンチマークとは対照的です。一つの見方は、「ASIはオフィスで1日を乗り切れるか？」です。
OfficeQAは、新卒者でも確実にタスクをこなせるという点で優れていますが、企業がAIを活用する上での課題も浮き彫りにしています。最新のドキュメントAIツールを搭載したElaborateエージェントは、もう少し優れたパフォーマンスを発揮しますが、まだ改善の余地は十分にあります。研究者の方々にとって、このツールが役立つことを願っています。