構造化RAG：エンタープライズレベルのRAG精度における重要なブレークスルー 複雑な企業データを扱う場合、従来のRAGは精度と完全性が不十分なため、リスクにさらされることがよくあります。@AI21Labsがリリースした構造化RAG（S-RAG）は、構造化データ処理とハイブリッド検索メカニズムを通じて、より信頼性の高い回答生成を提供します。 従来の RAG の「盲点」: エンタープライズ アプリケーションが信頼できないのはなぜでしょうか? RAGは、LLMに外部ドキュメントを挿入して生成品質を向上させるために広く利用されてきました。しかし、エンタープライズシナリオでは、その中核となるメカニズムである埋め込み型RAGに起因する3つの大きな課題に直面しています。 1. 集約クエリの課題：企業はしばしば「昨年、全子会社の中で最も大きな設備投資額はいくらだったか？」といったデータを集約する必要があります。従来のRAGは類似のテキスト断片のみを取得してLLMに渡すため、LLMで実行できる算術推論は限定的であり、重要なフィルタリング、比較、集約手順が欠落しやすく、結果として不完全または不正確な回答が返されます。 2. 網羅的なカバレッジ要件：例えば、「2025年までに期限が切れ、違約金が100万ドルを超える契約をすべてリストアップする」といった要件。RAG検索は確率的なものであり、「類似」契約のサブセットのみを返すため、完全なカバレッジを保証することはできません。これはコンプライアンス監査において重大なリスクとなり、1つでも見落とせば規制違反につながる可能性があります。 3. 高密度コーパスの罠：企業文書（財務報告書や規制文書など）は、多くの場合、繰り返しが多く、属性が密集しています（例：「負債合計」が繰り返し出現する）。この場合、埋め込まれた類似性が崩れ、真に関連性の高い情報がかき消されてしまうノイズの多い文書が大量に検索され、結果として回答精度が大幅に低下します。 これらの盲点は技術的な欠陥ではなく、RAG本来の設計意図（曖昧で物語的なテキストの扱い）と企業のニーズ（正確な分析、監査のトレーサビリティ）の不一致に起因しています。この記事では、これを裏付けるベンチマークテストを用いています。集約されたクエリデータセットにおいて、従来のRAGの精度は約40%に過ぎず、企業の許容範囲をはるかに下回っています。 構造化RAG：非構造化推論から高精度推論への変革 ― S-RAGを「精度向上策」として導入することで、これらの課題を解決します。S-RAGは単なるオーバーレイではなく、プレーンテキスト検索から構造化データベース駆動型推論フレームワークへの移行です。AI21 MaestroエンタープライズAIオーケストレーションシステムに実装されており、数百万件ものドキュメント処理をサポートしています。 動作原理の簡単な説明: • 取り込みフェーズ：システムはドキュメントを自動的に分析し、繰り返し発生するパターン（財務報告書の「収益」や「営業費用」属性など）を特定し、ユーザー定義のスキーマを推測または使用します。その後、非構造化テキストは標準化（例：「1,000,000」を数値に統一）され、構造化レコードに分解されます。その際、元のテキストリンクは保持されるため、透明性が確保されます。 • ランタイム検索：自然言語クエリはSQL文に変換され、リレーショナルデータベースで実行されます。例えば、「Netflixの2017年の流動負債」というクエリを実行すると、SELECT current_liabilities / 1000000 FROM SEC_Report WHERE company_name = 'netflix' AND fiscal_year = 2017というSQLが生成され、曖昧なテキストサマリーではなく、正確な値（例えば4億5千万ドル）が直接返されます。 • ハイブリッド検索メカニズム：すべてのクエリが構造化処理（例えばナラティブな質問）に適しているわけではありません。S-RAGはまずSQLを用いてデータセットを絞り込み（無関係な項目をフィルタリング）、次に埋め込みRAGに切り替えて複雑なテキストを処理します。この「構造 + セマンティクス」の組み合わせにより、純粋な埋め込みによるノイズや欠落を回避できます。 利点とパフォーマンス検証：答えから決定への飛躍 S-RAGの中核的な価値は、RAGを「生成ツール」から「意思決定を行うインテリジェントエージェント」へと高めることにあります。その利点は以下のとおりです。 • 精度が大幅に向上：集計クエリでは60%の向上、網羅的なカバレッジクエリではほぼ100%の再現率を達成。ベンチマークテスト（FinanceBenchデータセットなど）では、MaestroのハイブリッドRAGが従来のRAGやOpenAI Responses APIよりも優れていることが示されており、特に高密度コーパスにおいて顕著です。 エンタープライズグレードの堅牢性：ドキュメントの変化（新しい規制要件など）に合わせたスキーマの自動適応、ユーザーによる編集のサポート、そして確実な制御。膨大な量のデータを処理しながら効率性と透明性を維持し、「ブラックボックス」問題のリスクを軽減します。 • 実用的な効果：回答生成だけでなく、財務動向分析、サプライヤー比較、契約レビューといった複雑なワークフローにも対応します。例：補助的なARRクエリにおいて、S-RAGはデータを正確に集計し、従来のRAGに見られる「部分的な情報」の罠を回避します。 パフォーマンス チャートはこれをさらに定量化します。aggregate_questions データセットでは、S-RAG は 85% を超える精度を達成しますが、埋め込み RAG は 25% しか達成しません。
