Structured RAG:企業級RAG 準確性的關鍵突破 在處理複雜企業資料時,傳統RAG 往往因準確性和完整性不足而暴露風險,@AI21Labs 發布的Structured RAG(結構化RAG,簡稱S-RAG)透過結構化資料處理和混合檢索機制,提供更可靠的答案產生。 傳統RAG 的「盲點」:為什麼企業級應用不可靠? RAG 已廣泛用於將外部文件注入LLM 以提升生成品質。但在企業場景中,它面臨三大挑戰,這些問題源自於其核心機制-基於嵌入向量的語意檢索(embedder-based RAG): 1. 聚合查詢難題:企業常需彙總數據,如「去年所有子公司中的最大資本支出是多少?」。傳統RAG 僅檢索相似文本片段餵給LLM,後者只能進行有限的算術推理,容易遺漏關鍵過濾、比較或聚合步驟,導致答案不完整或錯誤。 2. 窮盡覆蓋需求:如「列出所有2025年前到期的合同,罰款超100萬美元」。 RAG 的檢索是機率性的,僅傳回「相似」子集,無法保證全覆蓋。這在合規審計中可能釀成重大風險,遺漏一項就可能違反法規。 3. 密集語料陷阱:企業文件(如財務報告或監管文件)往往高度重複、屬性密集(如「total liabilities」 反覆出現)。嵌入相似性在此崩潰,檢索出大量噪音文檔,淹沒真正相關訊息,答案準確率大幅下降。 這些盲點並非技術瑕疵,而是RAG 設計初衷(處理鬆散、敘述性文字)與企業需求(精確分析、審計可追溯)的錯位。文章用基準測試佐證:在聚合查詢資料集上,傳統RAG 準確率僅約40%,遠低於企業容忍閾值。 Structured RAG:從非結構到精確推理的轉變為破解這些難題,引入S-RAG 作為「準確度修復」。 S-RAG 不是簡單疊加,而是將RAG 從純文字檢索轉向結構化資料庫驅動的推理框架。它在AI21 Maestro 企業AI 編排系統中實現,支援處理數百萬份文件。 工作原理簡述: · 攝取階段:系統自動分析文檔,識別recurring patterns(如財務報告中的「revenue」和「operating expenses」屬性),推斷或使用者自訂schema。然後,將非結構文字標準化(如將「1,000,000」統一為數字)和拆解為結構化記錄,同時保留原始文字連結以確保透明。 · 執行時期擷取:自然語言查詢被翻譯為SQL 語句執行於關聯式資料庫。例如,查詢「Netflix 2017年當前負債」可產生SQL:SELECT current_liabilities / 1000000 FROM SEC_Report WHERE company_name = 'netflix' AND fiscal_year = 2017,直接傳回精確值(如0.45億美元),而非模糊文字摘要。 · 混合檢索機制:並非所有查詢都適合結構化(如敘述性問題)。 S-RAG 先用SQL 縮小資料集(過濾無關項),再切換嵌入式RAG 處理複雜文字。這種「結構+語意」組合,避免了純嵌入的雜訊和遺漏。 優勢與效能驗證:從答案到決策的躍升 S-RAG 的核心價值在於將RAG 從「生成工具」提升為「決策智能體」。幾個優勢: · 準確率飆升:在聚合查詢上,提升60%;窮盡覆蓋查詢接近100%召回。基準測試(如FinanceBench 資料集)顯示,Maestro 的混合RAG 優於傳統RAG 和OpenAI Responses API,尤其在密集語料中表現突出。 · 企業級穩健性:自動schema 適應文件演進(如新監理要求),支援使用者編輯,確保控制。處理大量資料時,仍保持高效率和透明,減少「黑箱」風險。 · 實際影響:不止於答案生成,還能賦能複雜工作流程,如金融趨勢分析、供應商比較或合約審查。文章舉例:在子公司ARR 查詢中,S-RAG 精確聚合數據,避免傳統RAG 的「部分資訊」陷阱。 效能圖表進一步量化:在aggregative_questions 資料集,S-RAG 準確率達85% 以上,而嵌入式RAG 僅25%。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
