구조화된 RAG: 엔터프라이즈 수준 RAG 정확도의 핵심 혁신 복잡한 기업 데이터를 처리할 때 기존 RAG는 정확성과 완전성이 부족하여 종종 위험에 노출됩니다. @AI21Labs에서 출시한 구조화된 RAG(S-RAG)는 구조화된 데이터 처리와 하이브리드 검색 메커니즘을 통해 더욱 신뢰할 수 있는 답변 생성을 제공합니다. 기존 RAG의 "맹점": 엔터프라이즈 애플리케이션이 신뢰할 수 없는 이유는 무엇일까요? RAG는 생성 품질을 향상시키기 위해 외부 문서를 LLM에 삽입하는 데 널리 사용되어 왔습니다. 그러나 기업 환경에서는 핵심 메커니즘인 임베더 기반 RAG에서 비롯되는 세 가지 주요 과제에 직면합니다. 1. 집계된 질의의 어려움: 기업은 "작년 모든 자회사 중 가장 큰 자본 지출은 무엇이었습니까?"와 같은 데이터를 집계해야 하는 경우가 많습니다. 기존의 RAG는 유사한 텍스트 조각만 검색하여 LLM에 제공하는데, LLM은 제한된 산술 추론만 수행할 수 있고 주요 필터링, 비교 또는 집계 단계가 누락되어 불완전하거나 잘못된 답변을 도출하는 경우가 많습니다. 2. 포괄적인 보장 요건: "2025년 이전에 만료되고 벌금이 100만 달러를 초과하는 모든 계약을 나열하십시오."와 같은 RAG 검색은 확률론적이어서 "유사한" 계약의 일부만 반환하며, 완전한 보장을 보장할 수 없습니다. 이는 규정 준수 감사에서 심각한 위험을 초래할 수 있는데, 단 하나의 항목이라도 누락되면 규정 위반으로 이어질 수 있기 때문입니다. 3. 고밀도 코퍼스 함정: 기업 문서(재무 보고서나 규제 문서 등)는 종종 반복적이고 고밀도 속성을 가지고 있습니다(예: "총 부채"가 반복적으로 나타남). 이러한 경우 내재된 유사성이 붕괴되어, 실제로 관련 있는 정보를 가리는 불필요한 문서가 대량으로 검색되어 답변 정확도가 크게 떨어집니다. 이러한 맹점은 기술적 결함이 아니라, RAG의 원래 설계 의도(느슨하고 서술적인 텍스트 처리)와 기업의 요구(정밀한 분석, 감사 추적성) 간의 불일치입니다. 본 논문에서는 벤치마크 테스트를 통해 이를 뒷받침합니다. 집계된 쿼리 데이터 세트에서 기존 RAG의 정확도는 약 40%에 불과하며, 이는 기업의 허용 한계치에 크게 못 미칩니다. 구조화된 RAG: 비정형 추론에서 정밀 추론으로의 전환 – S-RAG를 "정확도 해결" 솔루션으로 도입하여 이러한 과제를 해결합니다. S-RAG는 단순한 오버레이가 아니라, 일반 텍스트 검색에서 구조화된 데이터베이스 기반 추론 프레임워크로의 전환입니다. AI21 Maestro Enterprise AI Orchestration System에 구현되어 수백만 개의 문서 처리를 지원합니다. 작동 원리에 대한 간략한 설명: • 수집 단계: 시스템은 자동으로 문서를 분석하고, 반복되는 패턴(예: 재무 보고서의 "수익" 및 "운영 비용" 속성)을 식별하며, 사용자 정의 스키마를 추론하거나 사용합니다. 그런 다음 비정형 텍스트를 표준화(예: "1,000,000"을 숫자로 통합)하고 구조화된 레코드로 분류합니다. 이때 투명성을 보장하기 위해 원본 텍스트 링크는 그대로 유지합니다. • 런타임 검색: 자연어 쿼리는 SQL 문으로 변환되어 관계형 데이터베이스에서 실행됩니다. 예를 들어, "Netflix의 2017년 현재 부채"를 쿼리하면 SELECT current_liabilities / 1000000 FROM SEC_Report WHERE company_name = 'netflix' AND fiscal_year = 2017 SQL이 생성되어 모호한 텍스트 요약이 아닌 정확한 값(예: $0.45 billion)을 직접 반환합니다. • 하이브리드 검색 메커니즘: 모든 질의가 구조화된 처리(예: 서사적 질문)에 적합한 것은 아닙니다. S-RAG는 먼저 SQL을 사용하여 데이터셋의 범위를 좁힌 후(관련 없는 항목 필터링), 복잡한 텍스트를 처리하기 위해 내장형 RAG로 전환합니다. 이러한 "구조 + 의미론"의 조합은 순수 내장형의 노이즈와 누락을 방지합니다. 장점 및 성능 검증: 답변에서 결정으로의 도약 S-RAG의 핵심 가치는 RAG를 "생성 도구"에서 "의사결정 지능형 에이전트"로 격상시키는 데 있습니다. 다음과 같은 장점이 있습니다. • 정확도 대폭 향상: 집계 쿼리 60% 향상, 전체 범위 쿼리 100% 재현율. FinanceBench 데이터셋과 같은 벤치마크 테스트 결과, Maestro의 하이브리드 RAG는 특히 고밀도 코퍼스에서 기존 RAG 및 OpenAI Responses API보다 우수한 성능을 보였습니다. 엔터프라이즈급 견고성: 문서 변화(예: 새로운 규제 요건)에 따른 자동 스키마 조정, 사용자 편집 지원, 그리고 확실한 제어 기능을 제공합니다. 방대한 양의 데이터를 처리하는 동시에 효율성과 투명성을 유지하여 "블랙박스" 문제 발생 위험을 줄입니다. • 실질적인 효과: 답변 생성을 넘어 재무 추세 분석, 공급업체 비교, 계약 검토와 같은 복잡한 워크플로우를 지원합니다. 예: 보조 ARR 쿼리에서 S-RAG는 데이터를 정확하게 집계하여 기존 RAG의 "부분 정보" 함정을 피합니다. 성능 차트는 이를 더욱 정량화합니다. aggregate_questions 데이터 세트에서 S-RAG는 85% 이상의 정확도를 달성하는 반면, 내장형 RAG는 25%에 불과합니다.
