RAG estruturado: um avanço fundamental na precisão do RAG em nível empresarial. Ao lidar com dados empresariais complexos, os RAGs tradicionais frequentemente apresentam riscos devido à precisão e completude insuficientes. O RAG Estruturado (S-RAG), lançado pela @AI21Labs, oferece geração de respostas mais confiáveis por meio do processamento de dados estruturados e mecanismos de recuperação híbridos. O "ponto cego" do RAG tradicional: por que os aplicativos corporativos são pouco confiáveis? Os RAGs têm sido amplamente utilizados para inserir documentos externos em LLMs (Modelos de Aprendizagem de Longo Prazo) para melhorar a qualidade da geração. No entanto, em cenários empresariais, eles enfrentam três grandes desafios, decorrentes de seu mecanismo principal — RAGs baseados em incorporação: 1. O Desafio das Consultas Agregadas: As empresas frequentemente precisam agregar dados, como por exemplo, "Qual foi o maior investimento de capital entre todas as subsidiárias no ano passado?". Os algoritmos de agregação de valores (RAGs) tradicionais apenas recuperam fragmentos de texto semelhantes e os enviam para algoritmos de lógica de busca (LLMs), que só conseguem realizar raciocínio aritmético limitado e são propensos a omitir etapas importantes de filtragem, comparação ou agregação, resultando em respostas incompletas ou incorretas. 2. Requisitos de cobertura exaustiva: como "listar todos os contratos com vencimento anterior a 2025 com penalidades superiores a US$ 1 milhão". As buscas RAG são probabilísticas, retornando apenas um subconjunto de contratos "semelhantes" e não podem garantir cobertura completa. Isso pode representar um risco significativo em auditorias de conformidade, pois a omissão de um único item pode violar regulamentos. 3. Armadilha do Corpus Denso: Documentos corporativos (como relatórios financeiros ou documentos regulatórios) são frequentemente muito repetitivos e possuem atributos densos (por exemplo, "passivo total" aparece repetidamente). A similaridade incorporada falha nesse caso, recuperando um grande número de documentos ruidosos que mascaram informações realmente relevantes, resultando em uma queda significativa na precisão das respostas. Esses pontos cegos não são falhas técnicas, mas sim um desalinhamento entre a intenção original do RAG (lidar com textos narrativos e vagos) e as necessidades da empresa (análise precisa, rastreabilidade de auditoria). O artigo utiliza testes de benchmark para comprovar isso: em conjuntos de dados de consultas agregadas, a precisão do RAG tradicional é de apenas cerca de 40%, muito abaixo do limite de tolerância da empresa. RAG Estruturado: A Transformação do Raciocínio Não Estruturado para o Raciocínio Preciso – Resolvendo Esses Desafios com a Introdução do S-RAG como uma "Solução para a Precisão". O S-RAG não é uma simples sobreposição, mas sim uma mudança da recuperação de texto simples para uma estrutura de raciocínio estruturado orientada por banco de dados. Ele é implementado no Sistema de Orquestração de IA Empresarial AI21 Maestro, que suporta o processamento de milhões de documentos. Breve descrição do princípio de funcionamento: • Fase de Ingestão: O sistema analisa automaticamente os documentos, identifica padrões recorrentes (como os atributos "receita" e "despesas operacionais" em relatórios financeiros) e infere ou utiliza esquemas definidos pelo usuário. Em seguida, o texto não estruturado é padronizado (por exemplo, unificando "1.000.000" em números) e dividido em registros estruturados, preservando os links de texto originais para garantir a transparência. • Recuperação em tempo de execução: Consultas em linguagem natural são traduzidas em instruções SQL e executadas em um banco de dados relacional. Por exemplo, a consulta "Passivos circulantes da Netflix em 2017" gera o SQL: SELECT current_liabilities / 1000000 FROM SEC_Report WHERE company_name = 'netflix' AND fiscal_year = 2017, retornando diretamente um valor exato (como US$ 0,45 bilhão), em vez de um resumo textual vago. • Mecanismo de recuperação híbrido: Nem todas as consultas são adequadas para processamento estruturado (como perguntas narrativas). O S-RAG primeiro restringe o conjunto de dados usando SQL (filtrando itens irrelevantes) e, em seguida, alterna para o RAG incorporado para processar textos complexos. Essa combinação de "estrutura + semântica" evita o ruído e as omissões da incorporação pura. Vantagens e Validação de Desempenho: O Salto da Resposta à Decisão O principal valor do S-RAG reside em elevar o RAG de uma "ferramenta de geração" a um "agente inteligente de tomada de decisões". Diversas vantagens: • Precisão significativamente aprimorada: melhoria de 60% em consultas agregadas; recall próximo a 100% para consultas de cobertura exaustiva. Testes de benchmark (como o conjunto de dados FinanceBench) mostram que o RAG híbrido do Maestro supera o RAG tradicional e a API de Respostas da OpenAI, especialmente em corpora densos. Robustez de nível empresarial: adaptação automática do esquema à evolução do documento (como novos requisitos regulamentares), suporte para edição pelo usuário e garantia de controle. Mantém a eficiência e a transparência ao lidar com grandes volumes de dados, reduzindo o risco de problemas de "caixa preta". • Impacto prático: Além da geração de respostas, o S-RAG potencializa fluxos de trabalho complexos, como análise de tendências financeiras, comparação de fornecedores ou revisão de contratos. Exemplo: Em uma consulta de ARR de subsidiária, o S-RAG agrega dados com precisão, evitando a armadilha da "informação parcial" do RAG tradicional. Os gráficos de desempenho quantificam ainda mais isso: no conjunto de dados aggregate_questions, o S-RAG atinge uma precisão superior a 85%, enquanto o RAG incorporado atinge apenas 25%.
