RAG estructurado: Un avance clave en la precisión de RAG a nivel empresarial Al trabajar con datos empresariales complejos, los RAG tradicionales suelen presentar riesgos debido a su precisión e integridad insuficientes. El RAG Estructurado (S-RAG) de @AI21Labs ofrece una generación de respuestas más fiable mediante el procesamiento de datos estructurados y mecanismos de recuperación híbridos. El "punto ciego" del RAG tradicional: ¿Por qué las aplicaciones empresariales no son fiables? Los RAG se han utilizado ampliamente para insertar documentos externos en los LLM y mejorar la calidad de su generación. Sin embargo, en entornos empresariales, se enfrentan a tres grandes desafíos derivados de su mecanismo principal: los RAG basados en incrustadores. 1. El desafío de las consultas agregadas: Las empresas a menudo necesitan agregar datos, como por ejemplo: "¿Cuál fue el mayor gasto de capital entre todas las filiales el año pasado?". Los algoritmos tradicionales de agregación de datos (RAG) solo recuperan fragmentos de texto similares y los envían a los modelos de aprendizaje lógico (LLM), que solo pueden realizar un razonamiento aritmético limitado y son propensos a omitir pasos clave de filtrado, comparación o agregación, lo que da como resultado respuestas incompletas o incorrectas. 2. Requisitos de cobertura exhaustiva: como «enumerar todos los contratos que vencen antes de 2025 con penalizaciones superiores a 1 millón de dólares». Las búsquedas en RAG son probabilísticas, devuelven solo un subconjunto de contratos «similares» y no garantizan una cobertura total. Esto puede suponer un riesgo significativo en las auditorías de cumplimiento, ya que omitir incluso un solo elemento podría infringir la normativa. 3. Trampa de corpus densos: Los documentos corporativos (como informes financieros o documentos regulatorios) suelen ser muy repetitivos y contener atributos densos (por ejemplo, «pasivo total» aparece repetidamente). La similitud integrada falla en este caso, recuperando una gran cantidad de documentos irrelevantes que ocultan la información verdaderamente relevante, lo que resulta en una disminución significativa de la precisión de las respuestas. Estos puntos ciegos no son fallos técnicos, sino una falta de alineación entre la intención de diseño original de RAG (manejo de texto narrativo y poco estructurado) y las necesidades empresariales (análisis preciso, trazabilidad de auditoría). El artículo utiliza pruebas comparativas para respaldar esta afirmación: en conjuntos de datos de consultas agregadas, la precisión de RAG tradicional es de solo un 40% aproximadamente, muy por debajo del umbral de tolerancia empresarial. RAG Estructurado: La Transformación del Razonamiento No Estructurado al Razonamiento Preciso – Solucionando Estos Desafíos mediante la Introducción de S-RAG como una Mejora de la Precisión. S-RAG no es una simple superposición, sino un cambio radical desde la recuperación de texto plano hacia un marco de razonamiento estructurado basado en bases de datos. Está implementado en el Sistema de Orquestación de IA Empresarial AI21 Maestro, que admite el procesamiento de millones de documentos. Breve descripción del principio de funcionamiento: • Fase de ingesta: El sistema analiza automáticamente los documentos, identifica patrones recurrentes (como los atributos "ingresos" y "gastos operativos" en los informes financieros) e infiere o utiliza esquemas definidos por el usuario. A continuación, el texto no estructurado se estandariza (por ejemplo, unificando "1.000.000" en números) y se divide en registros estructurados, conservando los enlaces de texto originales para garantizar la transparencia. • Recuperación en tiempo de ejecución: Las consultas en lenguaje natural se traducen a sentencias SQL y se ejecutan en una base de datos relacional. Por ejemplo, la consulta «Pasivos corrientes de Netflix en 2017» genera la siguiente consulta SQL: SELECT current_liabilities / 1000000 FROM SEC_Report WHERE company_name = 'netflix' AND fiscal_year = 2017, que devuelve directamente un valor exacto (como 0,45 mil millones de dólares), en lugar de un resumen de texto vago. • Mecanismo de recuperación híbrido: No todas las consultas son aptas para el procesamiento estructurado (como las preguntas narrativas). S-RAG primero reduce el conjunto de datos mediante SQL (filtrando los elementos irrelevantes) y luego cambia a RAG integrado para procesar texto complejo. Esta combinación de «estructura y semántica» evita el ruido y las omisiones de la incrustación pura. Ventajas y validación del rendimiento: El salto de la respuesta a la decisión El valor fundamental de S-RAG reside en elevar RAG de una "herramienta de generación" a un "agente inteligente de toma de decisiones". Varias ventajas: • Precisión significativamente mejorada: mejora del 60 % en consultas agregadas; recuperación cercana al 100 % para consultas de cobertura exhaustiva. Las pruebas de referencia (como el conjunto de datos FinanceBench) demuestran que el RAG híbrido de Maestro supera al RAG tradicional y a la API de respuestas de OpenAI, especialmente en corpus densos. Robustez de nivel empresarial: Adaptación automática del esquema a la evolución de los documentos (como nuevos requisitos normativos), compatibilidad con la edición por parte del usuario y garantía de control. Mantiene la eficiencia y la transparencia al gestionar grandes volúmenes de datos, reduciendo el riesgo de problemas de "caja negra". • Impacto práctico: Además de generar respuestas, facilita flujos de trabajo complejos como el análisis de tendencias financieras, la comparación de proveedores o la revisión de contratos. Ejemplo: En una consulta ARR de una filial, S-RAG agrega datos con precisión, evitando la trampa de la "información parcial" de los RAG tradicionales. Los gráficos de rendimiento cuantifican aún más esto: en el conjunto de datos aggregate_questions, S-RAG alcanza una precisión de más del 85%, mientras que RAG integrado solo alcanza el 25%.
