Dos horas de debate sobre dos casos: ¿Deberían los agentes de IA basarse en el conocimiento interno o realizar búsquedas exhaustivas? No hay una respuesta estándar, y precisamente por eso la "ingeniería de contexto" puede convertirse en la capa más valiosa sobre los modelos de IA. Aaron Levie compartió un ejemplo real: su equipo dedicó dos horas a debatir un problema específico: ¿cuándo debería un agente de IA confiar en su conocimiento integrado para responder a cierto tipo de pregunta y cuándo debería buscar contexto relevante en datos externos? Solo analizaron dos de cientos de casos de prueba. Ni siquiera los expertos humanos que participaron en la lluvia de ideas lograron ponerse de acuerdo sobre cómo actuarían los humanos en situaciones similares. Esto demuestra que no hay respuestas absolutamente correctas; todo depende en gran medida del contexto y varía de un cliente a otro. El argumento central de Levie es que la ingeniería de contexto conlleva inherentemente numerosas concesiones. Requiere considerar múltiples dimensiones simultáneamente, como: • La velocidad con la que responde el agente (cuanto más rápido, mejor, pero esto puede sacrificar la precisión); ¿Cuánta interacción necesitan los usuarios para aclarar una pregunta? • ¿Cuánto trabajo preliminar (como buscar datos) debe realizar el agente antes de responder? ¿Cómo determinar si se han obtenido materiales fuente suficientemente completos? • ¿Qué tan alto es el riesgo de una respuesta incorrecta (en escenarios de alto riesgo, se prefiere una búsqueda exhaustiva)? Estas dimensiones están interconectadas: optimizar un aspecto a menudo implica sacrificar otro. No existe la solución perfecta. Esto hace que la creación de agentes de IA fiables sea excepcionalmente compleja e interesante. Finalmente, enfatizó que esto también resalta el enorme valor de la "ingeniería de contexto" además de la base del LLM. Gestionar adecuadamente estas compensaciones determina directamente el valor fundamental de un producto y la experiencia del usuario.
