Duas horas de debate sobre dois casos: os agentes de IA devem confiar em conhecimento interno ou realizar buscas exaustivas? Não há uma resposta padrão, e é exatamente por isso que a "engenharia de contexto" pode se tornar a camada mais valiosa sobre os modelos de IA! Aaron Levie compartilhou um exemplo prático: sua equipe passou duas horas discutindo um problema específico — quando um agente de IA deve confiar em seu conhecimento intrínseco para responder a um determinado tipo de pergunta e quando deve buscar contexto relevante em dados externos? Eles discutiram apenas dois dos centenas de casos de teste. Nem mesmo os especialistas humanos envolvidos no brainstorming conseguiram chegar a um consenso sobre como os humanos agiriam em situações semelhantes. Isso demonstra que não existem respostas absolutamente corretas; tudo depende muito do contexto e varia de cliente para cliente. O argumento central de Levie é que a engenharia de contexto é inerentemente repleta de concessões. Ela exige a consideração simultânea de múltiplas dimensões, tais como: • A velocidade com que o agente responde (quanto mais rápido, melhor, mas isso pode sacrificar a precisão); Quanta interação os usuários precisam para esclarecer uma dúvida? • Quanto trabalho preliminar (como busca de dados) o agente deve realizar antes de responder? Como determinar se foram obtidas fontes de informação suficientemente abrangentes; • Qual é o risco de uma resposta incorreta (em cenários de alto risco, uma pesquisa completa é preferível)? Essas dimensões estão interligadas: otimizar um aspecto geralmente implica em detrimento de outro. Não existe almoço grátis perfeito. Isso torna a construção de agentes de IA confiáveis excepcionalmente complexa e interessante. Por fim, ele enfatizou que isso também destaca o enorme valor da "engenharia de contexto" além da base do LLM. Lidar adequadamente com essas compensações determina diretamente o valor essencial de um produto e a experiência do usuário.
