Deux heures de débat sur deux cas : les agents d’IA doivent-ils s’appuyer sur leurs connaissances internes ou mener des recherches approfondies ? Il n’existe pas de réponse unique, et c’est précisément pourquoi « l’ingénierie du contexte » peut devenir la couche la plus précieuse au-dessus des modèles d’IA ! Aaron Levie a partagé un exemple concret : son équipe a passé deux heures à débattre d’un problème précis : quand un agent d’IA doit-il s’appuyer sur ses connaissances intégrées pour répondre à un certain type de question, et quand doit-il rechercher le contexte pertinent dans des données externes ? Ils n’ont examiné que deux cas de test parmi des centaines. Même les experts humains ayant participé à la séance de brainstorming n’ont pas réussi à se mettre d’accord sur la façon dont les humains réagiraient dans des situations similaires. Cela démontre qu’il n’existe pas de réponse unique ; tout dépend du contexte et varie d’un client à l’autre. L'argument principal de Levie est que l'ingénierie du contexte implique intrinsèquement de nombreux compromis. Elle nécessite de prendre en compte simultanément de multiples dimensions, telles que : • La vitesse à laquelle l’agent répond (plus c’est rapide, mieux c’est, mais cela peut sacrifier la précision) ; De quel niveau d'interaction les utilisateurs ont-ils besoin pour clarifier une question ? • Quel travail préparatoire (comme la recherche de données) l'agent doit-il effectuer avant de répondre ? Comment déterminer si les documents sources obtenus sont suffisamment complets ; • Quel est le niveau de risque d’une réponse incorrecte (dans les scénarios à haut risque, une recherche approfondie est préférable) ? Ces dimensions sont interdépendantes : optimiser un aspect se fait souvent au détriment d’un autre. Il n’existe pas de solution miracle. C’est ce qui rend la conception d’agents d’IA fiables si complexe et si intéressante. Enfin, il a souligné que cela met également en évidence l'immense valeur de l'« ingénierie du contexte » en complément des solides connaissances acquises en droit. La gestion adéquate de ces compromis détermine directement la valeur intrinsèque d'un produit et l'expérience utilisateur.
