Limitations et pratiques d'optimisation du traitement en contexte long (LLM) Voici une session de partage d'expérience pratique animée par @svpino. Après avoir débogué plusieurs applications d'IA, il a résumé son expérience, en se concentrant sur les problèmes courants rencontrés par les LLM lors de la gestion de contextes longs. Il a partagé plusieurs suggestions ; voyons voir 🔽 Il a appris plusieurs choses : les longs indices ne sont pas gratuits : le modèle ne traite pas tous les jetons de la même manière, et les informations situées dans la partie centrale sont facilement ignorées ou atténuées. • Un contexte trop dense peut réduire les performances de récupération : dans le système RAG, l’ajout d’une trop grande quantité d’informations non pertinentes peut nuire à la capacité du modèle à extraire avec précision le contenu clé. • Les invites en plusieurs étapes ne peuvent pas résoudre le problème de la pollution contextuelle : même si une tâche est décomposée en plusieurs étapes, l’impact négatif des informations non pertinentes ou redondantes ne peut pas être complètement éliminé. Les modèles plus grands sont utiles, mais ne peuvent pas éliminer l'illusion : des modèles plus avancés peuvent améliorer les performances, mais le problème de l'illusion persiste. Comment éviter que le modèle ne se « perde » dans une grande quantité de contexte ? 1. Restez aussi concis que possible : ne fournissez que les informations nécessaires et réduisez les éléments superflus. 2. Placez les informations clés à la fin : le modèle accorde plus d’importance au contenu situé à la fin du contexte. 3. Utiliser un contexte structuré est préférable à un récit pur : utilisez des formats tels que des listes, JSON et des tableaux au lieu de longs paragraphes de texte, ce qui facilite l’analyse par le modèle. 4. Privilégier les outils aux simples indications : laisser le modèle faire appel à des outils externes pour obtenir des informations, au lieu de tout fourrer dans les indications. 5. Utiliser un mécanisme de réordonnancement : lors de la récupération, au lieu de simplement prendre le segment présentant la plus grande similarité, un tri supplémentaire est utilisé pour sélectionner le segment de la plus haute qualité. 6. Procéder à une évaluation claire de ce mode de défaillance : examiner spécifiquement les performances dans des contextes prolongés lors des tests système afin d’assurer la robustesse.
