Analyse de rétro-ingénierie conversationnelle du système de mémoire ChatGPT ❌ Absence totale de base de données vectorielles et de RAG ✅ Il s'agit plutôt d'une structure contextuelle hiérarchique et efficace à quatre niveaux. Principale conclusion : Plus simple que prévu La « mémoire » de ChatGPT ne parcourt pas une immense base de données pour retrouver chaque mot que vous avez prononcé. Elle établit plutôt un équilibre entre personnalisation et réactivité/coût en combinant intelligemment différents niveaux d'information. La structure à quatre couches du contexte ChatGPT 1. Métadonnées de session • Connaissance de l'environnement : Inclut le type de votre appareil, l'emplacement approximatif, l'heure, le niveau d'abonnement et les habitudes d'utilisation récentes (telles que la fréquence d'activité). • Objectif : Adapter votre réponse à votre environnement actuel (par exemple, le mode sombre, la géolocalisation). Cette réponse est temporaire et valable uniquement pour la session en cours ; elle n’est pas enregistrée. 2. Banque de mémoire utilisateur - Informations essentielles à long terme : Stocke des informations clés telles que votre nom, votre profession, vos préférences et vos objectifs à long terme (33 éléments sont stockés dans l'exemple de l'auteur). • Source : Informations importantes que vous avez explicitement demandé de « mémoriser » ou que le système identifie automatiquement. Elles sont conservées d’une session à l’autre jusqu’à leur suppression. 3. Résumé des conversations récentes et carte des centres d'intérêt à court terme : C'est la partie la plus surprenante. Il ne s'agit pas d'un historique complet, mais d'un résumé concis d'environ 15 conversations récentes (avec horodatage, titres et extraits de messages). • Fonction : Assure une continuité, permettant à l'IA de savoir à quoi vous avez récemment prêté attention sans avoir à charger l'historique complet. Mise à jour automatique. 4. Fenêtre de session actuelle et contexte en temps réel : un enregistrement complet de la conversation en cours. Ce système utilise un mécanisme de « fenêtre glissante » ; lorsqu’une conversation devient trop longue et dépasse la limite de jetons, le message le plus ancien est supprimé. • Fonction : Garantit la rigueur et la cohérence de la logique de dialogue en cours. L'état actuel défile à mesure que la conversation se termine ou devient excessivement longue. Pourquoi ce design est-il si ingénieux ? • L’efficacité est primordiale : le RAG traditionnel nécessite de parcourir d’énormes quantités de données historiques pour chaque requête, ce qui entraîne des coûts de calcul élevés et une latence importante. • Concentrez-vous sur l'essentiel et laissez de côté les petits détails : la stratégie de ChatGPT consiste à « se souvenir des faits importants (niveau 2), comprendre l'aperçu du sujet récent (niveau 3) et se concentrer sur les détails de la conversation actuelle (niveau 4) ». • L'incarnation de la philosophie de l'ingénierie : il s'agit d'une conception pragmatique. Elle sacrifie la mémorisation parfaite de chaque détail du passé au profit d'une expérience interactive extrêmement fluide, rapide et apparemment « intuitive ». Résumer ChatGPT donne l'impression d'avoir une « mémoire prodigieuse », non pas parce qu'il se souvient réellement d'un détail insignifiant que vous avez mentionné il y a deux ans, mais parce qu'il conserve en permanence un « fichier principal » (mémoire à long terme) et un « résumé des activités récentes » (résumé des conversations) vous concernant. Il s'agit d'une expérience « pseudo-omnisciente » extrêmement efficace. Lire l'article original (par @manthanguptaa)
