El sistema de memoria de ChatGPT es excelente, pero suele consumir muchos recursos. ¿Cómo logró OpenAI que su sistema de memoria sirviera a 800 millones de usuarios? Alguien realizó ingeniería inversa del sistema de memoria de ChatGPT y descubrió que era mucho más simple de lo esperado. No existe una base de datos vectorial ni se procesa el registro de chat RAG. En lugar de ello, utiliza cuatro niveles distintos: Metadatos de sesión adaptados a su entorno Datos claros almacenados durante mucho tiempo, Un resumen ligero de los chats recientes. Y la ventana deslizante de la conversación actual. Esta publicación de blog detallará cómo funciona cada capa y por qué este enfoque puede superar a los sistemas de recuperación tradicionales.
Su núcleo es una pila de contexto de cuatro capas. Cada vez que tengas una conversación, la IA construirá este "portal" e inyectará toda la información clave sobre ti en el modelo de una sola vez. Se compone de cuatro capas que trabajan juntas.
La primera capa contiene información ambiental temporal, como su dispositivo y ubicación, que desaparece cuando finaliza la sesión. La segunda capa es su perfil personal permanente, que almacena los datos clave que usted le pide que recuerde.
La tercera capa es un "mapa flexible" de tus intereses recientes, que contiene solo un resumen de los títulos de los chats, no el texto completo. La capa inferior contiene un registro completo de la conversación actual, como una ventana deslizante, lo que garantiza una continuidad instantánea. ¿Qué pasa si la ventana está llena?
La ventana deslizante significa que incluso si la ventana de chat actual se "desliza" debido a que alcanza el límite de longitud y se elimina el mensaje más antiguo, su memoria permanente y el resumen de intereses recientes aún se conservarán. Esto garantiza que, incluso en conversaciones largas, la IA no te "olvidará".
Esta arquitectura de cuatro capas es un triunfo del ingenio de la ingeniería. Logra un equilibrio perfecto entre personalización, rendimiento y coste computacional, ofreciendo la mejor experiencia de usuario sin requerir los sistemas más complejos.
De esta manera, tienes un asistente inteligente que puede x.com/manthanguptaa/… sientes que te entiende cada vez mejor. Imagen que acompaña al artículo: Presentación de ListenHub Enlace original:
