O sistema de memória do ChatGPT é excelente, mas sistemas de memória geralmente consomem muitos recursos. Como a OpenAI conseguiu que seu sistema de memória atendesse 800 milhões de usuários? Alguém fez engenharia reversa do sistema de memória do ChatGPT e descobriu que ele era muito mais simples do que se esperava. Não existe banco de dados de vetores, nem o RAG do registro de bate-papo é processado. Em vez disso, utiliza quatro níveis distintos: Metadados da sessão adaptados ao seu ambiente Informações claras armazenadas por um longo período de tempo, Um breve resumo das conversas recentes. E a janela deslizante da conversa atual. Este artigo do blog explicará detalhadamente como cada camada funciona e por que essa abordagem pode superar os sistemas de recuperação tradicionais.
Seu núcleo é uma pilha de contexto de quatro camadas. A cada conversa, a IA construirá esse "portal" e inserirá todas as informações importantes sobre você no modelo de uma só vez. É composto por quatro camadas que funcionam em conjunto.
A primeira camada contém informações ambientais temporárias, como seu dispositivo e localização, que desaparecem quando a sessão termina. A segunda camada é o seu perfil pessoal permanente, que armazena os principais dados que você pede para ele lembrar.
A terceira camada é um "mapa simplificado" dos seus interesses recentes, contendo apenas um resumo dos títulos das conversas, e não o texto completo. A camada inferior contém um registro completo da conversa atual, como uma janela deslizante, garantindo continuidade instantânea. O que acontece se a janela estiver cheia?
A janela deslizante significa que, mesmo que a janela de bate-papo atual "deslize" por atingir o limite de caracteres e a mensagem mais antiga seja removida, seu histórico de conversas e o resumo de seus interesses recentes ainda serão mantidos. Isso garante que, mesmo em conversas longas, a IA não se "esquecerá" de você.
Essa arquitetura de quatro camadas é um triunfo da engenhosidade da engenharia. Ela alcança um equilíbrio perfeito entre personalização, desempenho e custo computacional, proporcionando a melhor experiência ao usuário sem exigir os sistemas mais complexos.
Dessa forma, você tem um assistente inteligente que pode rx.com/manthanguptaa/…que parece te entender cada vez melhor. Imagem que acompanha o artigo: Apresentação em PowerPoint do ListenHub Link original:
