Como as principais aplicações de IA lidam com a "memória"? • ChatGPT: Injeção completa e sumarização leve - Um parceiro mais atencioso • Claude: Recuperação sob demanda e acesso a ferramentas - Um assistente mais poderoso @manthanguptaa realizou uma pesquisa aprofundada sobre os mecanismos de gerenciamento de memória e contexto do ChatGPT e do Claude por meio de "engenharia reversa" e descobriu inesperadamente dois esquemas completamente diferentes: "injeção pré-computacional" (ChatGPT) e "ferramenta de recuperação sob demanda" (Claude). Esquema de memória do ChatGPT: injeção completa e sumarização leve. A lógica principal do ChatGPT é "incluir seu histórico e um resumo recente em cada conversa". Ele não depende do modelo para "pensar" se deve buscar informações na memória; em vez disso, o sistema insere automaticamente informações relevantes em cada interação. Arquitetura central (estrutura de 4 camadas) 1. Metadados da sessão [temporários] • Conteúdo: Tipo de dispositivo, navegador, localização aproximada, fuso horário, nível de assinatura e até mesmo seus hábitos de uso (como profundidade média da conversa e modelos mais utilizados). • Funcionalidades: Injeção única, destruída ao final da sessão. Permite que o modelo ajuste suas respostas com base no seu ambiente (como modo escuro, tamanho da tela) durante a conversa atual, mas não é armazenada na memória de longo prazo. 2. Memória do usuário [longo prazo] • Conteúdo: Informações claras. Por exemplo: "Meu nome é Manthan", "Sou programador", "Não gosto de coentro". Mecanismo: Existe uma ferramenta específica para adicionar, excluir e modificar dados. Se você disser "Lembre-se que meu nome é X", a informação será salva. O sistema também capturará automaticamente informações importantes com base na conversa e solicitará que sejam armazenadas. • Utilização: Esses fatos serão registrados como um "arquivo" mantido pelo sistema, e cada conversa será totalmente inserida no Prompt. 3. Resumo das conversas recentes [entre conversas] • Conteúdo: É isso que torna o ChatGPT verdadeiramente único. Em vez de recuperar conversas passadas completas, ele pré-calcula resumos leves das 10 a 15 conversas mais recentes (formatados como: data e hora: título || trecho do que o usuário disse). • Funcionalidades: Inclui apenas resumos das publicações dos usuários, não respostas da IA. Isso funciona como um "mapa de interesses", permitindo que o modelo saiba no que você está interessado no momento, sem consumir grandes quantidades de tokens para ler publicações completas. 4. Conteúdo da janela da sessão atual: Um registro completo da conversa atual, até o limite de tokens. Esquema de memorização de Claude: recuperação sob demanda e acesso a ferramentas. A solução de Claude é mais como um "especialista com um mecanismo de busca". Ela não mantém o histórico de conversas anteriores por padrão; apenas "desenterra mensagens antigas" quando você precisa delas. Arquitetura Central 1. Memória do usuário [longo prazo] • Conteúdo: Semelhante ao ChatGPT, ele armazena informações importantes (nome, profissão, preferências, etc.). • Formato: Injetado no Prompt do Sistema em formato XML (...). • Mecanismo: Suporta atualizações implícitas em segundo plano e edição explícita pelo usuário. 2. Conteúdo da Sessão Atual: Um registro completo da conversa atual. 3. Ferramentas de Busca Histórica [Diferenças Principais] Claude não inclui automaticamente resumos de diálogos anteriores no Prompt. Em vez disso, ele vem com duas ferramentas específicas que o modelo decide autonomamente quando invocar: • conversation_search: Busca conversas anteriores com base em palavras-chave ou tópicos. • recent_chats: Recupera uma lista de conversas recentes em ordem cronológica. • Processo: O usuário faz uma pergunta -> Claude considera "Preciso consultar conversas anteriores?" -> Se sim -> Usa ferramentas para recuperar a informação relevante -> Obtém o fragmento específico -> Responde ao usuário. Vantagens, desvantagens e cenários de uso 1. ChatGPT vantagem: • Transição perfeita: A experiência é muito fluida. Mesmo que você mude para um tópico diferente, ainda consegue ter uma ideia geral do contexto a partir do resumo. • Rápido: Não são necessárias etapas de pesquisa adicionais. deficiência: • Perda de detalhes: Como armazena apenas resumos, e somente resumos de comentários do usuário, pode não se lembrar da solução de código específica fornecida da última vez, e só conseguirá se lembrar da ideia geral. • Risco de interferência: Por vezes, resumos antigos irrelevantes podem interferir com a tarefa atual. Melhor cenário: • Para conversas informais/companhia: Precisa se lembrar das suas pequenas preferências. • Multitarefa: Você está fazendo várias perguntas diferentes ao mesmo tempo e precisa alternar entre elas rapidamente. • Tarefas superficiais e contínuas: como "continuar a história da semana passada", o usuário pode retomar de onde parou, dando uma olhada no resumo. 2. Claude vantagem: • Alta precisão: Através da busca, é possível recuperar estruturas JSON específicas ou configurações lógicas particulares de uma conversa ocorrida meses atrás, em vez de resumos vagos. • Contexto limpo: Por padrão, o histórico irrelevante não é carregado, o que não só economiza tokens, mas também evita interferências de informações antigas. deficiência: • Não é proativo o suficiente: Se o modelo cometer um erro e pensar "não há necessidade de verificar o histórico", ele responderá como se tivesse amnésia. • Lento: As chamadas de ferramentas demoram. Melhor cenário: • Desenvolvimento de projetos a longo prazo: Por exemplo, ao escrever código, se você quiser "reutilizar o módulo de autenticação que escrevi no mês passado", é possível encontrar o código específico. • Busca na base de conhecimento: Você precisa dela para integrar profundamente um grande número de anotações acumuladas ao longo do tempo. • Tarefas lógicas complexas: exigem altíssima precisão contextual e não toleram resumos imprecisos. Perspectiva comparativa adicional: A "resolução" e a "controlabilidade" da memória. Além do que o artigo menciona, acho que há outros dois pontos de vista que merecem ser destacados: 1. Resolução de memória: O ChatGPT é uma miniatura de "baixa fidelidade": ele analisa miniaturas das 10 conversas mais recentes durante o bate-papo. Ele conhece o esboço geral, mas não consegue ver os detalhes. • Claude é um holofote de "alta fidelidade": geralmente está no escuro (sem observar a história), mas, uma vez aceso (buscando), pode iluminar um canto específico do passado e enxergá-lo com clareza. 2. Perspectiva do desenvolvedor versus perspectiva do usuário: a solução do ChatGPT se assemelha mais a um "recurso de produto" consolidado: a OpenAI o integrou bem, ele é invisível para os usuários, a experiência é consistente e o objetivo é fidelizar usuários e aumentar a atividade. A abordagem de Claude se assemelha mais a uma "capacidade do agente": a abordagem antropológica capacita os modelos com a habilidade de usar ferramentas, o que se alinha melhor com a direção de desenvolvimento dos agentes — ou seja, os modelos não apenas conversam, mas também usam ferramentas (incluindo ferramentas de memória) para resolver problemas. Isso terá um potencial maior no futuro, ao lidar com contextos extremamente longos e bases de conhecimento massivas. Postagens originais do blog
