ChatGPT 메모리 시스템에 대한 대화형 역공학 분석 ❌ 벡터 데이터베이스 및 RAG가 완전히 누락됨 ✅ 대신, 이는 계층적이고 효율적인 4단계 컨텍스트 구조입니다. 핵심 결과: 예상보다 간단함 ChatGPT의 "메모리"는 사용자가 지금까지 했던 모든 말을 방대한 데이터베이스에서 검색하는 방식이 아닙니다. 대신, 다양한 수준의 정보를 영리하게 조합하여 개인화와 응답성/비용 사이의 균형을 맞춥니다. ChatGPT 컨텍스트의 4계층 구조 1. 세션 메타데이터 • 환경 인식: 기기 유형, 대략적인 위치, 시간, 구독 수준 및 최근 사용 습관(예: 활동 빈도)을 포함합니다. • 목적: 현재 환경(예: 다크 모드, 위치 정보)에 맞춰 답변을 조정합니다. 현재 세션 동안에만 임시로 적용되며 저장되지 않습니다. 2. 사용자 메모리 뱅크 - 장기 핵심 정보: 이름, 직업, 선호도, 장기 목표와 같은 주요 정보를 저장합니다(저자의 예시에서는 33개 항목이 저장됩니다). • 출처: 사용자가 명시적으로 "기억해 두세요"라고 요청했거나 시스템이 자동으로 식별한 중요 정보. 삭제될 때까지 세션 간에 유지됩니다. 3. 최근 대화 요약 및 단기 관심사 지도: 이 부분이 가장 놀랍습니다. 전체 대화 내역은 아니지만, 최근 대화 약 15건에 대한 간략한 요약 정보(타임스탬프, 제목, 사용자 메시지 일부 포함)를 제공합니다. • 기능: 전체 기록을 불러오지 않고도 최근 사용자가 무엇에 관심을 기울였는지 AI에 알려 연속성을 제공합니다. 시간이 지남에 따라 업데이트됩니다. 4. 현재 세션 창 및 실시간 컨텍스트: 현재 대화의 전체 기록입니다. "슬라이딩 윈도우" 메커니즘을 사용하며, 대화가 너무 길어져 토큰 제한을 초과하면 가장 오래된 메시지가 "제거"됩니다. • 기능: 현재 대화 논리의 정확성과 일관성을 보장합니다. 대화가 끝나거나 지나치게 길어지면 현재 상태가 스크롤됩니다. 이 디자인은 왜 이렇게 기발할까요? • 효율성이 최우선입니다: 기존 RAG는 모든 쿼리에 대해 방대한 양의 과거 데이터를 검색해야 하므로 계산 비용이 높고 지연 시간이 상당히 발생합니다. • 큰 그림에 집중하고 세부적인 사항은 무시하세요: ChatGPT의 전략은 "중요한 사실을 기억하고(레벨 2), 최근 주제 개요를 이해하고(레벨 3), 현재 대화의 세부 사항에 집중하는 것(레벨 4)"입니다. • 엔지니어링 철학의 구현: 이는 실용적인 엔지니어링 설계입니다. 과거의 모든 세부 사항을 완벽하게 기억하는 대신, 매우 매끄럽고 빠르며 직관적인 상호 작용 경험을 제공합니다. 요약하다 ChatGPT가 마치 "기억력이 뛰어난 것처럼" 느껴지게 만드는 이유는 실제로 2년 전에 했던 사소한 말까지 기억해서가 아니라, 항상 "핵심 파일"(장기 기억)과 "최근 활동 요약"(대화 요약)을 통해 사용자에 대한 정보를 저장하고 있기 때문입니다. 이는 매우 효율적인 "전지전능한 듯한" 경험을 제공합니다. 원문 기사(작성자: @manthanguptaa)를 읽어보세요.
