ChatGPT의 메모리 시스템은 훌륭하지만, 일반적으로 메모리 시스템은 많은 리소스를 소모합니다. OpenAI는 어떻게 8억 명의 사용자를 지원할 수 있는 메모리 시스템을 구축했을까요? 누군가가 ChatGPT의 메모리 시스템을 역설계한 결과 예상보다 훨씬 간단하다는 것을 발견했습니다. 벡터 데이터베이스가 없으며, 채팅 로그도 RAG 처리되지 않습니다. 대신, 네 가지 명확한 단계를 사용합니다. 사용자 환경에 맞게 조정된 세션 메타데이터 오랜 기간 동안 보관된 명확한 사실들, 최근 채팅 내용을 간략하게 요약했습니다. 그리고 현재 대화의 흐름은 마치 슬라이딩 윈도우처럼 변화합니다. 이 블로그 게시물에서는 각 계층이 어떻게 작동하는지, 그리고 이 접근 방식이 기존 검색 시스템보다 우수한 성능을 보일 수 있는 이유를 자세히 설명합니다.
그 핵심은 4계층 컨텍스트 스택입니다. 대화를 나눌 때마다 AI는 이 "포털"을 구축하고 사용자에 대한 모든 핵심 정보를 한 번에 모델에 입력합니다. 이 시스템은 서로 연동되는 네 개의 층으로 구성되어 있습니다.
첫 번째 레이어에는 사용자의 기기 및 위치와 같은 임시 환경 정보가 포함되어 있으며, 세션이 종료되면 해당 정보는 사라집니다. 두 번째 계층은 사용자가 기억하도록 요청한 주요 정보를 저장하는 영구적인 개인 프로필입니다.
세 번째 레이어는 최근 관심사를 간략하게 보여주는 "간략한 지도"로, 채팅 제목 요약만 포함하고 전체 내용은 포함하지 않습니다. 가장 아래쪽 레이어에는 슬라이딩 윈도우처럼 현재 대화의 전체 기록이 저장되어 있어 대화의 연속성을 즉시 유지할 수 있습니다. 창이 꽉 차면 어떻게 되나요?
슬라이딩 윈도우란 현재 채팅창이 길이 제한에 도달하여 가장 오래된 메시지가 삭제되더라도 영구 메모리와 최근 관심사 요약은 그대로 유지되는 것을 의미합니다. 이를 통해 긴 대화 중에도 AI가 사용자를 "잊지" 않도록 보장합니다.
이 4계층 아키텍처는 엔지니어링 기술의 결정체입니다. 개인화, 성능 및 연산 비용 간의 완벽한 균형을 이루어 가장 복잡한 시스템을 필요로 하지 않으면서 최고의 사용자 경험을 제공합니다.
이렇게 하면 빠르게 응답하고 사용자를 점점 더 잘 이해하는 듯한 스마트 비서를 갖게 됩니다. 기사에 첨x.com/manthanguptaa/… 원본 링크:
