對話式逆向工程剖析ChatGPT 記憶系統❌ 完全沒有向量資料庫和RAG ✅ 而是一種分層、高效率的四級上下文結構 核心發現：比想像中更簡潔 ChatGPT 的「記憶」並非在一個巨大的資料庫中搜尋你過去說過的每一句話。相反，它透過巧妙地拼接不同層級的訊息，在個人化和反應速度/成本之間取得了平衡。 ChatGPT 上下文的四層結構 1. 會話元資料· 環境感知：包含你的設備類型、大致位置、時間、訂閱等級以及近期的使用習慣（如活躍頻率）。 · 作用：讓回覆適應你目前的環境（如深色模式、地理位置）。臨時僅限目前會話，不儲存。 2. 使用者記憶庫· 長期核心事實：儲存你的姓名、職業、偏好、長期目標等關鍵資訊（作者範例中存了33條）。 · 來源：你明確要求“記住這個”，或系統自動識別的重要事實。持久跨會話存在，直到刪除。 3. 近期對話摘要· 短期興趣地圖：這是最令人意外的部分。它不是完整的歷史記錄，而是最近約15 個對話的輕量級摘要（包含時間戳記、標題和用戶訊息片段）。 · 作用：提供一種“連貫感”，讓AI 知道你最近在關注什麼，而無需加載全部歷史。近期隨時間推移更新。 4. 目前會話視窗· 即時上下文：目前對話的完整記錄。採用「滑動視窗」機制，當對話過長超出Token 限制時，最早的訊息會被「擠出」。 · 作用：確保當前對話邏輯的嚴密與連貫。目前隨會話結束或超長而滾動。 為什麼這種設計很聰明？ · 效率至上：傳統的RAG 需要對每一次查詢都在海量歷史中進行搜索，計算成本高且延遲大。 · 抓大放異彩小：ChatGPT 的策略是－「記住重要事實（層級2），了解近期話題概況（層級3），專注於當前對話細節（層級4）」。 · 工程哲學的體現：這是一種實用主義的工程設計。它犧牲了對過去每一個微小細節的完美回憶，換取了極其流暢、快速且看似「懂你」的互動體驗。 總結 ChatGPT 讓你感覺到它“記性很好”，並不是因為它真的記得你兩年前說的某個瑣碎細節，而是因為它始終隨身攜帶一份關於你的“核心檔案”（長期記憶）和一份“近期動態簡報”（對話摘要）。這是一種極為高效率的「偽全知」體驗。 閱讀原文（作者@manthanguptaa）
