洗腦你的智能體:我們如何保持記憶體清潔 來自@CamelAIOrg 團隊,專注於情境工程,即透過優化智能體的記憶體管理來提升其效能和效率。作者@Hesamation 強調,智能體並非真正“遺忘”,而是由於上下文未被有效管理導致的。開發者可以透過控制上下文內容來顯著影響智能體的「智能」水準。 介紹了CAMEL 框架中三種用於保持記憶體「清潔」的技術:上下文總結、工作流程記憶體和工具輸出快取。這些方法為了解決智能體在處理任務時常見的上下文膨脹問題,從而提高效率並降低成本。 為什麼需要記憶體管理在智能體的工作流程中,常見問題包括任務偏離軌道、重複勞動和工具輸出過載。這些會導致上下文視窗快速填滿,消耗大量tokens 和時間。 三種關鍵技術 1. 上下文總結(Context Summarization):保留核心內容· 問題與用途:智能體有時會陷入“支線任務”,如在構建一個文本轉表情符號應用時,過度糾結於數據庫調試,導致主任務延誤。這會消耗大量資源。 · 觸發時機:當上下文使用超過80% 視窗時;上下文偏離軌道需重設時;或在新會話中引用舊會話時。 · CAMEL 實作:提供三種方式——自動基於tokens 閾值的總結、手動API 調用,以及智能體可用的工具包總結。總結過程依賴精心設計的提示,提取關鍵資訊如使用者主要請求、剩餘任務和當前進度。同時,保留最小用戶訊息以減少對LLM 總結的依賴,避免潛在不準確。 · 益處:幫助智能體快速恢復焦點,減少無關細節的干擾。 2. 工作流程記憶體(Workflow Memory):從過去經驗中學習· 問題與用途:智能體在重複任務中往往重複努力,例如編譯免費機器學習書籍列表時,每次都需解決archive. org 的訪問問題,卻無法保留經驗。 · 核心設計:工作流程記憶體是過去任務的結構化總結,包括任務標題(簡短通用)、任務描述(使用者目標摘要,無實現細節)、解決步驟(編號通用行動)、工具清單(用途說明)、故障復原策略(可選)、筆記觀察(選用)和標籤(3-10個,用於分類和匹配)。 · 載入機制:開發者可指定會話,或基於智慧體角色載入檔案;智慧體從工作流程清單中選擇最相關的N 個(避免使用RAG 以保持簡單)。 · 研究應用:文章提到,此方法在網路導航任務中經測試顯著提升效能,並引用相關論文。 · 益處:使智能體能重複使用經驗,並提高重複任務的效率。 3. 工具輸出快取(Tool Output Caching):一個警示性嘗試· 問題與用途:工具輸出(如網頁搜尋結果或檔案內容)往往冗長(如4250字元的搜尋結果),長期保留在上下文中會導致tokens 爆炸性成長。 · CAMEL 實作:監控超過2000字元的輸出,將舊輸出儲存在外部檔案(如Markdown),上下文僅保留引用ID 和預覽(前160字元)。提供檢索全輸出的指令。 · 挑戰與風險:儘管能節省tokens,但可能導致資訊遺失(智能體依賴預覽忽略細節)與認知負擔增加(需追蹤ID、判斷是否檢索)。文章視其為權衡效率與準確的嘗試,已在CAMEL中回滾,需要進一步優化。 · 好處與警告:適合處理大輸出,但需謹慎,以防降低效能。
正在加载线程详情
正在从 X 获取原始推文,整理成清爽的阅读视图。
通常只需几秒钟,请稍候。
