来自 meng shao（@shao__meng）的推文线程

LLM 長上下文處理的限制與最佳化實踐 來自@svpino 的實戰經驗分享，他在調試多個AI 應用後總結了經驗，重點針對LLM 在處理長上下文時的常見問題，分享了他的幾點建議，一起看看🔽 他學到的幾件事· 長提示並非免費：模型不會平等對待所有token，中間部分的資訊容易被忽略或弱化。 · 過度填充上下文會降低檢索效果：在RAG 系統中，塞入太多無關資訊反而會幹擾模型準確擷取關鍵內容。 · 多步驟提示無法解決情境污染：即使將任務拆分成多個步驟，也無法徹底消除無關或冗餘資訊的負面影響。 · 更大模型有幫助，但無法根除幻覺：更先進的模型能改善表現，但幻覺問題依然存在。 如何避免模型在大量上下文中“迷失” 1. 盡可能保持上下文簡短：只提供必要訊息，減少噪音。 2. 將關鍵訊息放在最後：模型對情境末端的內容注意力較高。 3. 使用結構化上下文優於純敘述：採用列表、JSON、表格等格式，而不是長段落文本，以便於模型解析。 4. 優先使用工具而非純提示：讓模型呼叫外部工具來獲取訊息，而不是全部塞進提示中。 5. 採用重新排序機制：檢索時不只取相似度最高的chunk，而是進一步排序選出最優質的片段。 6. 針對此失敗模式進行明確評估：在系統測試中專門檢查長上下文下的表現，確保穩健性。