高级上下文工程在编码智能体中的应用
Human Layer 创始人 @dexhorthy 以个人经历和实际案例为基础,强调从原型到生产级代码的转变,核心在于优化 LLM 的“上下文窗口” —— 即模型输入的信息质量和结构。
背景:上下文工程的起源与 AI 编码的演进
Dex 追溯了“上下文工程”一词的起源:早在2022年4月,他发布了一份“12 Factor Agents”宣言,探讨可靠 LLM 应用的 12 条原则。2024年6月,该术语被更广泛推广。他引用了今年 AI Engineer 大会的两场热门演讲:Sean Grove的“The New Code”,强调规格(specs)而非代码本身是未来软件的核心;以及斯坦福大学的一项研究,分析10万名开发者的数据,发现 AI 编码虽能加速原型,但在大规模企业或遗留代码中往往导致重工,甚至适得其反——复杂任务下,AI 生成的代码可能增加 50% 的返工率。
Dex 的观点是:当前模型还无法完全取代人类编写复杂系统代码(如涉及竞态条件、关机顺序的 Go 语言应用)。因此,上下文工程的目标是“榨取”现有模型的最大价值:通过精心设计输入,提升输出的正确性和效率。
核心挑战:为什么传统 AI 编码失败?
· Naive Prompting:简单地与代理反复对话(如“不对,重来”),容易耗尽上下文窗口,导致模型迷失方向或产生“噪声”(无关信息)。
· 上下文瓶颈:LLM 本质上是“纯函数”——输出质量仅取决于输入。编码智能体的循环过程(搜索文件、理解流程、编辑代码)会快速填充窗口,造成信息过载、遗漏或错误。
· 团队痛点:AI 生成的20,000行代码 PR 难以审查,导致团队脱节。Dex 分享个人经历:与顶尖 AI 编码者合作时,他被迫放弃逐行审阅,转而依赖规格来“放手”。
目标设定:适用于大型复杂代码库、解决真实问题、无“垃圾”代码、生产级输出,并最大化 tokens 利用率。
关键策略:从压缩到工作流程的重构
Dex 提出“一切皆上下文工程”的理念,优化四个维度:正确性(无坏信息)、完整性(无缺失)、大小(控制噪声)和轨迹(保持方向)。他避免了低效工具(如简单的/slashcompact 命令),转而采用以下高级方法:
1. 有意压缩(Intentional Compaction):
· 非简单重启,而是创建“进度文件”(progress file),记录关键摘要(如文件路径、变更意图、测试计划)。这比原始代码短得多,便于后续代理继承上下文。
· 公式化思考:有效 tokens ≈ 总 tokens(~170k) - 噪声 tokens。Dex 引用 Jeff Huntley 的 “Ralph Wigum as a Software Engineer” 文章,证明循环运行相同提示(而非随意迭代)能显著提升结果。
2. 子智能体(Subagents)的上下文控制:
· 用于隔离任务,如“查找信息流”而不污染主上下文。子智能体返回结构化响应(e.g., 文件名+行号),避免“电话游戏”式的信息失真。
· 挑战:非确定性系统易混乱,因此需精确提示父智能体如何指导子智能体。
3. 频繁有意压缩与三阶段工作流程:
· 研究阶段:使用开源提示模板,生成系统概述(文件、数据流、问题定位)。输出简洁,便于智能体快速定位。
· 规划阶段:要求智能体列出所有变更(文件、代码片段、验证步骤),形成“实施计划”。计划通常比代码短,易于人类审查。
· 实施阶段:基于计划编码,保持上下文利用率<40%。每步完成后更新计划,重启新窗口。
· 整体循环:研究 → 规划 → 实施 → 人类审查 → 迭代。Dex强调:审阅200行计划远胜于2000行代码,能及早捕获错误,并维持团队“心智对齐”(mental alignment)——代码审查的核心价值。
这些提示模板开源,可在 GitHub 找到。Dex 坦言:这不是“魔法”,需仔细阅读和调整。
实践案例:从 Rust 修复到 WASM 集成
· Rust 代码库修复:Dex 与另一 YC 创始人 Vibhav(BAML创建者)合作,一次性修复30万行 Rust 代码库的 bug。过程记录在75分钟播客中,最终 PR 被 CTO 悄然合并——证明适用于遗留系统,无需重工。
· 复杂问题解决:与 Boundary CEO 合作,7小时内生成/编写35,000行代码,添加 WASM 支持,相当于1-2周工程工作。验证了策略在生产环境的可行性。
启示与未来展望
Dex 的核心洞见:代码错误源于上游——坏研究可酿成数千行坏代码,坏计划则放大数百倍。因此,优先投资规格和系统理解,而非纠结代码细节。他的团队(3人)一个月内消耗大量 API 信用,但节省了大量工程时间:实习生首日即发2个 PR,第8天达10个;Dex 本人两个月未打开非 Markdown 文件。
展望:编码智能体将趋于商品化,但团队转型(拥抱规格优先、频繁审查)才是难点。Human Layer 正协助从6人 YC 初创到千人大企实现这一转变。
视频地址:
专注 - Context Engineering, AI(Coding)Agents.
分享 - AI papers, apps and OSS.
ex Microsoft MVP
合作 - 私信/邮箱:shaomeng@outlook.com
📢 公众号/小红书: AI 启蒙小伙伴
🔗 信息卡提示词 🔽