从“LLM+工具”到Harness 工程:Lilian Weng新文的技术拆解,与一个生产级参考实现
早期讲Agent,常见公式是:Agent= LLM + memory + tools + planning + action。

Lilian Weng翁荔在《Harness Engineering for Self-Improvement》里说得很直接:这个公式没错,但已经太轻了。真正长时间跑起来的 Agent,不只是“模型加工具”,它更像一个小型操作系统:负责调度任务、分配上下文、保存状态、调用外部能力、检查输出、处理失败。
她把那层系统命名为Harness,并指出它与操作系统的强类比:封装复杂逻辑,同时保持接口简洁。配置、工具接口、协议正在行业里逐渐标准化。

三大设计模式,逐个拆
模式一:工作流自动化
不是让模型一次性给答案,而是进入一个目标导向循环:计划 → 执行 → 观察/测试 → 改进 → 再执行,直到达成目标。Karpathy 的 autoresearch 是简洁范例;Codex Agent 循环是工业范例。
关键点:模型通过“Agent 运行时”分析自身的执行轨迹和失败案例并据此迭代,而不是依赖静态提示词模板。
模式二:文件系统作为持久化记忆
长周期 Agent 产生的实验日志、代码 diff、论文摘要、错误追踪、历史轨迹,往往远超上下文窗口。Harness不应把整个工作流和所有日志都塞进上下文,而应将持久化状态保存在文件中。
反直觉但极其实用:我们总想发明更复杂的记忆系统,但很多时候,最耐用的记忆就是目录、文件名、日志和可检索文本。
模式三:子 Agent 与后台任务
主 Agent 派生子 Agent 并行执行互不干扰的假设、搜索、实验,并监控后台任务。父Agent 需要一个“小型进程管理器”:启动任务、检查日志、取消失败运行、合并结果。
关键设计选择:让并行性显式且可检查。 如果子 Agent 输出只存在于短暂对话上下文,它们很快过时并被隐藏;如果存为文件、日志和状态记录,模型就能在中断后恢复,并对自身执行历史推理。
再往上:优化对象在层层递深
翁荔梳理了 Harness 优化对象的演进:指令提示词 → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码。
- ACE(Agentic Context Engineering):把上下文当作不断演化的“操作手册”(playbook),生成器 + 反思器 + 策展人三组件维护结构化条目,防止上下文崩溃与“简短偏见”

- MCE(Meta Context Engineering):把“机制”与“产物内容”分离,元层面进化上下文管理技能

- Meta-Harness:优化对象是"决定哪些信息被存储、检索并呈现给模型的代码"本身——用于优化 harness 的 harness。一旦 Harness 设计成为可执行的搜索空间,编程 Agent 就能利用与人类工程师相同的设计空间



- STOP / Self-Harness / AlphaEvolve / DGM:自我改进型Harness。工程铁律:先挖失败模式 → 提出有限的修改 → 用回归测试决定是否接受。自我改进不能靠“模型觉得自己更好了”,必须有外部评测、保留集、回归检查、权限边界

生产级参考实现
对照三大模式与优化链条,帮手平台的技术架构是一个可对照的生产级参考:
任务对象化 + 状态机 = 工作流自动化的工程落地
帮手中的每个任务不是对话里的自然语言片段,而是显式登记、分派、调度、执行、阻塞、完成和归档的业务对象。
状态机回答四个关键问题:是否该执行(依赖未满足的任务不能被错误调度)、由谁执行(每任务绑定责任专家)、如何判断完成(必须有运行记录、摘要或可审计产物)、失败如何处理(阻塞、告警和评论进入显式反馈链路)。这是防止协作失控的第一道工程边界——错误不会在协作链条中被放大。
Harness 层的可靠性基础
HS(Heuristic System)确定性运行时为智能体动作提供沙箱隔离与断言校验。核心思想:大模型是“在法典边界内起草的办事员”,不是最终判决者。 该架构已入选工业和信息化部优秀案例。
对照翁荔的“权限控制”与“评测独立性”原则:HS 在运行时层面回答“能读什么、能写什么、能执行什么、什么必须人工确认”。
空间文件 + 双轨资产库 = 文件系统作为持久记忆的企业版
翁荔说文件是最耐用的记忆。帮手把这条原则做到组织级:交付物自动归档进空间文件,向上接入双轨资产库——经验进经验库(语义树+时效审计)、制度进策略库(可计算策略)。失败样本反写知识库、进入黄金回归测试集——这正是翁荔"保留失败记录"的工程实现。
五位一体 = Harness 工程的质量验收标准
|
维度 |
机制 |
对应原则 |
|
可观测 |
任务看板实时展示状态、事件、摘要、依赖、评论 |
让并行性显式且可检查 |
|
可调度 |
任务从待办推进到可执行,触发专家执行 |
工作流自动化 |
|
可追责 |
每任务绑定专家和运行记录 |
评测放循环外 |
|
可恢复 |
阻塞和告警进入显式处理链路,崩溃从断点继续 |
保留失败记录 |
|
可沉淀 |
完成摘要、失败样本、执行经验反写知识资产 |
上下文成为可维护的工作记录 |
总结
- 把工程精力从“调提示词”转移到“搭 Harness”。 翁荔的优化链条已经指明方向:指令 → 上下文 → 工作流 → Harness 代码。越往后,回报越高。
- 先上文件系统,再想复杂记忆。 计划、日志、结果、失败、决策写成文件,很多问题会先简单一半。
- 并行必须显式可检查。 子任务的输出存为文件、日志、状态记录,而不是短暂对话——这是可恢复的前提。
- 评测放在循环外面。 Agent不能自己给自己批卷;引入独立验收层和回归测试集。
- 保留失败。 负结果是上下文最有价值的部分。帮手的黄金回归测试集,就是把失败变成资产。
- 设计人工控制点。 越强的 Agent,越需要更清楚的人类控制点——这不是倒退,是工程纪律。
参考来源
- Lilian Weng, Harness Engineering for Self-Improvement[1], Lil'Log, July 4, 2026.
- Lilian Weng, LLM Powered Autonomous Agents[2], Lil'Log, June 23, 2023.
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐

所有评论(0)