过去一年,产品圈几乎所有关于 AI 的争论,都围绕着一个错误的问题展开:用哪个模型。
而真正决定你的 AI 能不能干成活的那个东西,绝大多数人连它的名字都没听说过。
先看一组数据。
2026 年 7 月,Databricks 公开了一份内部基准测试。他们没有用 SWEBench 这类公开榜单,而是从自己那个数百万行、横跨十几种语言的真实代码库里,挑出工程师最近实际合并过的 PR,改造成测试任务,然后让市面上主流的模型和工具跑一遍。
其中有两个结果,值得每一个正在做 AI 产品的人停下来读三遍。
第一个:单价便宜的模型,总账反而更贵。
Sonnet 5 的 token 单价大约是 Opus 4.8 的六折,直觉上应该更省钱。但实测下来,Sonnet 5 每个任务花掉 2.09 美元,Opus 4.8 只要 1.94 美元。原因是 Sonnet 干活时读得更多、绕得更远,总共多烧了 1.9 倍的 token。任务完成率还低了六个百分点,81% 对 87%。
第二个,也是更重要的那个:同一个模型、同一档思考强度,换一套执行工具,单任务成本能差出两倍以上,而质量几乎不变。
Databricks 拿 Claude Code、Codex 和一个叫 Pi 的工具做对比,模型完全相同,参数完全相同。差异出在一个很朴素的地方——每一轮对话,各自往模型里塞了多少上下文。Pi 每轮送进去的上下文大约只有别人的三分之一。它把工作区间管得更紧,用更少的轮次把活干完了。
Databricks 在文章里写了一句结论:模型选择只是拼图的一块。
如果你只记住这篇文章的一句话,那就记这句:
你以为你在选模型,其实你在选执行系统。
那个执行系统,有个专门的名字,叫 harness。
一、先给一个能带走的定义
关于 Agent 是什么,市面上的定义已经多到没法看了。有人说是"能自主决策的智能体",有人说是"具备规划、记忆、工具调用能力的 AI 系统",还有人干脆把公司里所有沾了 AI 的产品都改名叫 Agent。
这些定义的共同毛病是:说完之后,你还是不知道该怎么判断眼前这个东西算不算。
所以这篇文章只给一个定义,一个你能带走、能用来做判断的定义:
Agent = LLM + Harness

会自己动手干活的 AI。LLM 负责判断,harness 负责让判断变成真实世界里的动作。
LLM 是大脑。它读输入,做判断,输出下一步该干什么。但它本身什么也做不了——它不能打开文件,不能发邮件,不能执行一条命令。它只能说话。
Harness 是身体、工具、记忆和规矩的总和。它决定这个大脑能看见什么、能碰什么、能记住多少、哪些操作需要先问过你。
英文里 harness 原本指马具——套在马身上的那套皮带、缰绳和挽具。这个词选得很准。马再快,没有挽具就只能自己跑,套上挽具才能拉车。而且挽具的做工,直接决定这匹马能拉多重、走多稳、会不会脱缰。
把这个定义摆出来之后,Databricks 的那组数据就不再反直觉了。同一匹马,套两副挽具,一副做工精细,一副松松垮垮,跑出来的结果当然不同。
这个定义为什么重要?因为它把选型从一维变成了二维。
过去我们的选型是一条线:GPT、Claude、Gemini、DeepSeek、Qwen……往右走就是更强。现在它是一个平面:横轴是模型,纵轴是 harness。同一个模型配不同 harness,可以落在这个平面上完全不同的位置。
再说得直白一点:当有人跟你说"我们的 Agent 用的是最强的模型"时,他其实什么都没说。
二、"Agent"这个词是怎么被讲糊的
在拆 harness 之前,得先处理一个更基础的问题:为什么这么关键的一层,被集体忽略了这么久?
- 模型厂商的叙事把注意力全吸走了
发布会、跑分、榜单、参数量、上下文窗口——所有的营销资源都压在模型这一层。这不奇怪,模型厂商卖的就是模型。但结果是,整个行业的注意力被训练成了单一维度:谁更强。
harness 没有发布会。没有人会为"我们的上下文压缩机制迭代到了第四代"开一场直播。
- 换模型是最低成本的动作
效果不好怎么办?换个模型试试。这个动作只需要改一行配置,五分钟出结果。而改 harness 要动架构、要重新设计上下文策略、要重新划权限边界,是以周为单位的工程量。
人总会先做便宜的那个动作,然后在便宜的动作里反复循环,直到撞墙。
- Harness 不可见,模型名可见
用户能看到"由 GPT5 强力驱动",看不到"每轮上下文控制在 X token 以内"。产品经理写 PRD 时能写"接入某某模型",写不出"设计一套四层递进的压缩管线"——因为他根本不知道有这个东西。
可见的部分被反复优化,不可见的部分被长期忽略。这是产品行业的老规律,在 AI 时代重演了一遍。
- 套壳产品也自称 Agent
一个在模型前面加了段提示词的问答框,叫 Agent。一个把三次 API 调用串起来的流程,也叫 Agent。当一个词可以指代任何东西的时候,它就不再指代任何东西。
- 演示视频只展示成功路径
所有 Agent 的 demo 都长得差不多:输入一句话,等待,输出一个漂亮结果。你看不到它失败的那 40 次,看不到它中途忘了前面说过什么,看不到它差点把不该删的文件删了。
而 harness 存在的全部意义,恰恰是处理这些不出现在 demo 里的情况。
那么,怎么判断一个东西算不算 Agent?
给一条可以当场验证的分界线,两个条件,缺一不可:
第一,它能不能自己决定下一步。如果每一步都是你预先编排好的,A 完了走 B,B 完了走 C,那是 workflow(工作流),不是 Agent。Workflow 没有不好,很多场景下它更可靠、更便宜、更好排查。但它不是 Agent。
第二,它能不能观察结果再调整。执行完一个动作之后,它会不会去看这个动作的真实结果,然后基于结果决定下一步?如果它只是按顺序把预设动作做完,不管中间发生了什么,那还是 workflow。
这两条合起来,就是 agent loop——Agent 的最小闭环。后面第四节会展开。
三、Harness 的四个零件
拆开任何一个能干活的 Agent,你会发现里面装的东西高度一致,就四样:system prompt、tools、context、安全机制。

差别不在有没有,而在做得糙还是细。
零件一:System Prompt——它的岗位说明书
很多人把 system prompt 理解成"提示词工程",理解成怎么把话说得更漂亮让模型听话。这个理解太浅了。
在 harness 里,system prompt 承担的是岗位定义的功能,它至少要交代清楚四件事:
身份:你是谁。不是"你是一个乐于助人的助手"这种废话,而是"你是一个在多语言代码库里做增量修改的工程师,你不熟悉这个项目的历史,遇到不确定的地方要先读代码而不是猜"。
可用工具:你手里有什么。以及每样工具什么时候该用、什么时候不该用。
行动方式:你该怎么干活。先看后动还是边看边动?改完要不要跑测试?拿不准的时候是问人还是自己决定?
边界:什么事你不能做。
这四条对应到笔记里的原始表述就是:身份、你会用什么工具、以什么方式去行动、以及自我介绍。
缺了它会怎样? 模型会用它训练时的默认习惯来干活。这个默认习惯是几亿人平均出来的,不是为你的场景优化的。你会发现它总在做一些"技术上没错,但在我们这儿不该这么干"的事。
这里有个反直觉的点,值得单独说。
前面提到的 Pi,是 Earendil 公司做的一个极简 coding agent。它默认只给模型四个工具:read、bash、edit、write。读文件、跑命令、改文件、写文件,没了。subagent、plan mode、权限弹窗这些,全部丢给扩展去做。它的 system prompt 加上工具定义,官方说控制在 1000 token 以内。
按常理,工具越少能力越弱。但 Databricks 的实测里,Pi 在多个场景下表现最好。
Composio 也做过一组对比测试:让 8 套不同的 agent 工具调用同一个模型,完成 30 项任务。Pi 做对 20 项,排第一。
原因不难理解:system prompt 和工具定义里塞的每一句话,都在跟你的真实任务抢模型的注意力。当一个 harness 内置了大量默认指令、大量工具说明、大量"以防万一"的规则时,模型在真正开始干活之前,已经被喂了几千 token 的噪音。
写过 PRD 的人对这个应该很有共鸣:一份把所有边界情况都写进去的一百页文档,开发看完之后,往往比看一份讲清楚核心目标的五页文档做得更差。
零件二:Tools——它的工具箱
Tools 是模型通过 function call 能调用的东西。这是 Agent 和聊天机器人最直观的分界:聊天机器人只能告诉你"你可以打开终端输入这条命令",Agent 直接把命令跑了。
工具设计有三个常被忽略的点:
第一,工具的粒度比数量重要。 四个通用工具(读、写、改、执行)能组合出的动作,往往比四十个专用工具更多。专用工具的问题是模型得先在四十个里挑对那一个,挑错的概率随数量上升。
第二,工具的返回值要为"下一步判断"服务。 一个工具返回三千行日志,和返回"失败了,原因是端口被占用",对模型来说是天壤之别。前者会瞬间吃掉上下文预算,后者直接给出下一步动作的依据。这一点在设计上很容易被工程同学忽略,因为对人来说日志越全越好,对模型不是。
第三,MCP 让工具从"内置"变成了"可插拔"。 现在主流的 harness 基本都支持 MCP 协议,意味着工具层不再需要 harness 厂商亲自开发。这是一个结构性变化:工具的丰富度不再是 harness 的核心竞争力,怎么管好这些工具才是。
零件三:Context——它的记忆和笔记本
这是四个零件里最难做、差异最大、也最能拉开产品档次的一块。
问题的根源是:模型的上下文窗口是有限的,而且,这个窗口越满,模型表现越差。
第二句是关键。很多人以为上下文窗口就像硬盘,没满就没事。实际不是。上下文填得越满,模型的注意力被分散到越多 token 上,旧的、不相关的内容开始干扰当前任务。典型症状是:它开始前后矛盾,忘了二十轮之前已经达成的决定,引用一个根本不存在的变量名。
一个长任务跑上几个小时,上下文一定会撑爆。所以每个 harness 都必须回答一个问题:满了怎么办?
最粗暴的答案是滑动窗口——把最老的对话直接丢掉。这个方案的问题是,最老的那部分往往包含了最重要的东西:用户最初的需求是什么、我们为什么选了方案 A 而不是方案 B。丢掉这些,Agent 就变成了一个只记得最近五分钟的失忆患者。
成熟的做法是压缩,而不是丢弃。
以 Claude Code 为例,社区对它的源码做过比较细的拆解,它的压缩不是单一动作,而是一套从轻到重的分层机制:
最轻的一层,不调用模型,纯规则操作:把旧的、大块的工具输出结果清掉。比如二十轮之前读过的那个三千行文件,内容清掉,"我读过这个文件"这个事实保留。这一层每轮都跑,几乎不耗时。
往上一层,当上下文用量接近阈值时(社区反推的数值大约在有效窗口的 83% 左右,或者说有效窗口减去一万三千 token 的缓冲),触发真正的压缩:把整段对话历史交给一个独立的模型实例,让它生成摘要,然后用摘要替换原文。
再往上,还有兜底层:如果压缩之后依然超限,API 返回错误,系统会再走一轮更激进的紧急压缩。
这套设计的核心原则,社区总结得很精准:尽可能用廉价的规则操作,延迟昂贵的模型调用,只在不得已时才丢弃信息。
还有两个细节值得产品经理注意:
其一,摘要不是随便摘的。 Claude Code 的压缩提示词会去读项目根目录的 CLAUDE.md,如果你在里面写了"总结时重点关注 TypeScript 的改动,以及踩过的坑和解决方法",压缩时就会按这个偏好来。这意味着"该记住什么"是可配置的,是产品设计决策,不是技术黑盒。
其二,压缩后必须能回溯。 摘要里会附上完整会话记录的文件路径。摘要是给模型看的精简版,原始记录还在硬盘上,需要时能翻回去。这个设计对应笔记里那句"知识还是树形,可找到原来的信息"——摘要是索引,不是替代品。
Hermes 走的是另一条路,更值得借鉴。它不把所有技能说明都塞进 system prompt,而是默认只放一份极轻量的目录——每个技能只留名字和一句话描述。Agent 判断某个技能跟当前任务相关时,才通过一个专门的加载动作把完整内容读进来。
社区把这两种模式的差别形容为"重型背包"和"动态图书馆":一个是出门前把所有可能用到的东西都背上,一个是先看目录再决定翻哪一本。
这个思路,其实就是产品设计里的懒加载。只不过这次省的不是流量,是模型的注意力。
零件四:安全机制——它的权限和沙箱
这是最容易被跳过,但一旦出事就是大事的一块。
一个能执行 bash 命令、能读写文件、能发消息的 Agent,本质上是你把电脑的一部分控制权交出去了。它不需要有恶意,只需要理解错一次,就可能造成不可逆的后果。
成熟的做法有三层:
第一层,工具和操作分等级。 不是所有动作都同等危险。读文件是安全的,改文件是中等的,删文件、发送外部请求、执行未知脚本是高危的。低危动作直接放行,高危动作必须人工确认。
第二层,沙箱。 让 Agent 在一个隔离环境里干活,出了问题不影响真实环境。Databricks 在做基准测试时就用了这个思路的一个变体——他们发现早期有些模型分数高得离谱,查了轨迹才知道,因为任务都来自已合并的提交,Agent 直接翻 git 历史把正确答案找出来了。于是他们在每次运行期间把工作副本跟仓库完全切断。这件事本身就说明:只要给了 Agent 一个 shell,它会用尽一切你没想到的路径去达成目标。
第三层,hook——在关键节点强制插入检查。 Claude Code 里有一套 hook 机制,可以在工具调用前、调用后、任务结束等节点挂上自定义脚本。典型用法是:写完代码必须跑测试,测试不过不算完;或者在执行任何删除操作前强制弹窗确认。
hook 和 system prompt 的区别,是"要求"和"保证"的区别。你在 system prompt 里写"改完代码请务必运行测试",模型大概率会照做,但不保证。你用 hook 把测试挂在代码修改动作之后,它就必须发生。
对产品经理来说,这个区别至关重要:凡是不能出错的环节,都不该只靠提示词。
四、Agent Loop:把四个零件串起来
四个零件装好之后,需要一个东西让它们转起来。这个东西就是 agent loop。

它的结构简单到有点朴素:
执行一个动作 → 观察当前状态 → 判断下一步 → 再执行
循环,直到任务完成或者被叫停。
就这样。所有花哨的 Agent 架构,剥到最里面都是这个循环。
但这个循环就是 Agent 和 workflow 的分水岭,理由前面说过:workflow 的下一步是预先写死的,Agent 的下一步是当场判断的。
"观察当前状态"这一步尤其容易被低估。它意味着 Agent 执行完动作后,会去看真实世界的反馈——命令的返回码、文件的新内容、接口的响应——然后基于这个反馈重新判断。这是它能自我纠错的唯一来源。
一个不观察结果的 Agent,跟一个闭着眼睛按流程走的机器人没有区别。
循环还有一个变体,值得单独提:主动触发。
大部分 Agent 是被动的——你说一句,它动一下。但 OpenClaw 这类"长期在线"的 Agent 走的是另一条路:它有心跳机制,每隔一段时间自己醒一次,问一句"现在有什么要做的吗",然后根据日程、邮件、消息里的新情况决定要不要行动。
从"你叫它才动"到"它自己会醒",这是产品形态上的一次跃迁。前者是工具,后者更接近"雇了个人"。当然,代价是它需要一直跑着,需要更严格的权限管理,也需要更好的成本控制。
五、用这个框架去看六个真实产品
有了四个零件加一个循环,现在我们可以拿它当尺子,去量市面上的产品了。
Pi:极简主义的胜利
Earendil 出品的 coding agent harness。四个工具,read / bash / edit / write,system prompt 和工具定义控制在千 token 以内。subagent、plan mode、MCP 全部交给扩展。
它在四个零件上的选择: system prompt 极短,tools 极少,context 管得极紧(Databricks 实测每轮上下文只有别人的三分之一),安全和权限交给外部环境。
验证它的不只是自己人。 Databricks 在自家代码库上的基准测试里,Pi 配 Claude Opus 4.8 拿到了最高通过率之一,成本还显著低于更复杂的方案。Shopify 则基于 Pi 的扩展机制做了一套自动优化循环,实测把单元测试跑得快了 300 倍,React 组件挂载快了 20%。
需要说明的是,Pi 官方的案例材料是厂商自己发的,有推广性质;但 Databricks 和 Shopify 是独立验证,这让结论可信度高了不少。
它证明了什么: 少即是多,在 harness 这一层同样成立。
Claude Code:把工程规范写进文件
Anthropic 的编码 Agent,harness 的设计非常"工程化",核心是几个约定好的 markdown 文件:
CLAUDE.md:项目规范。用什么语言、什么框架、代码风格是什么、这个项目有哪些坑、哪些目录不要碰。相当于新人入职手册。
记忆机制:之前做了什么,接下来要做什么。跨会话保持状态的关键。
hooks:在工具调用的关键节点强制插入检查。写完代码必须测试、危险操作必须确认,这类"必须发生"的事情由它保证。
配合前面讲过的四层压缩管线,它在 context 这块做得相当细。
它证明了什么: harness 可以是可读、可改、可版本管理的文本。这一点对团队协作的意义被严重低估了——CLAUDE.md 可以提交到仓库里,全组共享,像代码一样评审和迭代。
OpenClaw:把 Agent 变成常驻角色
2026 年最出圈的开源 Agent 项目,由 PSPDFKit 创始人 Peter Steinberger 开发,最早叫 Clawdbot,后来改名 Moltbot,最终定名 OpenClaw,社区叫它"小龙虾"。GitHub star 数以十万计。
它的差异化在两个地方:
一是长期在线。它不是你打开才用的工具,而是一直跑着的助理,通过心跳机制主动询问有没有事要做,还能接进飞书、Discord 这些日常聊天工具。
二是文件驱动的身份系统。SOUL.md、AGENTS.md 这类文件定义 Agent 是谁、怎么行动,人写规则,Agent 执行规则。控制权明确留在人手里,所有操作需要显式授权。
它的短板也很明确:社区形容它是"重型背包"模式——每次会话把各种设定文件一股脑塞进上下文,设定越多背包越沉,token 浪费严重,模型注意力也被稀释。这正好是前面讲的 context 那一块没做好的典型表现。
它证明了什么: Agent 可以从"工具"变成"角色"。但角色化的代价是上下文管理难度陡增。
Hermes:让 Agent 自己长本事
Nous Research 出品。它和 OpenClaw 兼容(有专门的迁移命令,能直接读 ~/.openclaw 目录),但设计哲学完全不同。
OpenClaw 的技能是人手写的 markdown:你写多少它会多少,你不写它就不会。 这是一个需要持续人工喂养的体系。
Hermes 加了一个学习循环: Agent 干完一个复杂任务后(社区反馈的触发条件之一是工具调用超过五次),会自动把整个解决过程提炼成一份 markdown 格式的技能文档。下次遇到同类问题直接调用。后续如果发现更好的路径,还会回头更新这份文档。
配合前面说的"动态图书馆"式技能加载——默认只在上下文里放技能目录,用到时才加载全文——它把"技能越多越沉"这个问题也一并解了。
它还提供了 Skills Hub,社区技能可以跨安装移植共享,预装的领域技能解决冷启动问题,自我进化解决越用越强。
它证明了什么: harness 里可以内置"经验沉淀"的机制。这可能是 Agent 产品下一个阶段最重要的竞争维度——不是谁的能力强,是谁的能力会自己长。
不过要清醒:自我进化的另一面是透明度和可控性下降。它学到的东西对不对,得靠你去检查。OpenClaw 那种"人在决策链中心"的路线,在需要严格审计的场景下反而更合适。社区里已经有人在两者之间做组合——Hermes 当指挥位,OpenClaw 当执行位,各取所长。
WorkBuddy:办公场景的本土化封装
腾讯云 CodeBuddy 团队出品的 AI 办公工作台,覆盖日常办公、代码开发和设计创意。你用自然语言下任务,它自己拆解、规划、执行,最后交付一个可以直接验收的结果——周报、纪要、调研报告、PPT。
它的选择很清楚:把 harness 的复杂度全部藏起来,只暴露结果。 免部署,装完就能用,预集成了混元、DeepSeek、GLM、Kimi、MiniMax 等多个模型,用户不需要关心模型配置。兼容 OpenClaw 的技能格式和 MCP,官方的技能市场规模相当可观。腾讯内部曾披露有超过 2000 名非技术员工参与内测。
需要澄清一点:它不是完全免费。 基础功能免费,采用 Credits 计费模式,高频使用需要购买额度,企业版另有方案。
它证明了什么: 对非技术用户,harness 应该是不可见的。但"不可见"不等于"不存在"——它的安全机制主要依赖客户端的高危指令拦截,企业如果要大规模用,策略层的管控还是省不掉。
OpenCode:不绑定任何一家的开源选项
由 Anomaly 团队(原 SST,做过 terminal.shop)开发的开源 coding agent,MIT 许可,主要用 TypeScript 和 Bun 写成。
很多人把它理解成"低配版 Claude Code",这个理解不准确。 它的核心主张是 provideragnostic——不绑定任何一家模型厂商,通过 Models.dev 注册表能接七十多家提供商,包括 Anthropic、OpenAI、Google、DeepSeek,也能通过 Ollama 接本地模型。它有终端 TUI、桌面应用和 IDE 扩展三种形态,对话存在本地 SQLite 里,整套系统可以自己部署。GitHub star 数同样在十几万量级。
它内置两个可以随时切换的 agent 模式:build(完整权限,用于开发)和 plan(只读,用于分析和探索代码)。这个设计本身就是权限分级的一个漂亮实现——不是弹窗问你,而是让你显式地选择当前处于哪个模式。
它证明了什么: harness 的价值之一是避免锁定。模型会一直换代,能平滑换模型的执行系统,比绑死在某一家上更抗风险。Databricks 在文章结尾也表达了同样的意思:他们警惕的不只是供应商锁定,还有那些让团队逐渐失去灵活性的假设。
横向对比
| 核心定位 | System Prompt | 工具策略 | Context 策略 | 安全机制 | 适合谁 | |
|---|---|---|---|---|---|---|
| Pi | 极简编码 harness | 千 token 以内 | 只有 4 个原生工具 | 每轮上下文约为同类的 1/3 | 交给外部环境 | 追求成功率和成本效率 |
| Claude Code | 工程化编码 | CLAUDE.md 可配置 | 丰富 + MCP | 四层递进压缩,可回溯 | hooks 强制检查 | 团队协作、规范要求高 |
| OpenClaw | 长期在线私人助理 | 文件驱动(SOUL.md 等) | 社区技能量大 | 全量加载,偏重 | 显式授权,人在决策链中心 | 想要"数字员工"、可接受折腾 |
| Hermes | 自我进化 Agent | 轻量索引 | 按需加载技能 | 动态图书馆式 | 自动化高,透明度较低 | 长期使用、重视经验沉淀 |
| WorkBuddy | 办公工作台 | 用户不可见 | 技能市场 + MCP | 封装在产品内 | 客户端高危拦截 | 非技术岗、中文办公场景 |
| OpenCode | 不绑定厂商的开源方案 | 可配置 | 丰富 + MCP | 本地存储 | build / plan 模式分级 | 要自主可控、要换模型自由 |
选型建议,一句话版本:
写代码,团队有规范要求 → Claude Code
写代码,看重成功率和成本 → Pi
写代码,不想被绑定 / 要自己部署 → OpenCode
办公场景,非技术团队 → WorkBuddy
想要一个常驻的私人助理 → OpenClaw
长期用、希望它越用越懂你 → Hermes
六、方法论:这个框架,明天上班怎么用
前面讲的所有内容,如果不能变成你手上的动作,就白讲了。这一节给具体的。

第一件事:把选型问题从一维改成二维
以后再遇到"我们该用哪个模型"这个问题,把它拆成两个:
-
这个任务需要多强的判断力? 决定模型档次。
-
这个任务需要什么样的执行系统? 决定 harness。
Databricks 的做法值得抄:他们发现工程师日常任务里,四分之一是低复杂度的(改个配置、翻个开关),六成是中等复杂度的,但默认用的却一直是最贵的模型。看清楚这个分布之后,他们把大量工作下放到了更便宜的模型档位。
你的团队大概率也有同样的浪费。先去看真实的任务分布,再决定配什么。
第二件事:需求评审时,问这六个问题
这是我认为对产品经理最实用的部分。下次技术同学跟你说"我们做个 Agent",把这六个问题问出来。答不上来的,就是还没设计到的地方:
-
上下文超了怎么办? 是直接丢老的,还是压缩?压缩用什么策略?压完还能不能找回原文?
-
哪些操作必须人工确认? 这个清单在哪儿定义的?是写在提示词里,还是有强制机制?
-
它失败的时候,我们怎么知道? 有没有日志、有没有轨迹、能不能复现?
-
同一个任务跑十次,成功几次? 如果答不上来,说明还没建评测。
-
经验怎么沉淀? 这次踩的坑,下次会不会再踩一遍?
-
换个模型要改多少东西? 如果答案是"要重写一半",那这个架构有锁定风险。
这六个问题,全都在 harness 层,一个都不在模型层。
第三件事:自己动手跑一次
看十篇文章不如自己跑一次。最低成本的路径:
非技术岗:装 WorkBuddy 或者 OpenClaw,给它一个你每周都要做一遍的重复任务——整理周报、汇总数据、批量改文件名。观察它在哪一步卡住。卡住的那一步,就是 harness 没设计好的地方。
有技术基础:装 OpenCode 或 Claude Code,找一个真实的小需求让它做。重点不是看它做没做成,而是打开它的配置文件,看看四个零件分别长什么样。这比读一百篇解析都直观。
跑完之后你会得到一个别人没有的东西:对失败模式的直觉。知道 Agent 会在哪儿掉链子,比知道它能干什么重要得多。
第四件事:建立自己的评测集
Databricks 那篇文章里,我认为最有价值的一句话是这个意思:任何一个有历史代码合并记录的团队,手上其实已经躺着一套基准测试了——任务是真的,评分标准是你自己写的测试,而且没有任何模型在上面训练过。
这个思路可以直接迁移到非代码场景:
客服团队有历史工单和真实回复
运营团队有过往的活动方案和实际效果
财务团队有做过的报表和核对记录
把过去三个月的真实任务挑二十个出来,把标准答案存好,让候选方案各跑一遍。这比看任何公开榜单都有用,因为公开榜单的题目早就泄漏进训练数据了,而你的历史任务没有。
不用一开始就搞得很复杂。二十个任务、一张表格、人工打分,一周之内能做完。做完之后,你在选型会上说的每一句话都有据可依。
第五件事:先做减法,再做加法
前面 Pi 的例子已经说明了:工具越多、指令越长、默认规则越密,未必效果越好。
所以设计第一版的时候,反过来:
从最少的工具开始,能用四个通用工具解决的,不要造二十个专用的。
从最短的 system prompt 开始,只写你确定必要的那几句。
每加一样东西,都要能说清楚它解决了哪个具体的失败案例。说不清楚的,说明是"以防万一",砍掉。
这个原则我称之为:给 Agent 的每一句话,都在跟你的任务抢注意力。
结语
回到开头那组数据。
同一个模型,换一套执行系统,成本差两倍,质量不变。这件事在提醒我们一个更朴素的道理:能力和把能力用出来,是两回事。
过去两年,行业把几乎所有的资源和注意力都投在了"提升能力"上,模型一代比一代强。但决定这个能力最终值多少钱的,是外面那一层不起眼的东西——它看得见什么、记得住什么、被允许碰什么、出错时能不能自己爬起来。
模型是买来的,harness 是自己搭的。
买来的东西,所有竞争对手都能买到。自己搭的那部分,才是你的。
对产品经理来说,这可能是这一轮技术变革里,为数不多还留给我们的位置。定义身份和边界、设计信息该怎么取舍、判断哪些操作不能出错——这些从来都不是纯粹的技术问题,它们是产品问题。
只是这一次,我们服务的对象不是人,是一个会自己动手的系统。
本文中涉及的产品数据与技术细节,来自 Databricks 官方工程博客(2026 年 7 月)、各产品官方文档,以及开源社区对相关项目的源码分析。技术细节随版本迭代变化较快,落地前建议以官方最新文档为准。