过去一年,产品圈几乎所有关于 AI 的争论,都围绕着一个错误的问题展开:用哪个模型。

而真正决定你的 AI 能不能干成活的那个东西,绝大多数人连它的名字都没听说过。

先看一组数据。

2026 年 7 月,Databricks 公开了一份内部基准测试。他们没有用 SWEBench 这类公开榜单,而是从自己那个数百万行、横跨十几种语言的真实代码库里,挑出工程师最近实际合并过的 PR,改造成测试任务,然后让市面上主流的模型和工具跑一遍。

其中有两个结果,值得每一个正在做 AI 产品的人停下来读三遍。

第一个:单价便宜的模型,总账反而更贵。

Sonnet 5 的 token 单价大约是 Opus 4.8 的六折,直觉上应该更省钱。但实测下来,Sonnet 5 每个任务花掉 2.09 美元,Opus 4.8 只要 1.94 美元。原因是 Sonnet 干活时读得更多、绕得更远,总共多烧了 1.9 倍的 token。任务完成率还低了六个百分点,81% 对 87%。

第二个,也是更重要的那个:同一个模型、同一档思考强度,换一套执行工具,单任务成本能差出两倍以上,而质量几乎不变。

Databricks 拿 Claude Code、Codex 和一个叫 Pi 的工具做对比,模型完全相同,参数完全相同。差异出在一个很朴素的地方——每一轮对话,各自往模型里塞了多少上下文。Pi 每轮送进去的上下文大约只有别人的三分之一。它把工作区间管得更紧,用更少的轮次把活干完了。

Databricks 在文章里写了一句结论:模型选择只是拼图的一块。

如果你只记住这篇文章的一句话,那就记这句:

你以为你在选模型,其实你在选执行系统。

那个执行系统,有个专门的名字,叫 harness。

一、先给一个能带走的定义

关于 Agent 是什么,市面上的定义已经多到没法看了。有人说是"能自主决策的智能体",有人说是"具备规划、记忆、工具调用能力的 AI 系统",还有人干脆把公司里所有沾了 AI 的产品都改名叫 Agent。

这些定义的共同毛病是:说完之后,你还是不知道该怎么判断眼前这个东西算不算。

所以这篇文章只给一个定义,一个你能带走、能用来做判断的定义:

Agent = LLM + Harness

Agent = LLM + Harness:你以为在选模型,其实在选执行系统 · 图 1

会自己动手干活的 AI。LLM 负责判断,harness 负责让判断变成真实世界里的动作。

LLM 是大脑。它读输入,做判断,输出下一步该干什么。但它本身什么也做不了——它不能打开文件,不能发邮件,不能执行一条命令。它只能说话。

Harness 是身体、工具、记忆和规矩的总和。它决定这个大脑能看见什么、能碰什么、能记住多少、哪些操作需要先问过你。

英文里 harness 原本指马具——套在马身上的那套皮带、缰绳和挽具。这个词选得很准。马再快,没有挽具就只能自己跑,套上挽具才能拉车。而且挽具的做工,直接决定这匹马能拉多重、走多稳、会不会脱缰。

把这个定义摆出来之后,Databricks 的那组数据就不再反直觉了。同一匹马,套两副挽具,一副做工精细,一副松松垮垮,跑出来的结果当然不同。

这个定义为什么重要?因为它把选型从一维变成了二维。

过去我们的选型是一条线:GPT、Claude、Gemini、DeepSeek、Qwen……往右走就是更强。现在它是一个平面:横轴是模型,纵轴是 harness。同一个模型配不同 harness,可以落在这个平面上完全不同的位置。

再说得直白一点:当有人跟你说"我们的 Agent 用的是最强的模型"时,他其实什么都没说。

二、"Agent"这个词是怎么被讲糊的

在拆 harness 之前,得先处理一个更基础的问题:为什么这么关键的一层,被集体忽略了这么久?

  1. 模型厂商的叙事把注意力全吸走了

发布会、跑分、榜单、参数量、上下文窗口——所有的营销资源都压在模型这一层。这不奇怪,模型厂商卖的就是模型。但结果是,整个行业的注意力被训练成了单一维度:谁更强。

harness 没有发布会。没有人会为"我们的上下文压缩机制迭代到了第四代"开一场直播。

  1. 换模型是最低成本的动作

效果不好怎么办?换个模型试试。这个动作只需要改一行配置,五分钟出结果。而改 harness 要动架构、要重新设计上下文策略、要重新划权限边界,是以周为单位的工程量。

人总会先做便宜的那个动作,然后在便宜的动作里反复循环,直到撞墙。

  1. Harness 不可见,模型名可见

用户能看到"由 GPT5 强力驱动",看不到"每轮上下文控制在 X token 以内"。产品经理写 PRD 时能写"接入某某模型",写不出"设计一套四层递进的压缩管线"——因为他根本不知道有这个东西。

可见的部分被反复优化,不可见的部分被长期忽略。这是产品行业的老规律,在 AI 时代重演了一遍。

  1. 套壳产品也自称 Agent

一个在模型前面加了段提示词的问答框,叫 Agent。一个把三次 API 调用串起来的流程,也叫 Agent。当一个词可以指代任何东西的时候,它就不再指代任何东西。

  1. 演示视频只展示成功路径

所有 Agent 的 demo 都长得差不多:输入一句话,等待,输出一个漂亮结果。你看不到它失败的那 40 次,看不到它中途忘了前面说过什么,看不到它差点把不该删的文件删了。

而 harness 存在的全部意义,恰恰是处理这些不出现在 demo 里的情况。

那么,怎么判断一个东西算不算 Agent?

给一条可以当场验证的分界线,两个条件,缺一不可:

第一,它能不能自己决定下一步。如果每一步都是你预先编排好的,A 完了走 B,B 完了走 C,那是 workflow(工作流),不是 Agent。Workflow 没有不好,很多场景下它更可靠、更便宜、更好排查。但它不是 Agent。

第二,它能不能观察结果再调整。执行完一个动作之后,它会不会去看这个动作的真实结果,然后基于结果决定下一步?如果它只是按顺序把预设动作做完,不管中间发生了什么,那还是 workflow。

这两条合起来,就是 agent loop——Agent 的最小闭环。后面第四节会展开。

三、Harness 的四个零件

拆开任何一个能干活的 Agent,你会发现里面装的东西高度一致,就四样:system prompt、tools、context、安全机制。

Agent = LLM + Harness:你以为在选模型,其实在选执行系统 · 图 2

差别不在有没有,而在做得糙还是细。

零件一:System Prompt——它的岗位说明书

很多人把 system prompt 理解成"提示词工程",理解成怎么把话说得更漂亮让模型听话。这个理解太浅了。

在 harness 里,system prompt 承担的是岗位定义的功能,它至少要交代清楚四件事:

身份:你是谁。不是"你是一个乐于助人的助手"这种废话,而是"你是一个在多语言代码库里做增量修改的工程师,你不熟悉这个项目的历史,遇到不确定的地方要先读代码而不是猜"。

可用工具:你手里有什么。以及每样工具什么时候该用、什么时候不该用。

行动方式:你该怎么干活。先看后动还是边看边动?改完要不要跑测试?拿不准的时候是问人还是自己决定?

边界:什么事你不能做。

这四条对应到笔记里的原始表述就是:身份、你会用什么工具、以什么方式去行动、以及自我介绍。

缺了它会怎样? 模型会用它训练时的默认习惯来干活。这个默认习惯是几亿人平均出来的,不是为你的场景优化的。你会发现它总在做一些"技术上没错,但在我们这儿不该这么干"的事。

这里有个反直觉的点,值得单独说。

前面提到的 Pi,是 Earendil 公司做的一个极简 coding agent。它默认只给模型四个工具:read、bash、edit、write。读文件、跑命令、改文件、写文件,没了。subagent、plan mode、权限弹窗这些,全部丢给扩展去做。它的 system prompt 加上工具定义,官方说控制在 1000 token 以内。

按常理,工具越少能力越弱。但 Databricks 的实测里,Pi 在多个场景下表现最好。

Composio 也做过一组对比测试:让 8 套不同的 agent 工具调用同一个模型,完成 30 项任务。Pi 做对 20 项,排第一。

原因不难理解:system prompt 和工具定义里塞的每一句话,都在跟你的真实任务抢模型的注意力。当一个 harness 内置了大量默认指令、大量工具说明、大量"以防万一"的规则时,模型在真正开始干活之前,已经被喂了几千 token 的噪音。

写过 PRD 的人对这个应该很有共鸣:一份把所有边界情况都写进去的一百页文档,开发看完之后,往往比看一份讲清楚核心目标的五页文档做得更差。

零件二:Tools——它的工具箱

Tools 是模型通过 function call 能调用的东西。这是 Agent 和聊天机器人最直观的分界:聊天机器人只能告诉你"你可以打开终端输入这条命令",Agent 直接把命令跑了。

工具设计有三个常被忽略的点:

第一,工具的粒度比数量重要。 四个通用工具(读、写、改、执行)能组合出的动作,往往比四十个专用工具更多。专用工具的问题是模型得先在四十个里挑对那一个,挑错的概率随数量上升。

第二,工具的返回值要为"下一步判断"服务。 一个工具返回三千行日志,和返回"失败了,原因是端口被占用",对模型来说是天壤之别。前者会瞬间吃掉上下文预算,后者直接给出下一步动作的依据。这一点在设计上很容易被工程同学忽略,因为对人来说日志越全越好,对模型不是。

第三,MCP 让工具从"内置"变成了"可插拔"。 现在主流的 harness 基本都支持 MCP 协议,意味着工具层不再需要 harness 厂商亲自开发。这是一个结构性变化:工具的丰富度不再是 harness 的核心竞争力,怎么管好这些工具才是。

零件三:Context——它的记忆和笔记本

这是四个零件里最难做、差异最大、也最能拉开产品档次的一块。

问题的根源是:模型的上下文窗口是有限的,而且,这个窗口越满,模型表现越差。

第二句是关键。很多人以为上下文窗口就像硬盘,没满就没事。实际不是。上下文填得越满,模型的注意力被分散到越多 token 上,旧的、不相关的内容开始干扰当前任务。典型症状是:它开始前后矛盾,忘了二十轮之前已经达成的决定,引用一个根本不存在的变量名。

一个长任务跑上几个小时,上下文一定会撑爆。所以每个 harness 都必须回答一个问题:满了怎么办?

最粗暴的答案是滑动窗口——把最老的对话直接丢掉。这个方案的问题是,最老的那部分往往包含了最重要的东西:用户最初的需求是什么、我们为什么选了方案 A 而不是方案 B。丢掉这些,Agent 就变成了一个只记得最近五分钟的失忆患者。

成熟的做法是压缩,而不是丢弃。

以 Claude Code 为例,社区对它的源码做过比较细的拆解,它的压缩不是单一动作,而是一套从轻到重的分层机制:

最轻的一层,不调用模型,纯规则操作:把旧的、大块的工具输出结果清掉。比如二十轮之前读过的那个三千行文件,内容清掉,"我读过这个文件"这个事实保留。这一层每轮都跑,几乎不耗时。

往上一层,当上下文用量接近阈值时(社区反推的数值大约在有效窗口的 83% 左右,或者说有效窗口减去一万三千 token 的缓冲),触发真正的压缩:把整段对话历史交给一个独立的模型实例,让它生成摘要,然后用摘要替换原文。

再往上,还有兜底层:如果压缩之后依然超限,API 返回错误,系统会再走一轮更激进的紧急压缩。

这套设计的核心原则,社区总结得很精准:尽可能用廉价的规则操作,延迟昂贵的模型调用,只在不得已时才丢弃信息。

还有两个细节值得产品经理注意:

其一,摘要不是随便摘的。 Claude Code 的压缩提示词会去读项目根目录的 CLAUDE.md,如果你在里面写了"总结时重点关注 TypeScript 的改动,以及踩过的坑和解决方法",压缩时就会按这个偏好来。这意味着"该记住什么"是可配置的,是产品设计决策,不是技术黑盒。

其二,压缩后必须能回溯。 摘要里会附上完整会话记录的文件路径。摘要是给模型看的精简版,原始记录还在硬盘上,需要时能翻回去。这个设计对应笔记里那句"知识还是树形,可找到原来的信息"——摘要是索引,不是替代品。

Hermes 走的是另一条路,更值得借鉴。它不把所有技能说明都塞进 system prompt,而是默认只放一份极轻量的目录——每个技能只留名字和一句话描述。Agent 判断某个技能跟当前任务相关时,才通过一个专门的加载动作把完整内容读进来。

社区把这两种模式的差别形容为"重型背包"和"动态图书馆":一个是出门前把所有可能用到的东西都背上,一个是先看目录再决定翻哪一本。

这个思路,其实就是产品设计里的懒加载。只不过这次省的不是流量,是模型的注意力。

零件四:安全机制——它的权限和沙箱

这是最容易被跳过,但一旦出事就是大事的一块。

一个能执行 bash 命令、能读写文件、能发消息的 Agent,本质上是你把电脑的一部分控制权交出去了。它不需要有恶意,只需要理解错一次,就可能造成不可逆的后果。

成熟的做法有三层:

第一层,工具和操作分等级。 不是所有动作都同等危险。读文件是安全的,改文件是中等的,删文件、发送外部请求、执行未知脚本是高危的。低危动作直接放行,高危动作必须人工确认。

第二层,沙箱。 让 Agent 在一个隔离环境里干活,出了问题不影响真实环境。Databricks 在做基准测试时就用了这个思路的一个变体——他们发现早期有些模型分数高得离谱,查了轨迹才知道,因为任务都来自已合并的提交,Agent 直接翻 git 历史把正确答案找出来了。于是他们在每次运行期间把工作副本跟仓库完全切断。这件事本身就说明:只要给了 Agent 一个 shell,它会用尽一切你没想到的路径去达成目标。

第三层,hook——在关键节点强制插入检查。 Claude Code 里有一套 hook 机制,可以在工具调用前、调用后、任务结束等节点挂上自定义脚本。典型用法是:写完代码必须跑测试,测试不过不算完;或者在执行任何删除操作前强制弹窗确认。

hook 和 system prompt 的区别,是"要求"和"保证"的区别。你在 system prompt 里写"改完代码请务必运行测试",模型大概率会照做,但不保证。你用 hook 把测试挂在代码修改动作之后,它就必须发生。

对产品经理来说,这个区别至关重要:凡是不能出错的环节,都不该只靠提示词。

四、Agent Loop:把四个零件串起来

四个零件装好之后,需要一个东西让它们转起来。这个东西就是 agent loop。

Agent = LLM + Harness:你以为在选模型,其实在选执行系统 · 图 3

它的结构简单到有点朴素:

执行一个动作 → 观察当前状态 → 判断下一步 → 再执行

循环,直到任务完成或者被叫停。

就这样。所有花哨的 Agent 架构,剥到最里面都是这个循环。

但这个循环就是 Agent 和 workflow 的分水岭,理由前面说过:workflow 的下一步是预先写死的,Agent 的下一步是当场判断的。

"观察当前状态"这一步尤其容易被低估。它意味着 Agent 执行完动作后,会去看真实世界的反馈——命令的返回码、文件的新内容、接口的响应——然后基于这个反馈重新判断。这是它能自我纠错的唯一来源。

一个不观察结果的 Agent,跟一个闭着眼睛按流程走的机器人没有区别。

循环还有一个变体,值得单独提:主动触发。

大部分 Agent 是被动的——你说一句,它动一下。但 OpenClaw 这类"长期在线"的 Agent 走的是另一条路:它有心跳机制,每隔一段时间自己醒一次,问一句"现在有什么要做的吗",然后根据日程、邮件、消息里的新情况决定要不要行动。

从"你叫它才动"到"它自己会醒",这是产品形态上的一次跃迁。前者是工具,后者更接近"雇了个人"。当然,代价是它需要一直跑着,需要更严格的权限管理,也需要更好的成本控制。

五、用这个框架去看六个真实产品

有了四个零件加一个循环,现在我们可以拿它当尺子,去量市面上的产品了。

Pi:极简主义的胜利

Earendil 出品的 coding agent harness。四个工具,read / bash / edit / write,system prompt 和工具定义控制在千 token 以内。subagent、plan mode、MCP 全部交给扩展。

它在四个零件上的选择: system prompt 极短,tools 极少,context 管得极紧(Databricks 实测每轮上下文只有别人的三分之一),安全和权限交给外部环境。

验证它的不只是自己人。 Databricks 在自家代码库上的基准测试里,Pi 配 Claude Opus 4.8 拿到了最高通过率之一,成本还显著低于更复杂的方案。Shopify 则基于 Pi 的扩展机制做了一套自动优化循环,实测把单元测试跑得快了 300 倍,React 组件挂载快了 20%。

需要说明的是,Pi 官方的案例材料是厂商自己发的,有推广性质;但 Databricks 和 Shopify 是独立验证,这让结论可信度高了不少。

它证明了什么: 少即是多,在 harness 这一层同样成立。

Claude Code:把工程规范写进文件

Anthropic 的编码 Agent,harness 的设计非常"工程化",核心是几个约定好的 markdown 文件:

CLAUDE.md:项目规范。用什么语言、什么框架、代码风格是什么、这个项目有哪些坑、哪些目录不要碰。相当于新人入职手册。

记忆机制:之前做了什么,接下来要做什么。跨会话保持状态的关键。

hooks:在工具调用的关键节点强制插入检查。写完代码必须测试、危险操作必须确认,这类"必须发生"的事情由它保证。

配合前面讲过的四层压缩管线,它在 context 这块做得相当细。

它证明了什么: harness 可以是可读、可改、可版本管理的文本。这一点对团队协作的意义被严重低估了——CLAUDE.md 可以提交到仓库里,全组共享,像代码一样评审和迭代。

OpenClaw:把 Agent 变成常驻角色

2026 年最出圈的开源 Agent 项目,由 PSPDFKit 创始人 Peter Steinberger 开发,最早叫 Clawdbot,后来改名 Moltbot,最终定名 OpenClaw,社区叫它"小龙虾"。GitHub star 数以十万计。

它的差异化在两个地方:

一是长期在线。它不是你打开才用的工具,而是一直跑着的助理,通过心跳机制主动询问有没有事要做,还能接进飞书、Discord 这些日常聊天工具。

二是文件驱动的身份系统。SOUL.md、AGENTS.md 这类文件定义 Agent 是谁、怎么行动,人写规则,Agent 执行规则。控制权明确留在人手里,所有操作需要显式授权。

它的短板也很明确:社区形容它是"重型背包"模式——每次会话把各种设定文件一股脑塞进上下文,设定越多背包越沉,token 浪费严重,模型注意力也被稀释。这正好是前面讲的 context 那一块没做好的典型表现。

它证明了什么: Agent 可以从"工具"变成"角色"。但角色化的代价是上下文管理难度陡增。

Hermes:让 Agent 自己长本事

Nous Research 出品。它和 OpenClaw 兼容(有专门的迁移命令,能直接读 ~/.openclaw 目录),但设计哲学完全不同。

OpenClaw 的技能是人手写的 markdown:你写多少它会多少,你不写它就不会。 这是一个需要持续人工喂养的体系。

Hermes 加了一个学习循环: Agent 干完一个复杂任务后(社区反馈的触发条件之一是工具调用超过五次),会自动把整个解决过程提炼成一份 markdown 格式的技能文档。下次遇到同类问题直接调用。后续如果发现更好的路径,还会回头更新这份文档。

配合前面说的"动态图书馆"式技能加载——默认只在上下文里放技能目录,用到时才加载全文——它把"技能越多越沉"这个问题也一并解了。

它还提供了 Skills Hub,社区技能可以跨安装移植共享,预装的领域技能解决冷启动问题,自我进化解决越用越强。

它证明了什么: harness 里可以内置"经验沉淀"的机制。这可能是 Agent 产品下一个阶段最重要的竞争维度——不是谁的能力强,是谁的能力会自己长。

不过要清醒:自我进化的另一面是透明度和可控性下降。它学到的东西对不对,得靠你去检查。OpenClaw 那种"人在决策链中心"的路线,在需要严格审计的场景下反而更合适。社区里已经有人在两者之间做组合——Hermes 当指挥位,OpenClaw 当执行位,各取所长。

WorkBuddy:办公场景的本土化封装

腾讯云 CodeBuddy 团队出品的 AI 办公工作台,覆盖日常办公、代码开发和设计创意。你用自然语言下任务,它自己拆解、规划、执行,最后交付一个可以直接验收的结果——周报、纪要、调研报告、PPT。

它的选择很清楚:把 harness 的复杂度全部藏起来,只暴露结果。 免部署,装完就能用,预集成了混元、DeepSeek、GLM、Kimi、MiniMax 等多个模型,用户不需要关心模型配置。兼容 OpenClaw 的技能格式和 MCP,官方的技能市场规模相当可观。腾讯内部曾披露有超过 2000 名非技术员工参与内测。

需要澄清一点:它不是完全免费。 基础功能免费,采用 Credits 计费模式,高频使用需要购买额度,企业版另有方案。

它证明了什么: 对非技术用户,harness 应该是不可见的。但"不可见"不等于"不存在"——它的安全机制主要依赖客户端的高危指令拦截,企业如果要大规模用,策略层的管控还是省不掉。

OpenCode:不绑定任何一家的开源选项

由 Anomaly 团队(原 SST,做过 terminal.shop)开发的开源 coding agent,MIT 许可,主要用 TypeScript 和 Bun 写成。

很多人把它理解成"低配版 Claude Code",这个理解不准确。 它的核心主张是 provideragnostic——不绑定任何一家模型厂商,通过 Models.dev 注册表能接七十多家提供商,包括 Anthropic、OpenAI、Google、DeepSeek,也能通过 Ollama 接本地模型。它有终端 TUI、桌面应用和 IDE 扩展三种形态,对话存在本地 SQLite 里,整套系统可以自己部署。GitHub star 数同样在十几万量级。

它内置两个可以随时切换的 agent 模式:build(完整权限,用于开发)和 plan(只读,用于分析和探索代码)。这个设计本身就是权限分级的一个漂亮实现——不是弹窗问你,而是让你显式地选择当前处于哪个模式。

它证明了什么: harness 的价值之一是避免锁定。模型会一直换代,能平滑换模型的执行系统,比绑死在某一家上更抗风险。Databricks 在文章结尾也表达了同样的意思:他们警惕的不只是供应商锁定,还有那些让团队逐渐失去灵活性的假设。

横向对比

核心定位System Prompt工具策略Context 策略安全机制适合谁
Pi极简编码 harness千 token 以内只有 4 个原生工具每轮上下文约为同类的 1/3交给外部环境追求成功率和成本效率
Claude Code工程化编码CLAUDE.md 可配置丰富 + MCP四层递进压缩,可回溯hooks 强制检查团队协作、规范要求高
OpenClaw长期在线私人助理文件驱动(SOUL.md 等)社区技能量大全量加载,偏重显式授权,人在决策链中心想要"数字员工"、可接受折腾
Hermes自我进化 Agent轻量索引按需加载技能动态图书馆式自动化高,透明度较低长期使用、重视经验沉淀
WorkBuddy办公工作台用户不可见技能市场 + MCP封装在产品内客户端高危拦截非技术岗、中文办公场景
OpenCode不绑定厂商的开源方案可配置丰富 + MCP本地存储build / plan 模式分级要自主可控、要换模型自由

选型建议,一句话版本:

写代码,团队有规范要求 → Claude Code

写代码,看重成功率和成本 → Pi

写代码,不想被绑定 / 要自己部署 → OpenCode

办公场景,非技术团队 → WorkBuddy

想要一个常驻的私人助理 → OpenClaw

长期用、希望它越用越懂你 → Hermes

六、方法论:这个框架,明天上班怎么用

前面讲的所有内容,如果不能变成你手上的动作,就白讲了。这一节给具体的。

Agent = LLM + Harness:你以为在选模型,其实在选执行系统 · 图 4

第一件事:把选型问题从一维改成二维

以后再遇到"我们该用哪个模型"这个问题,把它拆成两个:

  1. 这个任务需要多强的判断力? 决定模型档次。

  2. 这个任务需要什么样的执行系统? 决定 harness。

Databricks 的做法值得抄:他们发现工程师日常任务里,四分之一是低复杂度的(改个配置、翻个开关),六成是中等复杂度的,但默认用的却一直是最贵的模型。看清楚这个分布之后,他们把大量工作下放到了更便宜的模型档位。

你的团队大概率也有同样的浪费。先去看真实的任务分布,再决定配什么。

第二件事:需求评审时,问这六个问题

这是我认为对产品经理最实用的部分。下次技术同学跟你说"我们做个 Agent",把这六个问题问出来。答不上来的,就是还没设计到的地方:

  1. 上下文超了怎么办? 是直接丢老的,还是压缩?压缩用什么策略?压完还能不能找回原文?

  2. 哪些操作必须人工确认? 这个清单在哪儿定义的?是写在提示词里,还是有强制机制?

  3. 它失败的时候,我们怎么知道? 有没有日志、有没有轨迹、能不能复现?

  4. 同一个任务跑十次,成功几次? 如果答不上来,说明还没建评测。

  5. 经验怎么沉淀? 这次踩的坑,下次会不会再踩一遍?

  6. 换个模型要改多少东西? 如果答案是"要重写一半",那这个架构有锁定风险。

这六个问题,全都在 harness 层,一个都不在模型层。

第三件事:自己动手跑一次

看十篇文章不如自己跑一次。最低成本的路径:

非技术岗:装 WorkBuddy 或者 OpenClaw,给它一个你每周都要做一遍的重复任务——整理周报、汇总数据、批量改文件名。观察它在哪一步卡住。卡住的那一步,就是 harness 没设计好的地方。

有技术基础:装 OpenCode 或 Claude Code,找一个真实的小需求让它做。重点不是看它做没做成,而是打开它的配置文件,看看四个零件分别长什么样。这比读一百篇解析都直观。

跑完之后你会得到一个别人没有的东西:对失败模式的直觉。知道 Agent 会在哪儿掉链子,比知道它能干什么重要得多。

第四件事:建立自己的评测集

Databricks 那篇文章里,我认为最有价值的一句话是这个意思:任何一个有历史代码合并记录的团队,手上其实已经躺着一套基准测试了——任务是真的,评分标准是你自己写的测试,而且没有任何模型在上面训练过。

这个思路可以直接迁移到非代码场景:

客服团队有历史工单和真实回复

运营团队有过往的活动方案和实际效果

财务团队有做过的报表和核对记录

把过去三个月的真实任务挑二十个出来,把标准答案存好,让候选方案各跑一遍。这比看任何公开榜单都有用,因为公开榜单的题目早就泄漏进训练数据了,而你的历史任务没有。

不用一开始就搞得很复杂。二十个任务、一张表格、人工打分,一周之内能做完。做完之后,你在选型会上说的每一句话都有据可依。

第五件事:先做减法,再做加法

前面 Pi 的例子已经说明了:工具越多、指令越长、默认规则越密,未必效果越好。

所以设计第一版的时候,反过来:

从最少的工具开始,能用四个通用工具解决的,不要造二十个专用的。

从最短的 system prompt 开始,只写你确定必要的那几句。

每加一样东西,都要能说清楚它解决了哪个具体的失败案例。说不清楚的,说明是"以防万一",砍掉。

这个原则我称之为:给 Agent 的每一句话,都在跟你的任务抢注意力。

结语

回到开头那组数据。

同一个模型,换一套执行系统,成本差两倍,质量不变。这件事在提醒我们一个更朴素的道理:能力和把能力用出来,是两回事。

过去两年,行业把几乎所有的资源和注意力都投在了"提升能力"上,模型一代比一代强。但决定这个能力最终值多少钱的,是外面那一层不起眼的东西——它看得见什么、记得住什么、被允许碰什么、出错时能不能自己爬起来。

模型是买来的,harness 是自己搭的。

买来的东西,所有竞争对手都能买到。自己搭的那部分,才是你的。

对产品经理来说,这可能是这一轮技术变革里,为数不多还留给我们的位置。定义身份和边界、设计信息该怎么取舍、判断哪些操作不能出错——这些从来都不是纯粹的技术问题,它们是产品问题。

只是这一次,我们服务的对象不是人,是一个会自己动手的系统。

本文中涉及的产品数据与技术细节,来自 Databricks 官方工程博客(2026 年 7 月)、各产品官方文档,以及开源社区对相关项目的源码分析。技术细节随版本迭代变化较快,落地前建议以官方最新文档为准。