卷一结束的时候,一个团队通常已经能回答三个问题:这件事值不值得做、该定在哪一档、做好了怎么验收。
然后产品上线,数据很难看。
不是因为它做得不对。分诊准确率 91.4%,比多数人工团队高;报告初稿一次采纳率 63%,也算合格。但采纳率在第二周开始下降,第三周有人开始在群里说"我不用它了,还不如自己来"。
原因往往不在模型,在这几件事:
- 它做错了,用户不知道错在哪一步;
- 它做到一半,用户没法叫停;
- 它停下来了,用户没法把已经做的部分改掉;
- 它改完了,用户没法撤回到上一个状态;
- 它撤不了,因为没人告诉过用户它做了什么。
这五件事加起来,就是"不敢用"。
一、信任不是一句免责声明
很多产品的信任设计,是在输出下面加一行小字:“内容由 AI 生成,请自行核实。”
这句话的作用接近于零。它把核实成本全部推给用户,却不给任何核实的抓手。用户要的不是提醒,是可以做出判断的材料:这一步用了哪些数据、为什么得出这个结论、如果错了会在哪里错。
更根本的是,信任不是靠"解释"建立的,是靠"控制"建立的。一个人敢用一件工具,通常不是因为他理解了它,而是因为他知道自己随时能停下来、能换一个做法、能退回去。
所以卷二把信任拆成三个物理基础:
| 基础 | 用户的问题 | 产品要给的答案 |
|---|---|---|
| 能停 | 它现在在干什么,我能打断吗 | 可打断点 + 明确的停止语义 |
| 能改 | 它走错方向了,我能改吗 | 运行中纠偏,不必从头再来 |
| 能退 | 它做完了,我能撤吗 | 撤销范围、时间窗、补偿动作 |
这三件事做不到,再好的解释也只是话术。
二、从"能做"到"敢用"的三道关
卷一把一个任务定义清楚了,卷二要过三道关。
第一道:形态
Agent 长在哪里?对话框、现有界面里、还是后台?这个选择决定了用户在哪里遇到它、在哪里发现错误、在哪里打断它。
三案例选了三种形态:A 嵌在工单页里(建议必须贴着决策发生)、B 在编辑器里(草稿需要人直接改)、C 在后台(执行需要不打扰人)。三种形态对应三种可见性设计,不能互换。
第二道:可控
可控不是"给用户更多按钮"。按钮越多,用户越不知道该按哪个。可控是在正确的时刻给正确的一个动作:该停的时候有停止,该改的时候有纠偏,该退的时候有撤销。
这里最容易犯的错是审批泛滥。每一步都问"是否继续",用户会在一周内训练成无脑点"同意",审批就变成了形式。审批点应该设在不可逆动作之前,而不是每一步。
第三道:放量
放量的单位不是用户数,是风险暴露量。10% 的用户如果全在做高风险动作,暴露量可能超过 100% 的用户在做低风险动作。
这一卷会给出按风险分层的放量规则、影子模式的设计、以及回滚触发条件。核心判断只有一条:没演练过的回滚,不算回滚。
三、这一卷的结构
13 章分三段:
| 段 | 章 | 解决的问题 |
|---|---|---|
| 交互 | 1–4 | 长在哪里、看得见什么、能不能停和改、什么时候问人 |
| 信任 | 5–9 | 结论从哪来、错了长什么样、长任务怎么等、怎么通知、多人怎么共享 |
| 上线 | 10–13 | 影子、试点、放量、反馈闭环、上线基线 |
每章仍然配一个可运行模型。这一卷的模型集中在两处:trust 模块处理可见性、撤销范围与降级阶梯;rollout 模块处理影子对比、放量上限与回滚阈值。
四、一个判断
如果这一卷只能留下一句话:
用户不是因为理解了 Agent 才信任它,是因为知道自己随时能把它停下来。
这句话有一个直接的推论:信任设计的工作量,和 Agent 的自主度成正比。 建议档只需要让人看清建议;执行档必须让人在事后能完整重建发生了什么。这也是为什么 C Runner 的审计成本必须计入人工账——它不是可选项,是执行档的门票。
从下一章开始,先解决它长在哪里的问题。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。