《AI Agent 产品开发·交互、信任与上线》序

能用的 Agent 很多,敢用的很少。信任不是在界面上加一句「AI 生成,仅供参考」,而是让人能停、能改、能退、能查。这一卷处理的是从「已经做出来」到「有人愿意用」之间那段最容易被低估的工作,并给出判断「敢不敢用」的三个物理基础与形态、可控、放量三道关。

卷一结束的时候,一个团队通常已经能回答三个问题:这件事值不值得做、该定在哪一档、做好了怎么验收。

然后产品上线,数据很难看。

不是因为它做得不对。分诊准确率 91.4%,比多数人工团队高;报告初稿一次采纳率 63%,也算合格。但采纳率在第二周开始下降,第三周有人开始在群里说"我不用它了,还不如自己来"。

原因往往不在模型,在这几件事:

  • 它做错了,用户不知道错在哪一步;
  • 它做到一半,用户没法叫停;
  • 它停下来了,用户没法把已经做的部分改掉;
  • 它改完了,用户没法撤回到上一个状态;
  • 它撤不了,因为没人告诉过用户它做了什么。

这五件事加起来,就是"不敢用"。

一、信任不是一句免责声明

很多产品的信任设计,是在输出下面加一行小字:“内容由 AI 生成,请自行核实。”

这句话的作用接近于零。它把核实成本全部推给用户,却不给任何核实的抓手。用户要的不是提醒,是可以做出判断的材料:这一步用了哪些数据、为什么得出这个结论、如果错了会在哪里错。

更根本的是,信任不是靠"解释"建立的,是靠"控制"建立的。一个人敢用一件工具,通常不是因为他理解了它,而是因为他知道自己随时能停下来、能换一个做法、能退回去。

所以卷二把信任拆成三个物理基础:

基础用户的问题产品要给的答案
能停它现在在干什么,我能打断吗可打断点 + 明确的停止语义
能改它走错方向了,我能改吗运行中纠偏,不必从头再来
能退它做完了,我能撤吗撤销范围、时间窗、补偿动作

这三件事做不到,再好的解释也只是话术。

二、从"能做"到"敢用"的三道关

卷一把一个任务定义清楚了,卷二要过三道关。

第一道:形态

Agent 长在哪里?对话框、现有界面里、还是后台?这个选择决定了用户在哪里遇到它、在哪里发现错误、在哪里打断它。

三案例选了三种形态:A 嵌在工单页里(建议必须贴着决策发生)、B 在编辑器里(草稿需要人直接改)、C 在后台(执行需要不打扰人)。三种形态对应三种可见性设计,不能互换。

第二道:可控

可控不是"给用户更多按钮"。按钮越多,用户越不知道该按哪个。可控是在正确的时刻给正确的一个动作:该停的时候有停止,该改的时候有纠偏,该退的时候有撤销。

这里最容易犯的错是审批泛滥。每一步都问"是否继续",用户会在一周内训练成无脑点"同意",审批就变成了形式。审批点应该设在不可逆动作之前,而不是每一步。

第三道:放量

放量的单位不是用户数,是风险暴露量。10% 的用户如果全在做高风险动作,暴露量可能超过 100% 的用户在做低风险动作。

这一卷会给出按风险分层的放量规则、影子模式的设计、以及回滚触发条件。核心判断只有一条:没演练过的回滚,不算回滚。

三、这一卷的结构

13 章分三段:

段章解决的问题
交互1–4长在哪里、看得见什么、能不能停和改、什么时候问人
信任5–9结论从哪来、错了长什么样、长任务怎么等、怎么通知、多人怎么共享
上线10–13影子、试点、放量、反馈闭环、上线基线

每章仍然配一个可运行模型。这一卷的模型集中在两处:trust 模块处理可见性、撤销范围与降级阶梯;rollout 模块处理影子对比、放量上限与回滚阈值。

四、一个判断

如果这一卷只能留下一句话:

用户不是因为理解了 Agent 才信任它,是因为知道自己随时能把它停下来。

这句话有一个直接的推论:信任设计的工作量,和 Agent 的自主度成正比。 建议档只需要让人看清建议;执行档必须让人在事后能完整重建发生了什么。这也是为什么 C Runner 的审计成本必须计入人工账——它不是可选项,是执行档的门票。

从下一章开始,先解决它长在哪里的问题。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图