《AI Agent 产品开发·交互、信任与上线》6.3 诚实的能力边界表达

本节回答 Agent 怎样诚实表达不确定性。把置信度分成确定、较可能、不确定三档,给出每档的说法与是否转人工,用 A Relay 的 91.4% 正确率、78% 采纳率、2.9% 采纳后错误率说明阈值来源,并分析过度自信的返工代价与可运行模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

产品介绍页喜欢写「智能判断」「精准推荐」,但用户真正需要知道的是:这一次的判断有多可靠,什么时候应该自己看一眼。能力边界表达不是给产品泼冷水,而是把「什么时候可以信」提前说清楚,减少错误信任和错误怀疑。

这一节的判断是:说「不确定」比说「我认为」更有用。「我认为」把不确定包装成观点,用户无法据此行动;「不确定,因为缺少某个字段」给出了原因和下一步。诚实不是态度问题,而是信息设计问题。

三档不确定性表达

不确定性至少分三档,每档有独立的说法和动作。三档不是给用户贴标签,而是给结论标可靠度。

档位含义说法是否需复核是否转人工
确定依据充分,结论稳定直接陈述结论与来源否否
较可能依据基本支持,但存在歧义陈述结论,提示核对某个字段是否
不确定依据不足或相互冲突说明无法判断,建议人决定是是

确定不是「模型很有信心」,而是「结论能被来源完整支持」。表达上可以直接给结论,但仍然要附来源;确定性不取消溯源要求。

较可能是大多数 Agent 输出的真实状态:方向对,但某个字段可能有歧义。说法要指出具体要核对什么,而不是笼统地说「请人工确认」。笼统的提示会被忽略,具体的提示才会被行动。

不确定要明确说「无法判断」,并说明缺什么。它不应该输出一个看起来合理的猜测再附一句「仅供参考」。猜测加免责声明,实际效果是用户记住了猜测、忽略了声明。

三档之间不是概率的连续刻度,而是三种不同的行动建议。确定可以直接用,较可能要核一下,不确定要换人。表达的第一目标是让用户知道该采取哪种行动。

阈值从 A Relay 的口径来

阈值不能拍脑袋。A Relay 的教学设定给了三个可直接使用的数:分诊正确率 91.4%,建议采纳率 78%,采纳后仍出错率 2.9%。

指标数值在表达里的作用
分诊正确率91.4%确定档的下界
建议采纳率78%较可能档的下界
采纳后仍出错率2.9%过度自信的风险量级

确定的门槛设在 91.4%,含义是「达到历史正确率水平才直接陈述」。较可能的门槛设在 78%,含义是「低于历史采纳率,人就很可能要改」。低于 78% 进入不确定档,建议转人工。

这套阈值不是统计学上的最优分割,而是把产品已有的质量口径翻译成界面语言。好处是团队不需要另造一套信心分数,评审时可以直接问:这个阈值和我们的正确率、采纳率是什么关系?

阈值也要随质量变化调整。如果某类工单的正确率长期低于整体,应该单独设阈值,而不是让所有工单共用一条线。A 的 91.4% 是整体口径,不代表每个队列都一样。

过度自信的代价

过度自信的代价可以用 A 的 78% 采纳率直接算:22% 的建议会被人修改。如果把一条本该进入「不确定」的建议说成「确定」,这 22% 的修改就会从「预期内」变成「意外」,用户会觉得系统在误导。

更严重的是采纳后仍出错率 2.9%。这部分错误已经通过了人的确认,仍然发生。如果系统还把低置信结论包装成确定,人会更倾向于快速确认,2.9% 会被放大。确认时长也说明了这一点:采纳时平均 32 秒,修改时平均 91 秒,加权后约 45 秒,也就是 0.75 分钟。表达越自信,人越容易走 32 秒的快路径。

表达方式人的动作风险
确定快速确认低置信结论被放过
较可能核对指定字段可控
不确定转人工或补输入成本上升,但错误不外溢

过度自信还会污染反馈数据。用户因为被误导而采纳了错误建议,系统会把这次采纳记成正样本,下一轮更容易重复同类错误。诚实表达不只是体验问题,也是数据质量问题。

反过来,过度谨慎也有代价。如果所有结论都说「不确定」,用户会停止使用,转人工率上升,A 的 0.75 分钟人工基线也守不住。三档的意义是让不确定的归不确定,确定的归确定,而不是把所有输出都降级。

A 的低置信工单走一遍

假设一张工单只写了「登录有问题」,没有账号信息,没有错误截图,历史工单也查不到同类记录。系统仍然可以给出一个队列建议,但依据明显不足。

这时的正确表达不是「建议分到登录队列」,而是「无法确定队列:缺少账号信息和错误描述,建议补充后再分诊,或转人工」。前一句看起来更有用,实际上把判断责任推给了用户;后一句承认边界,并给出补输入或转人工两条路径。

如果工单有账号信息,但套餐字段缺失,系统可以进入「较可能」:建议分到登录队列,提示核对账号套餐。这时的表达是「较可能」,因为主要依据在,次要依据缺。

如果工单字段完整、历史记录匹配,系统进入「确定」:直接给队列、优先级和模板,并附三条来源。用户仍然可以修改,但默认路径是快速确认。

工单情况档位界面动作
字段完整、历史匹配确定直接给建议,附来源
主依据在、次依据缺较可能给建议,提示核对字段
关键字段缺失不确定说明缺什么,建议补输入或转人工

这张表把「信心」从模型内部状态变成可观察的输入条件。评审时不需要争论模型有没有信心,只需要看字段齐不齐、历史有没有匹配。

把不确定性写进输出

下面这个模型把三档、阈值、说法和转人工规则写在一起。tierFor 用 A 的三个口径分档,stateConfidence 返回说法与动作,overconfidence 计算把低置信说成高置信夸大了几档。

// file: src/trust/06-3-honest-limits.ts
// tier: L2
// verify: node --test test/trust/06-3-honest-limits.test.ts

// 不确定性表达三档:确定、较可能、不确定。
// 阈值直接取自 A 的分诊口径(事实表 2.4):
// 91.4% 是分诊正确率,78% 是建议采纳率,2.9% 是采纳后仍出错率。

export type ConfidenceTier = "certain" | "likely" | "uncertain";

export const RELAY_QUALITY = {
  correct: 0.914,
  adopted: 0.78,
  postAdoptionError: 0.029,
} as const;

export function tierFor(confidence: number): ConfidenceTier {
  if (confidence >= RELAY_QUALITY.correct) return "certain";
  if (confidence >= RELAY_QUALITY.adopted) return "likely";
  return "uncertain";
}

export type TierCopy = {
  readonly phrase: string;
  readonly requiresReview: boolean;
  readonly routesToHuman: boolean;
};

export const TIER_COPY: Record<ConfidenceTier, TierCopy> = {
  certain: {
    phrase: "Based on the ticket fields, this routing is supported.",
    requiresReview: false,
    routesToHuman: false,
  },
  likely: {
    phrase: "This routing is likely, but verify the account fields before sending.",
    requiresReview: true,
    routesToHuman: false,
  },
  uncertain: {
    phrase: "I cannot determine this from the available fields; a person should decide.",
    requiresReview: true,
    routesToHuman: true,
  },
};

export type ConfidenceStatement = TierCopy & {
  readonly tier: ConfidenceTier;
  readonly confidence: number;
};

export function stateConfidence(confidence: number): ConfidenceStatement {
  const tier = tierFor(confidence);
  return { tier, confidence, ...TIER_COPY[tier] };
}

const TIER_RANK: Record<ConfidenceTier, number> = {
  uncertain: 0,
  likely: 1,
  certain: 2,
};

export type Overstatement = {
  readonly actual: ConfidenceTier;
  readonly shown: ConfidenceTier;
  readonly steps: number;
  readonly mustCorrect: boolean;
};

// 把低置信说成高置信,每夸大一档就多一层返工风险。
export function overconfidence(
  actual: ConfidenceTier,
  shown: ConfidenceTier,
): Overstatement {
  const steps = Math.max(0, TIER_RANK[shown] - TIER_RANK[actual]);
  return { actual, shown, steps, mustCorrect: steps > 0 };
}

// 22% 被人修改 = 1 − 78% 采纳率;这是过度自信最直接的代价口径。
export function expectedModifications(count: number): number {
  return count * (1 - RELAY_QUALITY.adopted);
}

export function expectedPostAdoptionErrors(count: number): number {
  return count * RELAY_QUALITY.postAdoptionError;
}

tierFor 只有两条阈值,前者对应正确率,后者对应采纳率。stateConfidence 把档位、说法和动作绑在一起,避免界面自己组合出「说不确定但不需要复核」的矛盾状态。overconfidence 把「夸大一档」和「夸大两档」区分开,因为两者的返工风险不同。

把 A 的低置信工单代入:关键字段缺失,置信度低于 78%,tierFor 返回 uncertain,stateConfidence 给出「无法判断、建议人决定」,并标记 routesToHuman。界面不需要再判断一次,直接按返回结果渲染。

三档怎么落到不同交互形态

三档表达在不同交互形态里的落点不一样。A 是嵌入工单页的侧栏,B 是报告编辑器,C 是后台任务中心,同样是「不确定」,展示方式不能照搬。

案例确定较可能不确定
A Relay建议卡直接给队列与来源卡片上标「请核对套餐」卡片改为补充输入或转人工
B Quill段落正常输出,附数据包条目段落加待核对标记该段留空,标注缺少数据
C Runner动作执行,记录规则与快照动作前暂停,等人确认不执行,列入人工队列

C 的不确定尤其重要。执行档的动作会改变外部状态,一旦把「较可能」当成「确定」直接执行,错误就落到真实价格和库存上。C 的自动完成率是 78%,其余 22% 转人工;不确定性表达要帮助系统更早识别这 22%,而不是等审计抽检才发现。

B 的不确定落点是段落。报告有 12–20 页,逐段标注比整篇打一个标签更有用。审改人 1.6 小时的基线,靠的就是快速定位到需要核对的段落。

A 的不确定落点是建议卡。A 是同步秒级建议,用户没有耐心读长解释;卡片上直接写「缺账号信息」比展开一段说明更有效。

诚实不等于免责

有些产品把「AI 生成,仅供参考」当成诚实表达。这只是免责,不是边界。它没有告诉用户哪一条不确定、为什么不确定、应该怎么核对。真正的诚实表达要具体到结论和缺失条件。

另一个极端是把所有不确定性都推给用户:「请自行判断」。这不是诚实,而是把判断成本转嫁出去。产品应该给出可执行的下一步:核对哪个字段、补充哪类信息、什么时候转人工。

诚实表达还要避免「假精确」。说一个精确到小数点的置信度,看起来比「较可能」精确,但用户无法把它映射到行动。三档的价值就在于每一档都对应一个动作,而不是一个需要解释的数字。

哪些话不能说

不该说问题可以改成
我认为应该分到登录队列把不确定包装成观点较可能分到登录队列,请核对账号套餐
给出精确到小数点的置信度数字无法映射到行动较可能,建议核对账号字段
AI 生成,仅供参考免责声明,不是边界缺少账号信息,无法确定队列
肯定没问题过度自信,取消复核依据完整,可直接采用,来源见下

这张表可以直接拿去做文案评审。凡是出现「我认为」「肯定」「绝对」这类词,都要追问:依据是什么、缺什么条件、用户该做什么。答不上来,就说明这句话在掩盖边界。

诚实表达的效果也要能被度量:转人工率、复核时长、被修改比例,都是可观察的验证指标。

小结

  • 不确定性分三档:确定、较可能、不确定;每档对应不同的说法和动作。
  • 确定看依据是否完整,不看模型自我感觉;确定仍然要附来源。
  • 较可能要说清核对哪个字段,笼统的「请人工确认」会被忽略。
  • 不确定要明确说无法判断,并给出补输入或转人工的路径。
  • 阈值取自 A 的口径:91.4% 正确率对应确定,78% 采纳率对应较可能的下界。
  • 过度自信的代价是 22% 的建议会被修改,以及 2.9% 的采纳后错误被放大。
  • 诚实表达的目的是让用户采取正确行动,不是把判断成本推给用户。
  • 「AI 生成,仅供参考」是免责声明,不是能力边界表达。

阅读导航:上一节:6.2 降级阶梯 · 下一节:7.1 异步任务的承诺与回执 。

常见错误与边界

  1. 把「我认为」当不确定性表达。 它把不确定包装成观点,用户无法据此行动;要给出档位、缺失条件和下一步。
  2. 用免责声明代替边界。 「AI 生成,仅供参考」没有说明哪一条不可靠,也没有核对路径。
  3. 所有输出都说「不确定」。 过度谨慎会让用户停止使用,转人工率上升,0.75 分钟的人工基线守不住。
  4. 把置信度数字直接给用户。 精确数字无法映射到行动;三档加具体核对项更有用。
  5. 低置信结论仍然快速确认。 采纳 32 秒、修改 91 秒的差异说明表达方式会影响人的路径;过度自信会放大 2.9% 的采纳后错误。
  6. 阈值拍脑袋。 阈值应来自已有的正确率与采纳率口径,否则评审时无法解释为什么是这个数。

这一章从失败态走到能力边界。下一章换到时间维度:当任务需要几分钟甚至几小时,产品如何承诺、如何回执、如何让用户知道它还在跑。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图