《AI Agent 产品开发·交互、信任与上线》6.1 六种失败各自该长什么样

本节回答 Agent 出错时界面该显示什么。把失败拆成模型不可用、超时、工具报错、输入不足、编造、策略拦截六种,逐种给出界面要素与文案结构,用 A、B、C 三个案例各配两种,并说明编造必须显式标注不确定、可运行的校验模型以及失败态与责任边界的对应关系。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

大多数 Agent 产品只设计了一条失败路径:弹一个红色提示「出错了,请重试」。这条路径把所有失败压成同一种体验,用户不知道发生了什么、自己的输入还在不在、下一步该做什么。更糟的是,它把「模型编造」和「网络超时」显示成同一句话,用户会对所有输出产生同样的不信任。

这一节的判断很直接:六种失败六种界面,一种「出错了」等于没设计。六种不是穷举所有异常,而是按「用户能采取的动作」分类。动作不同,界面就不能相同。

为什么「出错了」等于没设计

失败态是用户判断产品是否可信的时刻。顺利时所有产品看起来都差不多,出错时才看得出团队有没有想过「人接下来怎么办」。

一句「出错了」至少掩盖了四个关键信息:错误发生在哪一步、已经完成的部分还在不在、数据有没有被改动、用户能不能自己恢复。缺少这四个信息,用户只能做两件事:重试或放弃。重试可能重复副作用,放弃则意味着这次任务白做。

失败态的设计目标不是让错误看起来不那么糟,而是让用户能做出正确决策。有些错误应该重试,有些应该补输入,有些应该转人工,有些必须停下并通知客户。界面要把这些分支显式化。

六种失败与界面要素

失败类型发生了什么首要动作次要动作严重度
模型不可用没有产生建议,输入保留重试一次转人工分派中
超时运行中断,部分结果保留查看部分结果后台继续中
工具报错目标系统拒绝动作,前后值保留重试动作回滚并通知高
输入不足缺少必需字段,未猜值补齐字段向请求方索取低
编造结论没有来源支持核对来源删除该结论高
策略拦截动作被规则阻止,未生效申请例外换一个动作高

这张表的每一行都对应一套界面要素:标题说明发生了什么,正文说明保留了什么,首要动作是大多数用户该做的,次要动作是例外路径。严重度决定视觉强度和是否需要通知。

模型不可用的界面要强调「没有产生建议」和「输入还在」。用户最怕的是重试之后要从头填一遍。首要动作是重试一次,但不要自动无限重试;次要动作是转人工,避免用户被卡死。

超时的界面要区分「完全没开始」和「做到一半」。后者必须提供部分结果,并明确标注哪些步骤没有跑。B Quill 是异步分钟级任务,超时后让用户看到已完成章节,比让他等一个未知时长更有用。

工具报错的界面要显示目标系统、失败动作和前后值。C Runner 的动作会改价格、改库存,报错时最重要的是告诉用户「有没有改成功」。如果没改成,重试是安全的;如果改了一半,必须先回滚。

输入不足的界面要列出缺失字段,并明确说明「没有猜值」。这是低严重度错误,界面不应该用红色警报,否则用户会对所有提示脱敏。

编造的界面必须显式标注不确定,并且阻止自动发送。它不是普通错误,而是信任问题:用户看到一段流畅的文字,很难自己发现其中一句没有依据。界面要把那一句单独标出来,给出核对来源的入口。

策略拦截的界面要显示拦截规则和「未生效」。用户需要知道不是系统坏了,而是规则不允许;同时要有申请例外的路径,否则规则会变成死路。

文案要回答的三个问题

每种失败的文案都要回答三个问题,顺序固定:

  1. 发生了什么? 用用户能懂的话描述,不用内部错误码。
  2. 保留了什么? 输入、部分结果、前后值,哪些还在。
  3. 现在能做什么? 一个首要动作,一个次要动作。

三个问题缺一个,文案就不完整。只写「发生了什么」,用户知道原因但不知道怎么办;只写「请重试」,用户不知道重试会不会重复副作用;只写「已保留输入」,用户不知道错误本身。

文案还要避免两个极端。一个是过度技术化:「上游服务返回错误码,重试队列已满」。另一个是过度拟人化:「我有点累了,稍后再试」。前者把工程细节推给用户,后者掩盖了问题的严肃性。好的文案是中性的、具体的、可行动的。

三案例各配两种失败

案例失败一失败二配置理由
A Relay模型不可用输入不足建议档最常见的是没建议和缺字段
B Quill超时编造长任务会超时,报告最怕事实编造
C Runner工具报错策略拦截执行档的风险在动作失败与规则阻止

A 是同步秒级建议,模型不可用时用户最需要的是「输入还在、可以转人工」。输入不足则发生在工单字段缺失时,界面要告诉用户缺哪几个字段,而不是给一个模糊的「信息不足」。

B 是异步分钟级任务,超时是常态而不是异常。界面要让用户看到已完成部分,并允许后台继续。编造则对应 4.6% 的事实错误率:不是每次都会发生,但一旦发生,必须让审改人一眼看到哪一句没有来源。

C 是异步小时级批次,工具报错和策略拦截都涉及真实动作。工具报错要保留前后值和回滚句柄;策略拦截要显示规则 id,并说明动作没有生效。两者都不能用「出错了」打发。

这六种失败覆盖了三案例的主要风险,但不是全部异常。产品上线后还会遇到权限过期、数据格式变化、下游限流等。分类方法不变:先问「用户能采取什么动作」,动作相同的可以合并,动作不同的必须分开。

编造必须显式标注不确定

编造是六种失败里最特殊的一种,因为它在界面上看起来最像成功。模型不可用会报错,超时会停住,工具报错会有异常;编造会输出一段流畅、完整、格式正确的文字。

如果界面不标注,用户没有任何线索判断哪一句不可信。等发现时,错误可能已经进入客户报告、审计记录或对外通知。B 的事实错误率是 4.6%,意味着大约每 22 份报告就有 1 份在审改时发现事实错误。审改人能发现,前提是界面把可疑句子标出来。

标注要满足三个要求:

  • 定位到句,不是整篇打一个「可能有误」的标签;
  • 说明缺什么,是缺来源、来源不支持,还是来源本身冲突;
  • 阻止自动发送,标注未解除前不能进入发布通道。

只在页面底部写一句「AI 生成内容仅供参考」不算标注。那是一句免责声明,不是不确定性的表达。真正的标注要指向具体结论,并给出核对路径。

把失败态写成模型

下面这个模型把六种失败做成规格表:每种失败有独立的标题、正文、首要动作、次要动作、严重度和是否显示不确定性。校验函数会检查标题非空且不重复、编造必须标注不确定、工具报错必须保留回滚输入。

// file: src/trust/06-1-failure-ux.ts
// tier: L2
// verify: node --test test/trust/06-1-failure-ux.test.ts

// 六种失败六种界面;一种「出错了」等于没设计。
// 每种失败都要回答:发生了什么、保留了什么、用户下一步能做什么。

export type FailureKind =
  | "model-unavailable"
  | "timeout"
  | "tool-error"
  | "insufficient-input"
  | "fabrication"
  | "policy-blocked";

export const FAILURE_KINDS: readonly FailureKind[] = [
  "model-unavailable",
  "timeout",
  "tool-error",
  "insufficient-input",
  "fabrication",
  "policy-blocked",
];

export type Severity = "low" | "medium" | "high";

export type FailureSpec = {
  readonly kind: FailureKind;
  readonly title: string;
  readonly body: string;
  readonly primaryAction: string;
  readonly secondaryAction: string;
  readonly severity: Severity;
  readonly showsUncertainty: boolean;
  readonly keepsInput: boolean;
};

export const FAILURE_SPECS: Record<FailureKind, FailureSpec> = {
  "model-unavailable": {
    kind: "model-unavailable",
    title: "Suggestion service is unavailable",
    body: "No suggestion was produced. Your input is kept and no ticket field was changed.",
    primaryAction: "Retry once",
    secondaryAction: "Assign manually",
    severity: "medium",
    showsUncertainty: false,
    keepsInput: true,
  },
  timeout: {
    kind: "timeout",
    title: "This is taking longer than promised",
    body: "The run stopped before finishing. Partial results are kept and marked as partial.",
    primaryAction: "View partial result",
    secondaryAction: "Continue in background",
    severity: "medium",
    showsUncertainty: true,
    keepsInput: true,
  },
  "tool-error": {
    kind: "tool-error",
    title: "An action did not complete",
    body: "The target system rejected the action. Before and after values are kept for rollback.",
    primaryAction: "Retry the action",
    secondaryAction: "Roll back and notify",
    severity: "high",
    showsUncertainty: false,
    keepsInput: true,
  },
  "insufficient-input": {
    kind: "insufficient-input",
    title: "Some required fields are missing",
    body: "The Agent named the missing fields and did not guess their values.",
    primaryAction: "Fill missing fields",
    secondaryAction: "Ask the requester",
    severity: "low",
    showsUncertainty: true,
    keepsInput: true,
  },
  fabrication: {
    kind: "fabrication",
    title: "This claim is not supported by a source",
    body: "The sentence is marked as unverified. It cannot be sent until a person checks a source.",
    primaryAction: "Review the source",
    secondaryAction: "Remove the claim",
    severity: "high",
    showsUncertainty: true,
    keepsInput: true,
  },
  "policy-blocked": {
    kind: "policy-blocked",
    title: "This action is blocked by policy",
    body: "No change was made. The rule that blocked the action is shown with its id.",
    primaryAction: "Request an exception",
    secondaryAction: "Choose another action",
    severity: "high",
    showsUncertainty: false,
    keepsInput: true,
  },
};

// 三案例各配两种失败,覆盖全部六种。
export const CASE_FAILURES: Record<"A" | "B" | "C", readonly FailureKind[]> = {
  A: ["model-unavailable", "insufficient-input"],
  B: ["timeout", "fabrication"],
  C: ["tool-error", "policy-blocked"],
};

export function uncertaintyLabel(kind: FailureKind): string | null {
  if (kind === "fabrication") return "Unverified claim: no supporting source";
  if (kind === "timeout") return "Partial result: later steps did not run";
  if (kind === "insufficient-input") return "Missing input: value was not guessed";
  return null;
}

export function validateSpecs(specs: Record<FailureKind, FailureSpec>): string[] {
  const problems: string[] = [];
  const titles = new Set<string>();
  for (const kind of FAILURE_KINDS) {
    const spec = specs[kind];
    if (spec.kind !== kind) problems.push(`${kind}: kind mismatch`);
    if (spec.title.trim().length === 0) problems.push(`${kind}: empty title`);
    if (spec.body.trim().length === 0) problems.push(`${kind}: empty body`);
    if (spec.primaryAction.trim().length === 0) {
      problems.push(`${kind}: empty primary action`);
    }
    if (spec.secondaryAction.trim().length === 0) {
      problems.push(`${kind}: empty secondary action`);
    }
    if (titles.has(spec.title)) problems.push(`${kind}: duplicate title`);
    titles.add(spec.title);
  }
  if (!specs.fabrication.showsUncertainty) {
    problems.push("fabrication: uncertainty must be explicit");
  }
  if (!specs["tool-error"].keepsInput) {
    problems.push("tool-error: rollback input must be kept");
  }
  return problems;
}

export function coveredKinds(): FailureKind[] {
  return Object.values(CASE_FAILURES).flat();
}

validateSpecs 把设计约束变成可执行检查:标题不能重复,否则用户分不清是哪种失败;编造必须显示不确定性;工具报错必须保留回滚输入。CASE_FAILURES 把三案例各两种失败写进同一个文件,评审时可以直接看覆盖是否完整。

把 B 的编造场景代入:规格表返回独立标题、说明「未核实、不能发送」的正文、核对来源与删除结论两个动作,并强制 showsUncertainty 为 true。界面不需要临时判断,直接按规格渲染。

失败态与责任边界

失败态还决定责任归属。模型不可用时,责任在系统可用性;工具报错时,责任可能在目标系统;策略拦截时,责任在规则制定者;编造被发现时,责任在发布者。界面要把「谁该处理」写清楚,否则用户会找错人。

这也是为什么六种失败不能合并。合并之后,责任边界也跟着合并,所有问题都变成「产品的问题」。分开之后,每种失败有对应的处理队列和负责人,复盘时才能找到真正的改进点。

小结

  • 六种失败要六种界面:模型不可用、超时、工具报错、输入不足、编造、策略拦截。
  • 一种「出错了」掩盖了四个关键信息:错在哪、保留了什么、数据有没有改动、用户能做什么。
  • 每种文案都要回答三个问题:发生了什么、保留了什么、现在能做什么。
  • 三案例各配两种:A 是模型不可用与输入不足,B 是超时与编造,C 是工具报错与策略拦截。
  • 编造是唯一看起来像成功的失败,必须定位到句、说明缺什么、阻止自动发送。
  • 「AI 生成内容仅供参考」是免责声明,不是不确定性标注。
  • 失败分类按「用户能采取的动作」划分,动作相同可合并,动作不同必须分开。
  • 失败态同时决定责任边界,合并界面等于合并责任。

阅读导航:上一节:5.3 审计记录的可用性 · 下一节:6.2 降级阶梯 。

常见错误与边界

  1. 所有失败共用一个提示。 用户无法判断该重试、补输入还是转人工;动作不同的失败必须分开。
  2. 只写错误原因不写保留内容。 用户最关心输入和已完成部分还在不在;正文必须说明保留了什么。
  3. 自动无限重试。 对可能产生副作用的动作,重试可能重复执行;重试要有次数上限和幂等保证。
  4. 把编造当普通错误。 编造在界面上看起来像成功,必须定位到句并阻止发送,不能只在页脚加免责声明。
  5. 用红色警报处理低严重度错误。 输入不足用高警报会让用户对所有提示脱敏;严重度要分层。
  6. 策略拦截只写「不允许」。 用户需要知道规则 id 和申请例外的路径,否则规则会变成死路。

失败态处理的是「已经出错」。下一节处理「可能出错之前」:当系统判断能力不可靠时,如何按固定顺序降级,而不是直接停摆。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图