《AI Agent 产品开发·交互、信任与上线》5.2 解释的三个层次

本节把 Agent 的解释拆成一句话、一段、完整链路三层,给每层的模板与适用场景,说明争议、审计、投诉为什么必须给完整链路,用 B Quill 4.6% 的事实错误率说明按场景给解释的边界,并附可运行的渲染升级模型与三层模板的界面落位取舍。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节解决了「依据在哪」。用户看懂依据之后,还会问「你为什么这样判断」。这两个问题不是一回事:依据是材料,解释是推理。只给材料,用户要自己推;只给推理,用户无法核对。产品需要把两者按场景组合,而不是每次都把最长的版本倒给用户。

这一节给出解释的三个层次:一句话、一段、完整链路。核心判断是:按场景给,不按用户等级给。同一个用户在处理日常工单时只需要一句话,在投诉升级时即使他是老手也需要完整链路。

三个层次分别回答什么

层次篇幅回答的问题典型场景
一句话一行结论是什么、依据是哪份日常确认、低风险建议
一段三到五句结论、理由、依据之间的关系意见分歧、需要说服同事
完整链路步骤可回放每一步看到了什么、做了什么判断审计、投诉、争议处理

一句话不是把长解释截断,而是独立成立的结论加来源。它必须让读者在不展开的情况下知道「系统建议什么」和「依据是哪一份」。如果一句话里塞了两个结论、三个条件,它就不是一句话层,而是一段被压扁的文本。

一段要补上因果关系:因为哪条依据,所以得出哪个结论,中间排除了什么。它适合「同事不同意」的场景,因为对方需要的是理由,不是步骤。一段的长度以三到五句为宜,超过之后读者会开始跳读,反而不如给完整链路。

完整链路是步骤级复述:先看了什么输入,做了什么判断,调用了哪条规则,得到什么中间结果,最后怎么收敛。它不是日志堆砌,而是按决策顺序组织的可读记录。链路的价值在于让第三方能够复现判断,而不只是看到结论。

三层不是精度不同的同一段话,而是三种不同的信息组织方式。把一句话扩写成十句,不会自动变成完整链路;把链路压缩成一句,也会丢掉关键中间判断。

什么时候必须给完整链路

争议、审计、投诉这三类场景必须给完整链路。原因不是用户级别高,而是这些场景的共同点是「结论会被挑战」:有人要判断这个结论当时是否合理,而不只是现在是否可用。

场景触发信号必须给到的层次不能只给一句话的理由
争议客户或同事明确反对结论完整链路需要判断当时依据是否充分
审计抽检、合规检查、事故复盘完整链路需要复现决策过程
投诉客户要求解释或赔偿完整链路需要证明没有遗漏关键输入

日常确认、低风险建议、内部草稿可以用一句话。意见分歧但未升级为争议时,一段通常够用。这里的分界线不是「谁在问」,而是「这个结论会不会被追责」。一旦进入追责通道,省略的步骤会变成无法回答的问题。

还有一个容易被忽略的触发条件:事实错误。只要系统或人工标记了某个结论存在事实错误,无论当前场景多日常,都应该直接给完整链路。因为这时要回答的不只是「结论对不对」,还有「错误从哪一步进来的」。

用 B Quill 的事实错误走一遍

B Quill(Meridian 的客户报告起草 Agent)月报告量 606 份,人工基线 4.2 小时一份。Agent 介入后,人审改 1.6 小时。一次采纳率 63%,小改率 28%,返工率 9%,事实错误率 4.6%。

4.6% 意味着大约每 22 份报告里就有 1 份在审改时发现事实错误。这个比例不算高,但足以让「只给一句话」在错误场景里失效。假设某段写「客户第二季度留存率上升」,数据包里实际是下降,审改人看到一句话解释「依据:第二季度数据包」,仍然不知道「上升」是从哪来的。

这时需要的完整链路至少包括:

  1. 读取了数据包中的哪个条目;
  2. 该条目的原始值是多少;
  3. 做了哪一步计算或取整;
  4. 是否引用了上月报告作为对比;
  5. 最终数字如何得出。

链路把「错误从哪来」变成可定位的问题。可能是个条目取错,可能是计算口径不同,也可能是模型把下降写成了上升。三种原因的修复方式完全不同:取错要改检索,口径不同要补规则,写错要加校验。

反过来,如果每份报告的每个段落都默认给完整链路,审改界面会被步骤淹没。B 的审改基线是 1.6 小时,界面每多一层噪声,这个时间就会被侵蚀。正确的做法是默认一句话或一段,检测到事实错误或审改人主动展开时再给链路。

按场景给,不按用户等级给

很多产品会按角色配置解释:新手看详细版,专家看简洁版。这个做法听起来合理,实际上经常反了。专家在日常任务里确实不需要步骤,但在投诉处理时比新手更需要完整链路,因为他要对外负责。

按用户等级给解释还有两个副作用。第一,等级是静态的,场景是动态的;同一个专家上午处理日常单、下午处理投诉,静态配置跟不上。第二,等级会变成权限:新手被默认给详细解释,等于暗示他们判断力不足;专家被默认给简版,等于剥夺他们核对的权利。

按场景给则稳定得多。场景可以从当前动作推断:是否被标记争议、是否进入审计队列、是否有投诉标签、是否触发事实错误。这些信号是客观的,不依赖对用户贴标签。

分配依据稳定性是否可解释推荐度
用户等级静态,需维护难以说明为什么不推荐
场景信号动态,随任务变化可以指向具体触发条件推荐
输出长度偏好主观,易漂移只能说明个人喜好仅作辅助

用户偏好仍然可以存在,但应该作为场景默认值之上的微调,而不是替代场景判断。比如用户可以选择「总是展开链路」,但不能选择「在投诉场景只给一句话」。

三个层次的验收标准

三层不是文案风格,验收时要能用可观察的标准判断做没做到。否则团队会在「解释得更详细」上反复返工,却说不清差在哪。

层次通过标准典型反例
一句话不展开也能知道结论与来源「系统综合判断后给出建议」
一段能说清依据与结论之间的因果只把结论换个说法重复一遍
完整链路第三方能按步骤复现判断把调用日志原样倒出来

一句话的验收可以很简单:遮住后面的内容,只读这一句,读者能不能说出「建议什么」和「依据哪份」。说不出来,就还不算一句话层。

一段的验收看因果连接词是否成立:「因为……所以……排除了……」。如果三句话之间只有并列关系,没有推理关系,它仍然是一句话的堆叠。

完整链路的验收看可复现性:换一个人按步骤走一遍,能不能得到相同结论。如果步骤里缺少输入或中间判断,复现就会断,链路只是看起来很长。

解释与溯源的交接

解释层与溯源层共享同一批来源,但职责不同。溯源层保证来源可解析、片段可复读、定位可打开;解释层负责把这些材料组织成读者能跟上的推理。两层不能互相替代:只有溯源,用户要自己推;只有解释,用户无法核对。

工程上最好让解释渲染直接消费溯源记录,而不是各自维护一份来源列表。否则界面上的解释引用 A 文档,后台审计记录指向 B 文档,争议时会出现两套说法。护栏与引用校验的工程实现见 LLM 护栏 ;本节只讨论三层解释在产品界面上的分工。

交接点是一个结构化对象:结论、理由、来源列表、步骤列表。溯源层填来源,解释层填理由与步骤。对象本身不做自然语言生成,避免同一结论在不同层级被改写成不同意思。

把三层写成渲染函数

下面这个模型把三层做成渲染函数,场景决定默认层级,事实错误强制升到链路,升级只能逐级向上。三个层次的文案结构也写在同一个文件里,方便产品与工程对齐。

// file: src/trust/05-2-explanation-levels.ts
// tier: L2
// verify: node --test test/trust/05-2-explanation-levels.test.ts

// 解释分三层:一句话、一段、完整链路。
// 选择依据是场景,不是用户等级;事实错误一旦被标记,任何场景都升到完整链路。
// B 的事实错误率是 4.6%(事实表 3.4),它决定「按场景给」不能省掉兜底。

export type ExplanationLevel = "one-line" | "paragraph" | "chain";

export const LEVEL_ORDER: readonly ExplanationLevel[] = [
  "one-line",
  "paragraph",
  "chain",
];

export type Scenario = "routine" | "dispute" | "audit" | "complaint";

export const REQUIRED_BY_SCENARIO: Record<Scenario, ExplanationLevel> = {
  routine: "one-line",
  dispute: "paragraph",
  audit: "chain",
  complaint: "chain",
};

export const QUILL_FACT_ERROR = 0.046;

export function requiredLevel(
  scenario: Scenario,
  factError: boolean = false,
): ExplanationLevel {
  if (factError) return "chain";
  return REQUIRED_BY_SCENARIO[scenario];
}

export type ExplanationPacket = {
  readonly conclusion: string;
  readonly reason: string;
  readonly sources: readonly string[];
  readonly steps: readonly string[];
};

export type Explanation = {
  readonly level: ExplanationLevel;
  readonly text: string;
  readonly hasChain: boolean;
};

export function render(
  packet: ExplanationPacket,
  level: ExplanationLevel,
): Explanation {
  const sourceText =
    packet.sources.length > 0 ? packet.sources.join("; ") : "no source attached";
  if (level === "one-line") {
    return {
      level,
      text: `${packet.conclusion} (source: ${sourceText})`,
      hasChain: false,
    };
  }
  if (level === "paragraph") {
    return {
      level,
      text: `${packet.conclusion}. ${packet.reason}. Source: ${sourceText}.`,
      hasChain: false,
    };
  }
  const steps = packet.steps.map((step, index) => `${index + 1}. ${step}`).join(" ");
  return {
    level,
    text: `${packet.conclusion}. ${packet.reason}. Source: ${sourceText}. Steps: ${steps}`,
    hasChain: true,
  };
}

// 同一场景内可以从轻到重升一层,但不能反向降级。
export function escalate(level: ExplanationLevel): ExplanationLevel {
  const index = LEVEL_ORDER.indexOf(level);
  return LEVEL_ORDER[Math.min(index + 1, LEVEL_ORDER.length - 1)];
}

requiredLevel 先看事实错误,再看场景。事实错误优先,是因为它改变了问题的性质:从「要不要解释」变成「错误从哪来」。render 按层级组装文本,一句话只保留结论和来源,一段补上理由,链路再补上编号步骤。escalate 只允许向上,避免用户在争议场景里把解释折叠成一句话。

把 B 的报告段落代入:日常审改走 requiredLevel("routine"),得到一句话;审改人标记事实错误后,同一段落用 requiredLevel("routine", true),直接得到完整链路。这里不需要用户切换模式,场景信号自己完成了升级。

三层模板怎么落到界面

一句话适合放在结论旁边,作为默认展开状态。一段适合点击「为什么」后展开,占用侧栏或浮层。完整链路适合独立页面或抽屉,因为它需要滚动和逐步阅读,塞进小气泡会变成新的噪声。

界面上还要保留「升级入口」,而不是等系统判断。审改人可能因为经验察觉不对,这时应该能一键从一句话展开到一段或链路。系统判断负责默认值,人的判断负责例外,两者不冲突。

另外,三层文案要共享同一份结论。不能在链路里出现与一句话不同的结论,否则用户会不知道该信哪个。渲染函数只改变信息量,不改变结论本身,这一点要在模板层就约束住。

什么时候可以只留一层

不是所有输出都值得配三层。判断标准是这条输出会不会被追问,以及追问时有没有归档价值。

  • 一次性、低风险、不归档的提示,一句话足够。
  • 会被转发给同事、需要对方接受的输出,至少给一段。
  • 会进入客户沟通、审计、投诉通道的输出,必须能展开到完整链路。

只留一层不等于另外两层不存在。一句话输出仍然应该保留可展开的链路数据,只是默认不展示。等到用户点击「为什么」或场景升级时,系统能立即渲染,而不是重新跑一遍任务。

真正的边界是「能不能补出来」。如果链路数据没有留存,事后无法重建,那么这条输出即使当前只用一句话,也已经失去了升级能力。

解释可以按场景伸缩,但审计记录不能:它必须始终完整。

小结

  • 解释分三层:一句话给结论与来源,一段补理由,完整链路给可复现的步骤。
  • 三个层次是三种信息组织方式,不是同一段话的长短版本。
  • 默认层级由场景决定:日常用一句话,分歧用一段,争议、审计、投诉用完整链路。
  • 事实错误是独立触发条件,任何场景下都应直接升到完整链路。
  • 按场景给比按用户等级给稳定:等级是静态标签,场景是动态信号。
  • B Quill 的事实错误率 4.6%,大约每 22 份报告就有 1 份在审改时发现错误。
  • B 的审改基线是 1.6 小时,默认给链路会侵蚀这个时间,所以默认要轻、升级要快。
  • 升级只能逐级向上,界面要同时保留系统默认和人工展开两个入口。

阅读导航:上一节:5.1 来源可追溯:结论是从哪来的 · 下一节:5.3 审计记录的可用性 。

常见错误与边界

  1. 把一句话当成截断的长解释。 一句话必须独立成立,包含结论和来源;塞进多个条件的文本不是一句话层。
  2. 按用户等级配置解释。 等级是静态的,场景是动态的;专家在投诉场景比新手更需要完整链路。
  3. 默认给完整链路。 链路会增加阅读负担,B 的 1.6 小时审改基线经不起每段都展开步骤。
  4. 事实错误仍按日常场景处理。 一旦标记事实错误,问题就从「要不要解释」变成「错误从哪来」,必须给链路。
  5. 三层文案结论不一致。 链路里的结论必须与一句话相同,渲染只改变信息量,不改变判断。
  6. 把链路做成日志堆砌。 完整链路要按决策顺序组织,让第三方能复现判断,而不是把所有调用记录倒出来。

这一节回答「解释给到哪一层」。下一节把解释和溯源收拢到同一个载体:审计记录。它要能查、能导,还要能对上业务单据。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图