《AI Agent 产品开发·组织、平台与规模化》6.3 什么时候必须告诉用户「这是 AI」

披露不是一句免责声明,而是让用户知道自己面对什么、能找谁。本节给出三条判据:直接交互、影响权益、用户询问;给出 A Relay、B Quill、C Runner 三种披露文案,说明标签与解释两级披露的差别,并把判据、文案与界面检查写成可复算的函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

「这是 AI 生成的」这句话,很多产品把它放在页脚,字号很小,语气像免责声明。用户看不到,看到了也不理解它意味着什么。等到出了问题,这句藏起来的说明既不能免责,也不能挽回信任。

披露要回答的不是「要不要加一句提示」,而是三个更具体的问题:用户在什么时候需要知道、需要知道到什么程度、知道之后能做什么。这一节把披露拆成判据、层级和文案三部分,并用三个案例说明不同自主档位下的披露差异。

披露不是免责声明

免责声明的目的是转移责任,披露的目的是让用户做出知情选择。两者在文案上可能只差几个字,在产品上却是两件事。

一句「本内容由 AI 生成,仅供参考」,如果放在用户已经读完并准备执行的位置,它不是披露,而是事后告知。真正的披露要发生在用户做决定之前:让他知道自己在跟什么交互、这个结果是怎么来的、如果不满意可以找谁。

这也是披露和义务的关系。当 Agent 直接影响用户的权益、资金或可申诉的结果时,披露不是可选项,而是程序的一部分。用户不知道对面是 AI,就无法判断该不该相信、该不该复核、该不该申诉;这三个判断被剥夺,披露就从「体验问题」变成了「程序问题」。

三条判据

判断是否需要披露,可以按三条判据依次检查。任何一条成立,就必须披露;三条都不成立,才可以按人工口径呈现。

判据成立的情形披露要求
直接交互用户在与 Agent 对话、看 Agent 生成的建议或草稿至少给出 AI 标签,进入界面的第一屏可见
影响权益动作会改价格、库存、资格、账单或可申诉结果解释是什么、做了什么、怎么申诉
用户询问用户主动问「这是 AI 吗」「是谁写的」如实回答,不能只给标签或回避

三条判据里,「直接交互」最容易判断,也最容易被做成形式。把标签放在折叠面板里、放在用户不会读的页脚、用灰色小字写在角落,都不算「可见」。可见的标准是:用户在不搜索、不展开的情况下,能在一屏内看到。

「影响权益」决定披露要从标签升级为解释。标签只回答「是不是 AI」,解释要回答「它做了什么、依据什么、我能不能改」。C Runner 的改价动作会直接影响客户支付的价格,只给一个「AI 执行」标签不够,必须说明改了哪个 SKU、从多少改到多少、多久内可以撤回。

「用户询问」是最容易被忽略的一条。很多团队只在首次交互时披露一次,之后用户再问,就用「智能助手」这类词绕开。但用户主动询问时,回避本身就是不披露;如实回答的成本很低,回避的代价很高。

三种披露文案

三个案例的自主档位不同,披露的层级也不同。

A Relay:标签级。 建议卡片在工单侧栏,用户是支持人员,Agent 只给建议,确认后才写入。文案只需要说清楚「这是 AI 建议,需要人确认」:

AI 建议,仅供分诊参考;人工确认后才会写入队列。

这句话的作用不是免责,而是告诉支持人员:你看到的队列、优先级和模板是候选,不是已经生效的决定。A 的建议采纳率是 78%,意味着 22% 会被修改;标签让「修改」成为正常动作,而不是对系统的不信任。

B Quill:解释级。 报告由 Agent 起草,顾问审改并署名,最终发给客户。文案要说清楚三件事:谁起草、谁审改、来源能不能核对:

本报告由 AI 起草,顾问已审改并署名;每段附数据来源,可逐段核对。

B 的一次采纳率是 63.0%,事实错误率是 4.6%。这两个数字说明报告不是「生成即完成」,顾问的审改是产品的一部分。披露把这条工作流告诉客户,客户才知道自己看到的署名意味着什么。

C Runner:解释级加撤回窗口。 改价、改库存、发通知都是对外动作,其中 14% 是不可逆的客户通知。文案必须说明自动化、撤回窗口和人工入口:

本次价格调整由自动化规则执行,30 分钟内可撤回;如有疑问可转人工复核。

C 的动作有 86% 可回滚,30 分钟是它的撤销时间窗;14% 的已发通知不可回滚,只能补偿。披露里写清「30 分钟内可撤回」,既是对用户的承诺,也是对内部回滚能力的公开约束:写上去,就必须做到。

披露的两个层级

把三种文案抽象一下,披露只有两个层级:标签和解释。

层级回答的问题适用情形界面要求
标签这是不是 AI直接交互、低权益影响第一屏可见,不折叠
解释它做了什么、凭什么、我能怎么办影响权益、用户询问、执行档动作标签 + 依据 + 人工入口,执行档加撤回窗口

标签是最低义务,解释才是让用户能做判断的披露。只有标签时,用户知道对面是 AI,但不知道自己该复核什么、出了问题找谁;只有解释时,用户才能决定接受、修改或申诉。

两个层级不是按产品档次分的,而是按权益影响分的。A 的建议不直接改系统,标签足够;B 的报告会以顾问名义发给客户,需要解释来源与审改;C 的动作直接改价格、发通知,解释之外还要给撤回窗口和人工入口。

不披露的后果

不披露的第一个后果是信任反转。用户在使用时以为对面是人,后来发现是 AI,之前的所有体验都会被重新解释:那些「专业」「及时」的评价,会变成「被欺骗」的感受。信任一旦反转,产品之后补披露,也很难恢复。

第二个后果是申诉无门。用户不知道结果是 AI 做的,就不知道该向谁申诉、按什么流程申诉。A 的分诊错误、B 的事实错误、C 的价格错误,如果用户以为是人做的,他会找客服;如果他不知道是 AI,他可能连「这是个可申诉的决定」都不知道。

第三个后果是责任链断裂。披露是责任地图的一部分:用户知道这是 AI,才知道应该找部署它的组织;组织知道用户知道,才不能在事故后说「用户没问」。不披露时,责任地图上的「对外沟通」阶段即使有人负责,也缺少了一个必要的触发点。

需要说明的是,披露不提高质量。A 的采纳率 78%、B 的一次采纳率 63.0%、C 的自动完成率 78%,这些数字不会因为加了一句提示而改变。披露改变的是用户对结果的解释方式,以及出错后的处理路径。

把披露判据写成函数

披露如果只靠文案评审,容易出现两种偏差:该披露的场景漏了,不该披露的场景加了一堆提示。下面这个模型把三条判据、两个层级和界面检查写成可复算的函数。

// file: src/scale/06-3-ai-disclosure.ts
// tier: L2
// verify: node --test test/scale/06-3-ai-disclosure.test.ts

// 披露义务:什么时候必须告诉用户「这是 AI」。
// 三条判据:直接交互、影响权益、用户询问。
// 披露不是一句免责声明,而是让用户知道自己面对什么、能找谁。

export type Trigger = "direct-interaction" | "rights-impact" | "user-asks";

export const TRIGGER_ORDER: readonly Trigger[] = [
  "direct-interaction",
  "rights-impact",
  "user-asks",
];

export const TRIGGER_LABEL: Record<Trigger, string> = {
  "direct-interaction": "与用户直接交互",
  "rights-impact": "影响用户权益或资金",
  "user-asks": "用户主动询问是否由 AI 完成",
};

export type DisclosureLevel = "none" | "label" | "explain";

export type DisclosureContext = "reply" | "draft" | "action";

export type DisclosureInput = {
  readonly triggers: readonly Trigger[];
  readonly hasHumanReview: boolean;
  readonly context: DisclosureContext;
};

export type DisclosureDecision = {
  readonly required: boolean;
  readonly level: DisclosureLevel;
  readonly reasons: readonly string[];
};

export function decideDisclosure(input: DisclosureInput): DisclosureDecision {
  const reasons: string[] = [];
  let level: DisclosureLevel = "none";

  if (input.triggers.includes("rights-impact")) {
    level = "explain";
    reasons.push("影响权益:说明是什么、做了什么、怎么申诉");
  }
  if (input.triggers.includes("user-asks")) {
    level = "explain";
    reasons.push("用户询问:必须如实回答,不能只给一个标签");
  }
  if (input.triggers.includes("direct-interaction") && level === "none") {
    level = "label";
    reasons.push("直接交互:进入界面的第一屏就要标识");
  }
  if (level === "none" && input.hasHumanReview) {
    reasons.push("无直接交互且有人复核,可按人工口径呈现");
  }

  return { required: level !== "none", level, reasons };
}

export type CopyVariant = {
  readonly scene: string;
  readonly level: DisclosureLevel;
  readonly text: string;
};

// 三案例的披露文案:A 给标签,B 与 C 给解释。
export const CASE_COPY: Record<"A" | "B" | "C", CopyVariant> = {
  A: {
    scene: "工单侧栏的建议卡片",
    level: "label",
    text: "AI 建议,仅供分诊参考;人工确认后才会写入队列。",
  },
  B: {
    scene: "报告页脚与发布确认页",
    level: "explain",
    text: "本报告由 AI 起草,顾问已审改并署名;每段附数据来源,可逐段核对。",
  },
  C: {
    scene: "客户通知与任务回执",
    level: "explain",
    text: "本次价格调整由自动化规则执行,30 分钟内可撤回;如有疑问可转人工复核。",
  },
};

export type DisclosureSurface = {
  readonly showsAiLabel: boolean;
  readonly offersHumanContact: boolean;
  readonly statesRollbackWindow: boolean;
};

export function surfaceProblems(
  decision: DisclosureDecision,
  surface: DisclosureSurface,
): readonly string[] {
  if (!decision.required) return [];
  const problems: string[] = [];
  if (!surface.showsAiLabel) problems.push("缺少 AI 标识");
  if (decision.level === "explain" && !surface.offersHumanContact) {
    problems.push("缺少人工入口");
  }
  return problems;
}

export function isCompliant(
  decision: DisclosureDecision,
  surface: DisclosureSurface,
): boolean {
  return surfaceProblems(decision, surface).length === 0;
}

// 执行档的客户通知还要说明撤回窗口,否则「可回滚」只是内部能力。
export function actionSurfaceProblems(
  surface: DisclosureSurface,
): readonly string[] {
  const problems: string[] = [];
  if (!surface.showsAiLabel) problems.push("缺少 AI 标识");
  if (!surface.offersHumanContact) problems.push("缺少人工入口");
  if (!surface.statesRollbackWindow) problems.push("缺少撤回窗口说明");
  return problems;
}

export const REPRESENTATIVE_INPUT: Record<"A" | "B" | "C", DisclosureInput> = {
  A: {
    triggers: ["direct-interaction"],
    hasHumanReview: true,
    context: "reply",
  },
  B: {
    triggers: ["direct-interaction"],
    hasHumanReview: true,
    context: "draft",
  },
  C: {
    triggers: ["rights-impact"],
    hasHumanReview: false,
    context: "action",
  },
};

decideDisclosure 按判据的优先级返回层级:影响权益或用户询问升级为解释,只有直接交互时给标签,三条都不成立才返回 none。优先级是固定的,因为「影响权益」的要求高于「直接交互」;一个动作既直接交互又影响权益时,不能只给标签。

CASE_COPY 把三个案例的文案固定下来:A 是标签级,B 与 C 是解释级,C 的文案里带 30 分钟撤回窗口。surfaceProblems 检查界面有没有把该给的披露给出去:标签缺失、解释级缺少人工入口,都会被列出来。actionSurfaceProblems 则针对执行档的动作回执,额外要求撤回窗口说明。

披露设计的三个边界

第一,披露不能替代同意。告诉用户「这是 AI」不等于用户同意被 AI 处理。影响权益的场景,披露之外还要有同意或申诉机制;披露只是让用户知道发生了什么,不是授权。

第二,披露不能只在首次出现。用户会在不同时间、不同入口遇到同一个 Agent,每次遇到影响权益的动作,都需要重新可见的披露。首次弹窗之后再也不提,等于把披露变成了一次性免责。

第三,披露文案要和实际能力一致。写了「30 分钟内可撤回」,就必须真的能撤回;写了「每段附数据来源」,来源就必须可点开核对。文案承诺高于实际能力时,披露会从保护变成新的责任来源。

小结

  • 披露不是免责声明,而是让用户在决定之前知道自己面对什么、能找谁。
  • 三条判据:直接交互、影响权益、用户询问;任何一条成立都必须披露。
  • 两个层级:标签回答「是不是 AI」,解释回答「做了什么、凭什么、我能怎么办」。
  • A Relay 用标签级文案:AI 建议,人工确认后才写入队列。
  • B Quill 用解释级文案:AI 起草、顾问审改署名、每段附来源。
  • C Runner 用解释级加撤回窗口:自动化执行、30 分钟内可撤回、可转人工。
  • 不披露会导致信任反转、申诉无门、责任链断裂;披露不提高质量,但改变结果的解释方式。
  • 披露不能替代同意,不能只在首次出现,文案承诺不能高于实际能力。

阅读导航:上一节:6.2 审计要求的产品化 · 下一节:7.1 依赖地图 。

常见错误与边界

  1. 把披露写成页脚免责声明。 用户看不到、看不懂的提示不算披露;直接交互的标签必须在第一屏可见。
  2. 只给标签,不给解释。 影响权益的动作要让用户知道做了什么、依据什么、怎么申诉,标签回答不了这些。
  3. 用户询问时回避。 用「智能助手」绕开「是不是 AI」,本身就是不披露;如实回答的成本很低。
  4. 首次弹窗之后不再披露。 每次影响权益的动作都需要重新可见的披露,一次性告知等于一次性免责。
  5. 文案承诺高于实际能力。 写了 30 分钟可撤回就必须做到;做不到的承诺会变成新的责任来源。
  6. 把披露当成同意。 告诉用户这是 AI 不等于用户同意被 AI 处理,影响权益的场景还需要同意或申诉机制。

这一节回答了「什么时候必须说这是 AI」。下一章进入规模化:当产品不止一个、依赖不止一家、平台开始成形,组合与边界要怎么划。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图