《AI Agent 产品开发·交互、信任与上线》13.1 三案例上线基线

本节把 A Relay、B Quill、C Runner 的上线基线压成一张表:交互形态、可见性、停止语义、放量路径、试点结论与回滚阈值逐项对照,解释三家放量节奏为什么不同,并给出可校验的暴露量换算、试点门槛与回滚判定模型,作为上线评审的验收依据。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

卷二前十二章分别回答了形态、可见性、可控性、审批、溯源、失败态、异步、通知、协作、试点、放量、反馈。收口这一节不再引入新概念,只把三家案例的答案压到同一张表里,回答一个具体问题:上线当天,我们到底承诺了什么?

上线基线不是发布日期。它是四组可核对的承诺:交互形态、放量路径、试点结论、回滚阈值。日期可以改,这四组承诺改不了;任何一组缺失,上线就只是一次演示。

一张表看完三家基线

项A RelayB QuillC Runner
自主档建议草稿执行
交互形态嵌入(工单页侧栏)嵌入(报告编辑器)后台 + 任务中心
可见性L2 依据L1 步骤L3 全程
停止语义中止暂停(可继续)暂停 + 回滚
审批点0(采纳即生效)1(发布前)按风险分层
撤销不采纳回退上一版反向执行 + 补偿
同步/异步同步(秒级)异步(分钟级)异步(小时级批次)
放量路径10% → 40% → 100%约 12% → 约 45% → 100%影子 → 5% → 20% → 60%
试点时长3 周6 周影子 4 周 + 5% 4 周
退出条件采纳率/错误率返工率/事实错误率一致率/错误率/回滚
回滚阈值错误率 > 4% / 3%事实错误率 > 7% / 5%错误率 > 2% / 1.8%

表格里的每一格都能在事实表 2.6、3.6、4.6 与附录 B 找到出处。它的用途不是汇报,而是验收:上线评审时逐格问「这条做到了吗」,答不上来的格子就是缺口。

四组承诺分别在承诺什么

形态承诺回答「用户在哪里遇到它」。A 在工单页侧栏,因为分诊依赖工单上下文;B 在报告编辑器,因为产出要被人接着改;C 在后台任务中心,因为执行发生在人不在场的时候。形态选错,后面所有控制都会变形。

放量路径承诺回答「一次放多少」。它不是用户百分比,而是风险暴露量。A 的 10% 是 2,640 单,B 的约 12% 是 73 份,C 的 5% 是 660 个任务。绝对值差得很远,但每一档都小到出事时能收回来。

试点结论承诺回答「凭什么说它可以放」。A 用采纳率 78% 与错误率 2.9% 证明;B 用返工率 9% 与事实错误率 4.6% 证明;C 的影子期只回答一致率能否达到 85%,不回答准确率。

回滚阈值承诺回答「什么情况下必须停」。A 在扩大期超过 3%、B 超过 5%、C 在 20% 阶段超过 1.8% 就触发;每个阶段都有自己的阈值,不能拿最后一档覆盖前面的。阈值必须写在上线前,不能等出事后再商量。

逐项解释容易看错的四格

可见性级别。A 是 L2,因为用户要看到三条输入字段才敢采纳;B 是 L1,因为审改人主要看章节步骤,不需要每一步的依据;C 是 L3,因为执行档必须能回放「做了什么、依据哪条规则、当时的数据快照是什么」。

停止语义。A 是中止,因为建议还没落库,停掉就是丢掉这次建议;B 是暂停可继续,因为报告生成到一半,暂停后还能接着写;C 是暂停加回滚,因为动作可能已经写进外部系统,光停不够。

撤销对象。A 的撤销就是「不采纳」,没有额外动作;B 能回退到上一版,发布前不限次数;C 要区分反向执行与补偿:86% 的动作可以反向执行,14% 的已发通知只能补发说明并人工回访。

审批点。A 没有独立审批点,采纳即生效,风险由人确认承担;B 只有一个发布前审批;C 按风险分层,低风险动作不批,高风险动作必须批。审批点不是越多越安全,过多会训练用户无脑点同意。

三家为什么放量节奏不同

放量节奏由责任分配决定,不由模型能力决定。

A 是建议档,机器不承担决定,错误最多让人多改一次。它的试点 3 周、扩大 4 周,节奏最快。

B 是草稿档,机器承担生成但不承担发布,错误会以返工形式出现在审改环节。B 的返工率 9%,审改基线 1.6 小时,一旦方向错了,返工成本按小时计。所以试点 6 周、扩大 8 周,先用时间换返工率的稳定性。

C 是执行档,机器直接改价格、改库存、下架、发通知。它的错误代价最高,且 14% 的动作不可回滚。C 必须先跑 4 周影子,再用 4 周只放开 5% 的低风险动作,然后 8 周放到 20%,最后 8 周放到 60% 且不含高风险动作。节奏最慢,因为每一步都在积累「回滚是否真的可用」的证据。

案例档位错误的主要代价放量总时长节奏由什么决定
A建议多改一次7 周人确认成本
B草稿返工按小时计14 周审改与返工成本
C执行外部系统已被改动24 周可回滚性与审计有效性

这里的「总时长」只算放量阶段,不含开发与试点准备。它也不能横向比较谁更先进:C 慢,不是因为 C 的能力弱,而是因为 C 承担的责任更重。

试点结论怎么读

A 的试点结论最直接:采纳率 78% 高于 70%,错误率 2.9% 低于 4%,两个条件同时满足。扩大到 40% 的门槛是采纳率 75%、错误率 3%,A 仍然满足。

B 的试点结论要看两个数一起:返工率 9% 低于 15%,事实错误率 4.6% 低于 7%。扩大到 45% 时门槛收紧到 12% 与 5%,B 也满足。注意 4.6% 离 5% 只有 0.4 个百分点,B 的扩大期实际上是在阈值边缘运行,监控频率不能降。

C 的影子期结论不能编造。事实表只给了退出条件「与人工决策一致率 ≥ 85%」,没有给实际一致率。上线基线里应当写成「待影子期结束后填入」,而不是先写一个好看的数字。这是基线文档最容易失守的地方:为了让表格完整而补一个不存在的观测值。

还有一个跨案例的硬门槛:附录 C 规定卷二评审低于 20 / 30 时,不建议进入全量放量。A 18、B 16 都低于这条线,C 24 高于它。但 C 的第 29 项仍是 0 分,按「0 分项必须在放量前解决」的规则,C 也要先补回滚演练。这条门槛与放量节奏无关,它拦的是「控制机制还没补齐就全量」。

把基线写成可校验的模型

下面这个模型把四组承诺变成可执行判断:覆盖率换算暴露量、试点门槛按方向比较、C 的不可回滚错误单独计数、放量阶段必须递增、回滚阈值可判定。它不负责预测效果,只负责让「基线是否成立」有一个统一答案。

// file: src/rollout/13-1-case-launch.ts
// tier: L2
// verify: node --test test/rollout/13-1-case-launch.test.ts

// 上线基线把「能不能上线」拆成四件事:形态、放量路径、试点结论、回滚阈值。
// 覆盖比例、时长与退出条件取自事实表 2.6 / 3.6 / 4.6,正文不得另设一套。

import { byKey } from "../cases.ts";
import { FULL, type Bps } from "../core/rate.ts";

export type CaseKey = "A" | "B" | "C";
export type Surface =
  | "embedded-sidebar"
  | "report-editor"
  | "backoffice-task-center";
export type Visibility = "L1" | "L2" | "L3";
export type StopSemantics = "abort" | "pause-resume" | "pause-rollback";

export type Stage = {
  readonly name: string;
  readonly coverageBps: Bps;
  readonly weeks: number;
  readonly exit: string;
};

export type Baseline = {
  readonly key: CaseKey;
  readonly surface: Surface;
  readonly visibility: Visibility;
  readonly stop: StopSemantics;
  /** A 为 0,B 为 1,C 按风险分层 */
  readonly approvalPoints: number | "by-risk";
  /** A 无撤销(未落库),B 发布前不限,C 为动作后 30 分钟 */
  readonly undoWindowMinutes: number | "before-publish" | null;
  readonly stages: readonly Stage[];
  /** 当前阶段的错误率上限,超过即触发回滚 */
  readonly rollbackErrorBps: Bps;
};

function stage(
  name: string,
  coverageBps: Bps,
  weeks: number,
  exit: string,
): Stage {
  return { name, coverageBps, weeks, exit };
}

export const BASELINES: Record<CaseKey, Baseline> = {
  A: {
    key: "A",
    surface: "embedded-sidebar",
    visibility: "L2",
    stop: "abort",
    approvalPoints: 0,
    undoWindowMinutes: null,
    rollbackErrorBps: 300,
    stages: [
      stage("试点", 1_000, 3, "采纳率 ≥ 70%,错误率 ≤ 4%"),
      stage("扩大", 4_000, 4, "采纳率 ≥ 75%,错误率 ≤ 3%"),
      stage("全量", 10_000, 4, "连续 4 周达标"),
    ],
  },
  B: {
    key: "B",
    surface: "report-editor",
    visibility: "L1",
    stop: "pause-resume",
    approvalPoints: 1,
    undoWindowMinutes: "before-publish",
    rollbackErrorBps: 500,
    stages: [
      stage("试点", 1_200, 6, "返工率 ≤ 15%,事实错误率 ≤ 7%"),
      stage("扩大", 4_500, 8, "返工率 ≤ 12%,事实错误率 ≤ 5%"),
      stage("全量", 10_000, 8, "连续 8 周达标"),
    ],
  },
  C: {
    key: "C",
    surface: "backoffice-task-center",
    visibility: "L3",
    stop: "pause-rollback",
    approvalPoints: "by-risk",
    undoWindowMinutes: 30,
    rollbackErrorBps: 180,
    stages: [
      stage("影子", 10_000, 4, "与人工决策一致率 ≥ 85%"),
      stage("执行 5%", 500, 4, "错误率 ≤ 2%,零不可回滚错误"),
      stage("执行 20%", 2_000, 8, "错误率 ≤ 1.8%,回滚成功率 100%"),
      stage("执行 60%", 6_000, 8, "连续 8 周达标,不含高风险动作"),
    ],
  },
};

export function baseline(key: CaseKey): Baseline {
  return BASELINES[key];
}

// 放量覆盖率乘月任务量,得到该阶段真正暴露在 Agent 下的任务数。
export function exposedTasks(key: CaseKey, coverageBps: Bps): number {
  return Math.round((byKey(key).monthlyTasks * coverageBps) / FULL);
}

export function stageExposure(
  key: CaseKey,
): readonly { readonly name: string; readonly tasks: number }[] {
  return BASELINES[key].stages.map((item) => ({
    name: item.name,
    tasks: exposedTasks(key, item.coverageBps),
  }));
}

export type Gate = {
  readonly metric: string;
  readonly observedBps: Bps;
  readonly thresholdBps: Bps;
  readonly direction: "min" | "max";
  readonly pass: boolean;
};

export function gate(
  metric: string,
  observedBps: Bps,
  thresholdBps: Bps,
  direction: "min" | "max",
): Gate {
  const pass =
    direction === "min"
      ? observedBps >= thresholdBps
      : observedBps <= thresholdBps;
  return { metric, observedBps, thresholdBps, direction, pass };
}

// A 与 B 的试点观测值来自事实表 2.4 / 3.4。
export const PILOT_OBSERVED = {
  A: { adoptionBps: 7_800, errorBps: 290 },
  B: { reworkBps: 900, factErrorBps: 460 },
} as const;

export function pilotGates(key: "A" | "B"): readonly Gate[] {
  if (key === "A") {
    return [
      gate("建议采纳率", PILOT_OBSERVED.A.adoptionBps, 7_000, "min"),
      gate("分诊错误率", PILOT_OBSERVED.A.errorBps, 400, "max"),
    ];
  }
  return [
    gate("返工率", PILOT_OBSERVED.B.reworkBps, 1_500, "max"),
    gate("事实错误率", PILOT_OBSERVED.B.factErrorBps, 700, "max"),
  ];
}

export function pilotPassed(key: "A" | "B"): boolean {
  return pilotGates(key).every((item) => item.pass);
}

// C 的影子期只记录一致率,不编造观测值;这里只实现判定规则。
export const C_SHADOW_THRESHOLD_BPS = 8_500;

export function shadowGate(agreementBps: Bps): Gate {
  return gate("影子一致率", agreementBps, C_SHADOW_THRESHOLD_BPS, "min");
}

// C 的审计错误率 1.7%,其中 14% 不可回滚,合起来是 0.238%。
export const C_AUDIT_ERROR_BPS = 170;
export const C_NON_ROLLBACK_SHARE_BPS = 1_400;

export function nonRollbackErrorRateBps(): number {
  return (C_AUDIT_ERROR_BPS * C_NON_ROLLBACK_SHARE_BPS) / FULL;
}

export function nonRollbackErrors(key: CaseKey, coverageBps: Bps): number {
  if (key !== "C") return 0;
  const tasks = exposedTasks(key, coverageBps);
  return Math.round(
    (tasks * C_AUDIT_ERROR_BPS * C_NON_ROLLBACK_SHARE_BPS) / (FULL * FULL),
  );
}

// 附录 C:卷二得分低于 20 / 30 时,不建议进入全量放量。
export const FULL_ROLLOUT_REVIEW_FLOOR = 20;

export function fullRolloutAllowed(reviewScore: number): boolean {
  return reviewScore >= FULL_ROLLOUT_REVIEW_FLOOR;
}

// 影子阶段覆盖 100% 但只记录不执行,不参与执行覆盖率的递增检查。
export function stagesAreOrdered(stages: readonly Stage[]): boolean {
  if (stages.length < 3) return false;
  if (stages.some((item) => item.weeks <= 0 || item.exit.length === 0)) {
    return false;
  }
  const execution = stages[0].name === "影子" ? stages.slice(1) : stages;
  if (execution.length < 2) return false;
  return execution.every((item, index) => {
    if (index === 0) return item.coverageBps > 0;
    return item.coverageBps > execution[index - 1].coverageBps;
  });
}

export function rollbackExceeded(key: CaseKey, observedErrorBps: Bps): boolean {
  return observedErrorBps > BASELINES[key].rollbackErrorBps;
}

exposedTasks 把百分比换成绝对任务量,避免「10%」在不同体量上被误读。A 的试点是 2,640 单,B 是 73 份,C 的 5% 是 660 个任务。

gate 统一了「不低于」和「不高于」两种比较,A 的采纳率用 min,错误率用 max,边界值算通过。

nonRollbackErrors 只在 C 上返回非零:13,200 个任务全量时约 31 个不可回滚错误,5% 阶段约 2 个。这个数字很小,但它是「必须先演练回滚」的直接理由。

stagesAreOrdered 允许影子阶段覆盖 100%,因为影子只记录不执行;执行阶段的覆盖率必须严格递增。C 的 5% → 20% → 60% 通过,A 的 10% → 40% → 100% 通过。

fullRolloutAllowed 把附录 C 的 20 分门槛写进代码,A、B 返回 false,C 返回 true。上线评审时,这一行会直接挡住「先全量再补控制」的提议。

上线基线的验收清单

检查项通过标准常见缺口
形态有形态、有代价说明、有用户路径只写了「嵌入」
可见性级别与责任匹配所有案例都写 L3
停止停止后状态明确只写「可停止」
撤销对象、时间窗、补偿齐全只写「可撤销」
放量每档有覆盖率、时长、退出条件只有百分比
回滚阈值、责任人、演练记录阈值上线后补
评审卷二得分 ≥ 20 才全量低于 20 仍排全量日期

清单的作用是让「基线」从一段叙述变成一组可打勾的事实。打不了勾的项,不应该出现在上线公告里。

小结

  • 上线基线是四组承诺:形态、放量路径、试点结论、回滚阈值,不是发布日期。
  • A 的节奏是 10% → 40% → 100%,试点 3 周、扩大 4 周,由人确认成本决定。
  • B 的节奏是约 12% → 约 45% → 100%,试点 6 周、扩大 8 周,由返工与审改成本决定。
  • C 的节奏是影子 → 5% → 20% → 60%,总时长 24 周,由可回滚性与审计有效性决定。
  • A 的试点结论是采纳率 78%、错误率 2.9%;B 是返工率 9%、事实错误率 4.6%。
  • C 的影子一致率没有观测值,基线只能写阈值 85%,不能补一个好看的数字。
  • 卷二评审低于 20 / 30 不建议全量:A 18、B 16 被挡住,C 24 通过。
  • 基线要能换算成绝对暴露量:A 试点 2,640 单、B 73 份、C 5% 是 660 个任务。

阅读导航:上一节:12.3 质量运营的节奏 · 下一节:13.2 15 项交互与上线评审 。

常见错误与边界

  1. 把上线基线写成发布日期。 日期只是排期,基线是形态、放量、试点、回滚四组承诺;日期改了承诺不能跟着改。
  2. 用百分比代替绝对暴露量。 10% 在 A 是 2,640 单,在 B 是 73 份,风险量级完全不同。
  3. 给 C 补一个影子一致率。 事实表没有这个观测值,基线应留空并写清由谁在何时填入。
  4. 把放量节奏当成能力排名。 C 最慢是因为责任最重,不是因为模型最差;A 最快也不代表它最成熟。
  5. 回滚阈值上线后再定。 阈值必须在放量前写死,否则第一次争议就会变成谈判。
  6. 忽略 20 分门槛。 评审低于 20 仍排全量日期,等于把控制机制的缺口留到生产环境补。

三家的基线放在一起,能看出卷二真正交付的不是三套界面,而是三种「承诺多少、怎么收回」的写法。下一节用 15 项评审逐条检查这些承诺是否成立。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图