《AI Agent 产品开发·交互、信任与上线》11.3 aia-lab:放量曲线与回滚阈值

本节用 aia-lab 把放量曲线写成可运行模型:覆盖率、阶段时长与退出条件如何组合,三案例的完整放量计划分别长什么样,以及阈值收紧后放量上限如何下降。模型同时计算每阶段覆盖任务数与预期错误数,帮助产品负责人把「再放一点」换成可复算的暴露量。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

前两节分别讲了风险分层和回滚触发。这一节把它们放进 aia-lab:给定覆盖率、阶段时长、退出条件和观测错误率,算出每个阶段覆盖多少任务、预期出现多少错误,以及阈值收紧后覆盖率上限会降到多少。

模型的目的不是替代决策,而是让决策可复算。团队说「先放 12%」时,模型能立刻回答:这是多少个任务、按当前错误率预期多少错误、下一阶段阈值是多少。

放量曲线的三个输入

一条放量曲线由三个输入决定:

输入回答的问题例子
覆盖率每个阶段覆盖多少任务A 试点 10%,扩大 40%
阶段时长每个阶段至少观察多久A 试点 3 周,扩大 4 周
退出条件什么指标达标才能进入下一阶段A 试点采纳率 ≥ 70%、错误率 ≤ 4%

三个输入缺一个,曲线就不可执行。只有覆盖率,没有时长,团队会在数据波动时提前加量;只有时长,没有退出条件,时间到了就自动放量;只有退出条件,没有覆盖率,不知道影响面有多大。

三案例的曲线都来自事实表:

案例阶段覆盖率时长退出条件
A Relay试点10%3 周采纳率 ≥ 70%,错误率 ≤ 4%
A Relay扩大40%4 周采纳率 ≥ 75%,错误率 ≤ 3%
B Quill试点12%6 周返工率 ≤ 15%,事实错误 ≤ 7%
B Quill扩大45%8 周返工率 ≤ 12%,事实错误 ≤ 5%
C Runner影子100% 只记录4 周与人工决策一致率 ≥ 85%
C Runner执行 5%5%4 周错误率 ≤ 2%,零不可回滚错误
C Runner执行 20%20%8 周错误率 ≤ 1.8%,回滚成功率 100%
C Runner执行 60%60%8 周不含高风险动作,连续 8 周达标

C 的影子阶段覆盖率是 100%,但不执行动作。模型必须把「覆盖」和「执行」分开,否则影子阶段会被算成 13,200 个可执行任务,暴露量被严重高估。

暴露量:覆盖任务数乘以观测错误率

上一节用风险权重算暴露量;这一节换成更容易和事故记录对齐的口径:预期错误数 = 覆盖任务数 × 观测错误率。

三案例的观测错误率分别取事实表里的质量指标:

  • A Relay:采纳后仍出错率 2.9%。
  • B Quill:事实错误率 4.6%。
  • C Runner:审计发现错误率 1.7%。

把这些错误率代进各阶段,得到一张可比的表:

案例阶段覆盖任务数预期错误数
A Relay试点 10%2,64076.56
A Relay扩大 40%10,560306.24
B Quill试点 12%733.358
B Quill扩大 45%27312.558
C Runner执行 5%66011.22
C Runner执行 20%2,64044.88
C Runner执行 60%7,920134.64

这张表最有用的地方是量级对比。B 的预期错误数看起来很小,因为月报告量只有 606 份;A 和 C 的预期错误数大,因为月任务量分别是 26,400 和 13,200。跨案例比较错误数没有意义,比较「错误数占阶段任务的比例」才有意义。

阈值收紧,上限下降

放量上限不是固定的覆盖率,而是「在当前错误率下,能承受多少暴露」。给定观测错误率和可接受的目标错误率,最大覆盖率可以反推:

最大覆盖率 = 目标错误率 ÷ 观测错误率 × 100%

如果目标错误率高于或等于观测错误率,上限就是 100%;如果目标更低,上限按比例下降。以 C 的 1.7% 观测错误率为例:

目标错误率最大覆盖率含义
2.0%100%当前错误率低于目标,可全量
1.0%58.8%目标收紧一半,上限降到约六成
0.5%29.4%目标再收紧一半,上限降到约三成

阈值收紧的代价不是线性的:目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%;再收到 0.5%,上限降到 29.4%。产品负责人要同时看两个数:质量目标提高了多少,放量速度慢了多少。

A 和 B 的曲线同理。A 的观测错误率是 2.9%:目标 2.0% 时上限约 69.0%,目标 1.0% 时约 34.5%。B 的观测错误率是 4.6%:目标 3.0% 时上限约 65.2%,目标 2.0% 时约 43.5%。

把曲线写成可执行模型

下面的模型把三案例的阶段计划、覆盖任务数、预期错误数和最大覆盖率放在一起。它的输出可以直接贴进放量评审材料。

// file: src/rollout/11-3-lab-rollout.ts
// tier: L2
// verify: node --test test/rollout/11-3-lab-rollout.test.ts

// 放量曲线 = 每个阶段的覆盖率 × 时长 × 退出条件。
// 真正的暴露量不是覆盖率本身,而是「覆盖的任务数 × 该阶段的错误率」。

import { QUILL, RELAY, RUNNER } from "../cases.ts";
import { applyRate, FULL, type Bps } from "../core/rate.ts";

export type CaseKey = "A" | "B" | "C";

export type StageName =
  | "pilot"
  | "expand"
  | "full"
  | "shadow"
  | "execute-5"
  | "execute-20"
  | "execute-60";

export type ExitGate = {
  readonly metric: string;
  readonly thresholdBps: Bps;
  readonly lowerIsBetter: boolean;
};

export type StagePlan = {
  readonly name: StageName;
  readonly coverageBps: Bps;
  readonly weeks: number;
  readonly executes: boolean;
  readonly gates: readonly ExitGate[];
  readonly note: string;
};

export const ROLLOUT_PLANS: Record<CaseKey, readonly StagePlan[]> = {
  A: [
    {
      name: "pilot",
      coverageBps: 1_000,
      weeks: 3,
      executes: true,
      gates: [
        { metric: "adoption", thresholdBps: 7_000, lowerIsBetter: false },
        { metric: "error", thresholdBps: 400, lowerIsBetter: true },
      ],
      note: "采纳率 ≥ 70%,错误率 ≤ 4%",
    },
    {
      name: "expand",
      coverageBps: 4_000,
      weeks: 4,
      executes: true,
      gates: [
        { metric: "adoption", thresholdBps: 7_500, lowerIsBetter: false },
        { metric: "error", thresholdBps: 300, lowerIsBetter: true },
      ],
      note: "采纳率 ≥ 75%,错误率 ≤ 3%",
    },
    {
      name: "full",
      coverageBps: FULL,
      weeks: 0,
      executes: true,
      gates: [],
      note: "连续 4 周达标",
    },
  ],
  B: [
    {
      name: "pilot",
      coverageBps: 1_200,
      weeks: 6,
      executes: true,
      gates: [
        { metric: "rework", thresholdBps: 1_500, lowerIsBetter: true },
        { metric: "factError", thresholdBps: 700, lowerIsBetter: true },
      ],
      note: "2 个客户组,返工率 ≤ 15%,事实错误 ≤ 7%",
    },
    {
      name: "expand",
      coverageBps: 4_500,
      weeks: 8,
      executes: true,
      gates: [
        { metric: "rework", thresholdBps: 1_200, lowerIsBetter: true },
        { metric: "factError", thresholdBps: 500, lowerIsBetter: true },
      ],
      note: "6 个客户组,返工率 ≤ 12%,事实错误 ≤ 5%",
    },
    {
      name: "full",
      coverageBps: FULL,
      weeks: 0,
      executes: true,
      gates: [],
      note: "连续 8 周达标",
    },
  ],
  C: [
    {
      name: "shadow",
      coverageBps: FULL,
      weeks: 4,
      executes: false,
      gates: [
        { metric: "agreement", thresholdBps: 8_500, lowerIsBetter: false },
      ],
      note: "只记录不执行,与人工决策一致率 ≥ 85%",
    },
    {
      name: "execute-5",
      coverageBps: 500,
      weeks: 4,
      executes: true,
      gates: [
        { metric: "error", thresholdBps: 200, lowerIsBetter: true },
        { metric: "irreversible", thresholdBps: 0, lowerIsBetter: true },
      ],
      note: "低风险动作,错误率 ≤ 2%,零不可回滚错误",
    },
    {
      name: "execute-20",
      coverageBps: 2_000,
      weeks: 8,
      executes: true,
      gates: [
        { metric: "error", thresholdBps: 180, lowerIsBetter: true },
        { metric: "rollbackSuccess", thresholdBps: FULL, lowerIsBetter: false },
      ],
      note: "加中风险动作,错误率 ≤ 1.8%,回滚成功率 100%",
    },
    {
      name: "execute-60",
      coverageBps: 6_000,
      weeks: 8,
      executes: true,
      gates: [],
      note: "不含高风险动作,连续 8 周达标",
    },
  ],
};

const CASE_TASKS: Record<CaseKey, number> = {
  A: RELAY.monthlyTasks,
  B: QUILL.monthlyTasks,
  C: RUNNER.monthlyTasks,
};

// 已观测错误率:A 采纳后仍出错 2.9%,B 事实错误 4.6%,C 审计错误 1.7%。
export const OBSERVED_ERROR_BPS: Record<CaseKey, Bps> = {
  A: 290,
  B: 460,
  C: 170,
};

export function plansFor(key: CaseKey): readonly StagePlan[] {
  return ROLLOUT_PLANS[key];
}

export function stageByName(
  key: CaseKey,
  name: StageName,
): StagePlan | undefined {
  return ROLLOUT_PLANS[key].find((stage) => stage.name === name);
}

// 影子的覆盖率是 100%,但不执行动作,所以可执行任务数是 0。
export function stageTasks(key: CaseKey, stage: StagePlan): number {
  if (!stage.executes) return 0;
  return applyRate(CASE_TASKS[key], stage.coverageBps);
}

export function expectedErrors(
  key: CaseKey,
  stage: StagePlan,
  errorBps: Bps = OBSERVED_ERROR_BPS[key],
): number {
  return (stageTasks(key, stage) * errorBps) / FULL;
}

// 给定观测错误率与可接受目标,反推最大覆盖比例。
export function maxCoverageFor(
  observedErrorBps: Bps,
  targetErrorBps: Bps,
): Bps {
  if (targetErrorBps <= 0) return 0;
  if (observedErrorBps <= 0) return FULL;
  if (targetErrorBps >= observedErrorBps) return FULL;
  return Math.floor((targetErrorBps / observedErrorBps) * FULL);
}

export function totalWeeks(key: CaseKey): number {
  return ROLLOUT_PLANS[key].reduce((sum, stage) => sum + stage.weeks, 0);
}

export type CurveRow = {
  readonly name: StageName;
  readonly coverageBps: Bps;
  readonly weeks: number;
  readonly tasks: number;
  readonly expectedErrors: number;
  readonly gates: readonly ExitGate[];
};

export function curve(key: CaseKey): readonly CurveRow[] {
  return ROLLOUT_PLANS[key].map((stage) => ({
    name: stage.name,
    coverageBps: stage.coverageBps,
    weeks: stage.weeks,
    tasks: stageTasks(key, stage),
    expectedErrors: expectedErrors(key, stage),
    gates: stage.gates,
  }));
}

模型里有两个容易读错的点。第一,stageTasks 对 executes: false 的阶段返回 0,而不是返回覆盖率乘以任务量;影子阶段的价值是收集反事实证据,不是执行。第二,maxCoverageFor 返回的是上限,不是建议值;实际放量还要叠加风险分层和回滚就绪检查。

怎么读模型的输出

模型输出三组数:

  1. 阶段任务数:这一阶段实际影响多少任务。C 的执行 5% 是 660 个,执行 20% 是 2,640 个,执行 60% 是 7,920 个。
  2. 预期错误数:按观测错误率估算。C 的执行 5% 是 11.22 个,执行 60% 是 134.64 个。这些不是「允许的错误数」,而是「如果错误率不变,预计会出现多少错误」。
  3. 最大覆盖率:目标错误率收紧后,覆盖率上限按比例下降。C 的目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%。

三组数要一起读。只看覆盖率,会忽略任务量差异;只看预期错误数,会忽略案例之间的规模差异;只看最大覆盖率,会忘记它只是上限,不是排期。

小结

  • 放量曲线由覆盖率、阶段时长、退出条件三个输入决定,缺一个就不可执行。
  • 三案例的曲线来自事实表:A 10%/40%,B 12%/45%,C 5%/20%/60%。
  • C 的影子阶段覆盖率 100% 但不执行,模型必须把「覆盖」和「执行」分开。
  • 预期错误数 = 覆盖任务数 × 观测错误率,用来比较阶段之间的暴露,不用来跨案例排名。
  • 最大覆盖率 = 目标错误率 ÷ 观测错误率;目标越低,上限越低。
  • C 的目标从 2.0% 收到 1.0%,上限从 100% 降到 58.8%;再收到 0.5%,降到 29.4%。
  • 阈值收紧的代价不是线性的,产品负责人要同时看质量目标和放量速度。
  • 上限不是建议值;实际放量还要叠加风险分层与回滚就绪检查。

阅读导航:上一节:11.2 回滚触发条件 · 下一节:12.1 显式、隐式、投诉三种反馈 。

常见错误与边界

  1. 只有覆盖率,没有时长和退出条件。 时间到了就自动放量,或者数据一波动就提前加量;三个输入必须同时写。
  2. 把影子阶段算成可执行任务。 C 的影子覆盖 100% 但不执行,按覆盖率乘任务量会把暴露量算成 13,200。
  3. 跨案例比较预期错误数。 A、B、C 的月任务量分别是 26,400、606、13,200,错误数不可直接排名。
  4. 把最大覆盖率当成排期。 上限只回答「最多能放多少」,不回答「什么时候放」;还要叠加风险分层和回滚就绪。
  5. 阈值收紧不重算曲线。 目标从 2.0% 收到 1.0%,上限会从 100% 降到 58.8%,排期必须跟着改。
  6. 忽略阶段之间的跳变。 5% 到 20% 覆盖任务数变 4 倍,20% 到 60% 变 3 倍;跳变要单独解释。

下一章换一个方向:放量之后,用户说的、用户做的、用户投诉的,哪一种反馈更可信。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图