《AI Agent 产品开发·交互、信任与上线》10.3 试点的退出条件

试点什么时候算试完,不能靠「再看看」。本节把退出条件拆成通过、延长、终止三种判定,给出阈值、近失容忍与硬停项的设计方法,列出 A/B/C 三个案例各阶段的数字与谁有权叫停,并给出可运行的闸门判定、阶段汇总与停止权模型,避免阈值被无限期拖延。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

试点最怕的不是失败,而是没有结论。跑满 4 周,数据不好不坏,团队说「再观察一周」;再观察一周,还是不好不坏;三个月后,试点变成了常态,没有人记得它原本要证明什么。

退出条件的作用,就是在试点开始前把「什么算成功、什么算失败、谁有权叫停」写清楚。这一节给出通过、延长、终止三种判定,以及三个案例各自的数字。

三种出口,不是两种

多数试点方案只写「通过」和「不通过」,但真实决策往往有第三种:数据不够好,但也没差到必须停。这时需要一个有边界的「延长」,而不是无限期观察。

判定条件后续动作
通过所有阈值达标进入下一阶段,扩大覆盖
延长未全部达标,但落在近失区间,且无硬停项延长固定周期,阈值不变
终止触发硬停项,或明显低于近失区间停止试点,回到上一阶段或重做设计

三种出口里,「延长」最容易被滥用。它必须同时满足三个限制:有固定周期(比如 2 周)、阈值不变(不能因为没达标就降低标准)、只允许一次(第二次未达标即终止)。没有这三个限制,延长就是拖延的委婉说法。

阈值怎么定

阈值不是拍脑袋,而是从「可接受的后果」反推。

通过阈值应该对应「这个阶段可以接受的最低表现」。A Relay 的试点采纳率门槛是 70%,低于全量的 78%,因为试点期还在学习;错误率门槛是 4%,高于全量的 2.9%,也是同样的考虑。门槛要留出学习空间,但不能低到「闭着眼也能过」。

近失区间通常设为阈值的 10%。错误率阈值 4%,近失上限就是 4.4%;采纳率阈值 70%,近失下限就是 63%。10% 不是科学常数,而是一个管理约定:它足够容纳正常波动,又不至于把明显不达标的结果算成「接近」。

硬停项是无论其他指标多好都必须终止的条件。C Runner 的「不可回滚错误」就是硬停项:只要出现一次,当前阶段立即终止,不进入近失判断。硬停项的设置原则是「后果不可接受」,而不是「概率很低」。

阈值还要区分方向。错误率、返工率是「越低越好」,达标条件是实际值不高于阈值;采纳率、一致率、回滚成功率是「越高越好」,达标条件是实际值不低于阈值。方向搞反,判定会完全相反。

三个案例的退出条件

三个案例的自主档不同,退出条件的重点也不同。

A Relay(建议档) 的试点是 10% 工单、3 周,退出条件是采纳率不低于 70%、错误率不高于 4%。扩大阶段是 40% 工单、4 周,采纳率不低于 75%、错误率不高于 3%。全量阶段要求连续 4 周达标。建议档的重点是「人愿不愿意采纳」,所以采纳率是主指标。

B Quill(草稿档) 的试点是 2 个客户组、约 12% 报告、6 周,退出条件是返工率不高于 15%、事实错误率不高于 7%。扩大阶段是 6 个客户组、约 45%、8 周,返工率不高于 12%、事实错误率不高于 5%。全量要求连续 8 周达标。草稿档的重点是「人改多少」,所以返工率和事实错误率是主指标。

C Runner(执行档) 的退出条件分四步:影子 4 周,与人工决策一致率不低于 85%;执行 5%,4 周,错误率不高于 2%、零不可回滚错误;执行 20%,8 周,错误率不高于 1.8%、回滚成功率 100%;执行 60%,连续 8 周达标。执行档的重点是「错误可不可控」,所以错误率和不可回滚错误是主指标。

三个案例的共同点是:每个阶段都有明确的覆盖比例、时长和阈值;不同点是:主指标跟着自主档变化。建议档看采纳,草稿档看返工,执行档看错误与回滚。

谁有权叫停

阈值写得再清楚,如果没有明确的停止权,也会在「再观察一周」里被磨掉。停止权要回答两个问题:谁能叫停,以及在什么阶段能叫停。

一个可操作的分配是:

阶段可叫停角色
影子 / 试点产品负责人、值班负责人
扩大 / 执行 5%–20%产品负责人、质量负责人、值班负责人
全量 / 执行 60%产品负责人、质量负责人、值班负责人、业务负责人

三条规则支撑这张表:

第一,值班负责人任何阶段都能单方面叫停。 事故不分工作时间,等审批会错过止损窗口。值班叫停后,24 小时内补复核,但叫停本身不需要事先同意。

第二,质量负责人从扩大阶段开始介入。 试点期的质量判断主要由产品负责人承担;进入扩大后,质量负责人需要对错误率和回滚能力做独立判断,不能只由推动上线的角色决定。

第三,业务负责人只在全量阶段加入。 全量影响的是业务连续性,业务负责人需要参与;但在试点和扩大阶段,业务方过多介入会让停止权变成协商,降低止损速度。

停止权不是「谁官大谁说了算」,而是「谁对这类风险负责,谁有权止损」。把停止权写进试点方案,比事后争论「当时该不该停」更有用。

延长不是拖延

延长阶段要有明确的边界,否则它会变成事实上的「无限试点」。

一个可用的延长规则是:

  • 只在「近失区间内、无硬停项」时触发。
  • 延长周期固定,通常为原周期的一半,最长不超过 2 周。
  • 阈值不变,不允许因为延长而下调。
  • 只允许一次;延长后仍未达标,按终止处理。
  • 延长期间不扩大覆盖比例。

五条规则里,「阈值不变」和「只允许一次」最关键。前者防止标准漂移,后者防止无限循环。很多试点失败不是因为数据差,而是因为每次差一点都可以再延长,最后没有人记得原定目标。

延长也不是没有成本。它占用团队注意力、延迟后续计划、让参与者长期处在不确定状态。所以延长应该有明确理由,比如「差异集中在某个未覆盖的场景,需要补样本」,而不是「再看看」。

把退出条件写成模型

下面这个模型把闸门判定、阶段汇总和停止权写在一起。evaluateGate 处理单个指标的通过、延长、终止,evaluateStage 汇总一个阶段的判定,canHalt 回答谁能在哪个阶段叫停。

// file: src/rollout/10-3-pilot-exit.ts
// tier: L2
// verify: node --test test/rollout/10-3-pilot-exit.test.ts

// 试点退出条件必须是量化阈值加明确的停止权。
// 没有停止权的阈值,会在「再观察一周」里被慢慢磨掉。

import { QUILL, RELAY, RUNNER } from "../cases.ts";
import { type Bps } from "../core/rate.ts";

export type Verdict = "pass" | "extend" | "stop";

export type Stage =
  | "shadow"
  | "execute-5"
  | "execute-20"
  | "execute-60"
  | "pilot"
  | "expand"
  | "full";

export type Gate = {
  readonly metric: string;
  readonly thresholdBps: Bps;
  readonly lowerIsBetter: boolean;
  readonly hardStop: boolean;
};

// 达标就通过;差 10% 以内且不是硬停项则延长;其余终止。
export function evaluateGate(gate: Gate, actualBps: Bps): Verdict {
  if (gate.lowerIsBetter) {
    if (actualBps <= gate.thresholdBps) return "pass";
    if (gate.hardStop) return "stop";
    if (actualBps <= Math.round(gate.thresholdBps * 1.1)) return "extend";
    return "stop";
  }
  if (actualBps >= gate.thresholdBps) return "pass";
  if (gate.hardStop) return "stop";
  if (actualBps >= Math.round(gate.thresholdBps * 0.9)) return "extend";
  return "stop";
}

export type StageResult = {
  readonly verdict: Verdict;
  readonly failed: readonly string[];
  readonly near: readonly string[];
};

export function evaluateStage(
  gates: readonly Gate[],
  values: Readonly<Record<string, Bps>>,
): StageResult {
  const failed: string[] = [];
  const near: string[] = [];
  let stop = false;
  let extend = false;
  for (const gate of gates) {
    const verdict = evaluateGate(gate, values[gate.metric] ?? 0);
    if (verdict === "stop") {
      stop = true;
      failed.push(gate.metric);
    } else if (verdict === "extend") {
      extend = true;
      near.push(gate.metric);
    }
  }
  return {
    verdict: stop ? "stop" : extend ? "extend" : "pass",
    failed,
    near,
  };
}

export type HaltRole = "on-call" | "product-owner" | "quality-lead" | "executive";

// 越往后,能叫停的角色越多;值班负责人任何阶段都可以单方面叫停。
export const HALT_ROLES: Record<Stage, readonly HaltRole[]> = {
  shadow: ["product-owner", "on-call"],
  "execute-5": ["product-owner", "quality-lead", "on-call"],
  "execute-20": ["product-owner", "quality-lead", "on-call"],
  "execute-60": ["product-owner", "quality-lead", "on-call", "executive"],
  pilot: ["product-owner", "on-call"],
  expand: ["product-owner", "quality-lead", "on-call"],
  full: ["product-owner", "quality-lead", "on-call", "executive"],
};

export function canHalt(role: HaltRole, stage: Stage): boolean {
  return HALT_ROLES[stage].includes(role);
}

export const A_PILOT_GATES: readonly Gate[] = [
  { metric: "adoption", thresholdBps: 7_000, lowerIsBetter: false, hardStop: false },
  { metric: "error", thresholdBps: 400, lowerIsBetter: true, hardStop: false },
];

export const A_EXPAND_GATES: readonly Gate[] = [
  { metric: "adoption", thresholdBps: 7_500, lowerIsBetter: false, hardStop: false },
  { metric: "error", thresholdBps: 300, lowerIsBetter: true, hardStop: false },
];

export const B_PILOT_GATES: readonly Gate[] = [
  { metric: "rework", thresholdBps: 1_500, lowerIsBetter: true, hardStop: false },
  { metric: "factError", thresholdBps: 700, lowerIsBetter: true, hardStop: false },
];

export const B_EXPAND_GATES: readonly Gate[] = [
  { metric: "rework", thresholdBps: 1_200, lowerIsBetter: true, hardStop: false },
  { metric: "factError", thresholdBps: 500, lowerIsBetter: true, hardStop: false },
];

export const C_SHADOW_GATES: readonly Gate[] = [
  { metric: "agreement", thresholdBps: 8_500, lowerIsBetter: false, hardStop: false },
];

// 不可回滚错误是硬停项:只要出现一次,当前阶段立即终止。
export const C_EXECUTE_5_GATES: readonly Gate[] = [
  { metric: "error", thresholdBps: 200, lowerIsBetter: true, hardStop: false },
  { metric: "irreversible", thresholdBps: 0, lowerIsBetter: true, hardStop: true },
];

export const C_EXECUTE_20_GATES: readonly Gate[] = [
  { metric: "error", thresholdBps: 180, lowerIsBetter: true, hardStop: false },
  { metric: "rollbackSuccess", thresholdBps: 10_000, lowerIsBetter: false, hardStop: false },
];

export const CASE_EXIT = {
  A: { pilot: A_PILOT_GATES, expand: A_EXPAND_GATES },
  B: { pilot: B_PILOT_GATES, expand: B_EXPAND_GATES },
  C: {
    shadow: C_SHADOW_GATES,
    execute5: C_EXECUTE_5_GATES,
    execute20: C_EXECUTE_20_GATES,
  },
} as const;

export const CASE_SIZE = {
  A: { monthlyTasks: RELAY.monthlyTasks, teamSize: RELAY.teamSize },
  B: { monthlyTasks: QUILL.monthlyTasks, teamSize: QUILL.teamSize },
  C: { monthlyTasks: RUNNER.monthlyTasks, teamSize: RUNNER.teamSize },
} as const;

evaluateGate 先判断方向,再判断是否达标。越低越好的指标,实际值不高于阈值就通过;超过阈值但在 10% 近失区间内,延长;超过近失区间,终止。越高越好的指标方向相反。硬停项在进入近失判断之前就终止,不参与「差一点」的讨论。

10% 的近失区间用 Math.round 处理,避免浮点边界争议。比如错误率阈值 400 bps,近失上限是 440 bps;实际 420 bps 属于延长,441 bps 属于终止。这个边界要在试点方案里写清楚,不能等到评审时再解释。

evaluateStage 汇总一个阶段的所有闸门:任何一个硬停项触发,整个阶段终止;没有终止但有近失,整个阶段延长;全部通过,才进入下一阶段。这个「最差项决定阶段」的规则,避免了「总分达标但某一项严重超标」的情况。

HALT_ROLES 把停止权按阶段分配。值班负责人在所有阶段都可叫停,产品负责人全程参与,质量负责人从扩大阶段介入,业务负责人只在全量阶段加入。canHalt 是一个简单的包含判断,但它把「谁有权止损」从口头约定变成了可检查的配置。

CASE_EXIT 和 CASE_SIZE 把三个案例的闸门与规模放在一起。它们不是用来替代试点方案,而是用来保证方案里的数字与事实表一致:A 的试点是 10%、3 周,B 是 12%、6 周,C 的影子是 4 周、85%。数字一旦分散在文档里,迟早会出现版本不一致。

退出条件评审的五个问题

  1. 每个阶段是否有覆盖比例、时长和至少两个阈值?缺一个,阶段就无法判定。
  2. 阈值的方向是否写对?错误率越低越好,采纳率越高越好,方向反了判定就反了。
  3. 是否有硬停项?没有硬停项,严重错误会被「其他指标还不错」稀释。
  4. 延长是否有固定周期、阈值不变、只允许一次?缺一条,延长就会变成拖延。
  5. 谁有权叫停,是否写进了方案?没有停止权的阈值,只是一张愿望清单。

五个问题里,第三和第五个最关键。硬停项决定「什么情况必须停」,停止权决定「谁能真的停」。两者缺一,退出条件就只是事后解释的材料,而不是事前约束。

小结

  • 试点有三种出口:通过、延长、终止,不是简单的通过/不通过。
  • 通过阈值对应「可接受的最低表现」,要留学习空间,但不能低到闭眼也能过。
  • 近失区间通常设为阈值的 10%,硬停项不参与近失判断。
  • A Relay 试点看采纳率 70%、错误率 4%;扩大看 75%、3%;全量连续 4 周。
  • B Quill 试点看返工率 15%、事实错误 7%;扩大看 12%、5%;全量连续 8 周。
  • C Runner 影子看一致率 85%;执行 5% 看错误率 2%、零不可回滚错误;执行 20% 看 1.8%、回滚 100%。
  • 停止权按阶段分配:值班负责人任何阶段可叫停,质量负责人从扩大介入,业务负责人只在全量加入。
  • 延长必须有固定周期、阈值不变、只允许一次,否则就是拖延。

阅读导航:上一节:10.2 试点范围怎么选 · 下一节:11.1 按风险分层的放量上限 。

常见错误与边界

  1. 只写通过条件,不写终止条件。 没有终止条件,数据不好时团队只会延长;终止条件要和通过条件同时写。
  2. 把延长当成默认选项。 延长必须有固定周期、阈值不变、只允许一次;否则它会变成无限期试点。
  3. 阈值方向写反。 错误率是越低越好,采纳率是越高越好;方向反了,达标判断会完全相反。
  4. 没有硬停项。 严重错误会被「其他指标还不错」稀释;不可回滚错误应该一票终止。
  5. 停止权写成「大家商量」。 协商式停止会错过止损窗口;值班负责人应能单方面叫停,事后复核。
  6. 阈值散落在不同文档里。 试点方案、看板、评审材料各写一套数字,迟早不一致;应以一张闸门表为准。

试点退出之后,下一章进入放量:不同风险的动作,应该有不同的覆盖上限和回滚阈值。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图