以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
试点最怕的不是失败,而是没有结论。跑满 4 周,数据不好不坏,团队说「再观察一周」;再观察一周,还是不好不坏;三个月后,试点变成了常态,没有人记得它原本要证明什么。
退出条件的作用,就是在试点开始前把「什么算成功、什么算失败、谁有权叫停」写清楚。这一节给出通过、延长、终止三种判定,以及三个案例各自的数字。
三种出口,不是两种
多数试点方案只写「通过」和「不通过」,但真实决策往往有第三种:数据不够好,但也没差到必须停。这时需要一个有边界的「延长」,而不是无限期观察。
| 判定 | 条件 | 后续动作 |
|---|---|---|
| 通过 | 所有阈值达标 | 进入下一阶段,扩大覆盖 |
| 延长 | 未全部达标,但落在近失区间,且无硬停项 | 延长固定周期,阈值不变 |
| 终止 | 触发硬停项,或明显低于近失区间 | 停止试点,回到上一阶段或重做设计 |
三种出口里,「延长」最容易被滥用。它必须同时满足三个限制:有固定周期(比如 2 周)、阈值不变(不能因为没达标就降低标准)、只允许一次(第二次未达标即终止)。没有这三个限制,延长就是拖延的委婉说法。
阈值怎么定
阈值不是拍脑袋,而是从「可接受的后果」反推。
通过阈值应该对应「这个阶段可以接受的最低表现」。A Relay 的试点采纳率门槛是 70%,低于全量的 78%,因为试点期还在学习;错误率门槛是 4%,高于全量的 2.9%,也是同样的考虑。门槛要留出学习空间,但不能低到「闭着眼也能过」。
近失区间通常设为阈值的 10%。错误率阈值 4%,近失上限就是 4.4%;采纳率阈值 70%,近失下限就是 63%。10% 不是科学常数,而是一个管理约定:它足够容纳正常波动,又不至于把明显不达标的结果算成「接近」。
硬停项是无论其他指标多好都必须终止的条件。C Runner 的「不可回滚错误」就是硬停项:只要出现一次,当前阶段立即终止,不进入近失判断。硬停项的设置原则是「后果不可接受」,而不是「概率很低」。
阈值还要区分方向。错误率、返工率是「越低越好」,达标条件是实际值不高于阈值;采纳率、一致率、回滚成功率是「越高越好」,达标条件是实际值不低于阈值。方向搞反,判定会完全相反。
三个案例的退出条件
三个案例的自主档不同,退出条件的重点也不同。
A Relay(建议档) 的试点是 10% 工单、3 周,退出条件是采纳率不低于 70%、错误率不高于 4%。扩大阶段是 40% 工单、4 周,采纳率不低于 75%、错误率不高于 3%。全量阶段要求连续 4 周达标。建议档的重点是「人愿不愿意采纳」,所以采纳率是主指标。
B Quill(草稿档) 的试点是 2 个客户组、约 12% 报告、6 周,退出条件是返工率不高于 15%、事实错误率不高于 7%。扩大阶段是 6 个客户组、约 45%、8 周,返工率不高于 12%、事实错误率不高于 5%。全量要求连续 8 周达标。草稿档的重点是「人改多少」,所以返工率和事实错误率是主指标。
C Runner(执行档) 的退出条件分四步:影子 4 周,与人工决策一致率不低于 85%;执行 5%,4 周,错误率不高于 2%、零不可回滚错误;执行 20%,8 周,错误率不高于 1.8%、回滚成功率 100%;执行 60%,连续 8 周达标。执行档的重点是「错误可不可控」,所以错误率和不可回滚错误是主指标。
三个案例的共同点是:每个阶段都有明确的覆盖比例、时长和阈值;不同点是:主指标跟着自主档变化。建议档看采纳,草稿档看返工,执行档看错误与回滚。
谁有权叫停
阈值写得再清楚,如果没有明确的停止权,也会在「再观察一周」里被磨掉。停止权要回答两个问题:谁能叫停,以及在什么阶段能叫停。
一个可操作的分配是:
| 阶段 | 可叫停角色 |
|---|---|
| 影子 / 试点 | 产品负责人、值班负责人 |
| 扩大 / 执行 5%–20% | 产品负责人、质量负责人、值班负责人 |
| 全量 / 执行 60% | 产品负责人、质量负责人、值班负责人、业务负责人 |
三条规则支撑这张表:
第一,值班负责人任何阶段都能单方面叫停。 事故不分工作时间,等审批会错过止损窗口。值班叫停后,24 小时内补复核,但叫停本身不需要事先同意。
第二,质量负责人从扩大阶段开始介入。 试点期的质量判断主要由产品负责人承担;进入扩大后,质量负责人需要对错误率和回滚能力做独立判断,不能只由推动上线的角色决定。
第三,业务负责人只在全量阶段加入。 全量影响的是业务连续性,业务负责人需要参与;但在试点和扩大阶段,业务方过多介入会让停止权变成协商,降低止损速度。
停止权不是「谁官大谁说了算」,而是「谁对这类风险负责,谁有权止损」。把停止权写进试点方案,比事后争论「当时该不该停」更有用。
延长不是拖延
延长阶段要有明确的边界,否则它会变成事实上的「无限试点」。
一个可用的延长规则是:
- 只在「近失区间内、无硬停项」时触发。
- 延长周期固定,通常为原周期的一半,最长不超过 2 周。
- 阈值不变,不允许因为延长而下调。
- 只允许一次;延长后仍未达标,按终止处理。
- 延长期间不扩大覆盖比例。
五条规则里,「阈值不变」和「只允许一次」最关键。前者防止标准漂移,后者防止无限循环。很多试点失败不是因为数据差,而是因为每次差一点都可以再延长,最后没有人记得原定目标。
延长也不是没有成本。它占用团队注意力、延迟后续计划、让参与者长期处在不确定状态。所以延长应该有明确理由,比如「差异集中在某个未覆盖的场景,需要补样本」,而不是「再看看」。
把退出条件写成模型
下面这个模型把闸门判定、阶段汇总和停止权写在一起。evaluateGate 处理单个指标的通过、延长、终止,evaluateStage 汇总一个阶段的判定,canHalt 回答谁能在哪个阶段叫停。
// file: src/rollout/10-3-pilot-exit.ts
// tier: L2
// verify: node --test test/rollout/10-3-pilot-exit.test.ts
// 试点退出条件必须是量化阈值加明确的停止权。
// 没有停止权的阈值,会在「再观察一周」里被慢慢磨掉。
import { QUILL, RELAY, RUNNER } from "../cases.ts";
import { type Bps } from "../core/rate.ts";
export type Verdict = "pass" | "extend" | "stop";
export type Stage =
| "shadow"
| "execute-5"
| "execute-20"
| "execute-60"
| "pilot"
| "expand"
| "full";
export type Gate = {
readonly metric: string;
readonly thresholdBps: Bps;
readonly lowerIsBetter: boolean;
readonly hardStop: boolean;
};
// 达标就通过;差 10% 以内且不是硬停项则延长;其余终止。
export function evaluateGate(gate: Gate, actualBps: Bps): Verdict {
if (gate.lowerIsBetter) {
if (actualBps <= gate.thresholdBps) return "pass";
if (gate.hardStop) return "stop";
if (actualBps <= Math.round(gate.thresholdBps * 1.1)) return "extend";
return "stop";
}
if (actualBps >= gate.thresholdBps) return "pass";
if (gate.hardStop) return "stop";
if (actualBps >= Math.round(gate.thresholdBps * 0.9)) return "extend";
return "stop";
}
export type StageResult = {
readonly verdict: Verdict;
readonly failed: readonly string[];
readonly near: readonly string[];
};
export function evaluateStage(
gates: readonly Gate[],
values: Readonly<Record<string, Bps>>,
): StageResult {
const failed: string[] = [];
const near: string[] = [];
let stop = false;
let extend = false;
for (const gate of gates) {
const verdict = evaluateGate(gate, values[gate.metric] ?? 0);
if (verdict === "stop") {
stop = true;
failed.push(gate.metric);
} else if (verdict === "extend") {
extend = true;
near.push(gate.metric);
}
}
return {
verdict: stop ? "stop" : extend ? "extend" : "pass",
failed,
near,
};
}
export type HaltRole = "on-call" | "product-owner" | "quality-lead" | "executive";
// 越往后,能叫停的角色越多;值班负责人任何阶段都可以单方面叫停。
export const HALT_ROLES: Record<Stage, readonly HaltRole[]> = {
shadow: ["product-owner", "on-call"],
"execute-5": ["product-owner", "quality-lead", "on-call"],
"execute-20": ["product-owner", "quality-lead", "on-call"],
"execute-60": ["product-owner", "quality-lead", "on-call", "executive"],
pilot: ["product-owner", "on-call"],
expand: ["product-owner", "quality-lead", "on-call"],
full: ["product-owner", "quality-lead", "on-call", "executive"],
};
export function canHalt(role: HaltRole, stage: Stage): boolean {
return HALT_ROLES[stage].includes(role);
}
export const A_PILOT_GATES: readonly Gate[] = [
{ metric: "adoption", thresholdBps: 7_000, lowerIsBetter: false, hardStop: false },
{ metric: "error", thresholdBps: 400, lowerIsBetter: true, hardStop: false },
];
export const A_EXPAND_GATES: readonly Gate[] = [
{ metric: "adoption", thresholdBps: 7_500, lowerIsBetter: false, hardStop: false },
{ metric: "error", thresholdBps: 300, lowerIsBetter: true, hardStop: false },
];
export const B_PILOT_GATES: readonly Gate[] = [
{ metric: "rework", thresholdBps: 1_500, lowerIsBetter: true, hardStop: false },
{ metric: "factError", thresholdBps: 700, lowerIsBetter: true, hardStop: false },
];
export const B_EXPAND_GATES: readonly Gate[] = [
{ metric: "rework", thresholdBps: 1_200, lowerIsBetter: true, hardStop: false },
{ metric: "factError", thresholdBps: 500, lowerIsBetter: true, hardStop: false },
];
export const C_SHADOW_GATES: readonly Gate[] = [
{ metric: "agreement", thresholdBps: 8_500, lowerIsBetter: false, hardStop: false },
];
// 不可回滚错误是硬停项:只要出现一次,当前阶段立即终止。
export const C_EXECUTE_5_GATES: readonly Gate[] = [
{ metric: "error", thresholdBps: 200, lowerIsBetter: true, hardStop: false },
{ metric: "irreversible", thresholdBps: 0, lowerIsBetter: true, hardStop: true },
];
export const C_EXECUTE_20_GATES: readonly Gate[] = [
{ metric: "error", thresholdBps: 180, lowerIsBetter: true, hardStop: false },
{ metric: "rollbackSuccess", thresholdBps: 10_000, lowerIsBetter: false, hardStop: false },
];
export const CASE_EXIT = {
A: { pilot: A_PILOT_GATES, expand: A_EXPAND_GATES },
B: { pilot: B_PILOT_GATES, expand: B_EXPAND_GATES },
C: {
shadow: C_SHADOW_GATES,
execute5: C_EXECUTE_5_GATES,
execute20: C_EXECUTE_20_GATES,
},
} as const;
export const CASE_SIZE = {
A: { monthlyTasks: RELAY.monthlyTasks, teamSize: RELAY.teamSize },
B: { monthlyTasks: QUILL.monthlyTasks, teamSize: QUILL.teamSize },
C: { monthlyTasks: RUNNER.monthlyTasks, teamSize: RUNNER.teamSize },
} as const;
evaluateGate 先判断方向,再判断是否达标。越低越好的指标,实际值不高于阈值就通过;超过阈值但在 10% 近失区间内,延长;超过近失区间,终止。越高越好的指标方向相反。硬停项在进入近失判断之前就终止,不参与「差一点」的讨论。
10% 的近失区间用 Math.round 处理,避免浮点边界争议。比如错误率阈值 400 bps,近失上限是 440 bps;实际 420 bps 属于延长,441 bps 属于终止。这个边界要在试点方案里写清楚,不能等到评审时再解释。
evaluateStage 汇总一个阶段的所有闸门:任何一个硬停项触发,整个阶段终止;没有终止但有近失,整个阶段延长;全部通过,才进入下一阶段。这个「最差项决定阶段」的规则,避免了「总分达标但某一项严重超标」的情况。
HALT_ROLES 把停止权按阶段分配。值班负责人在所有阶段都可叫停,产品负责人全程参与,质量负责人从扩大阶段介入,业务负责人只在全量阶段加入。canHalt 是一个简单的包含判断,但它把「谁有权止损」从口头约定变成了可检查的配置。
CASE_EXIT 和 CASE_SIZE 把三个案例的闸门与规模放在一起。它们不是用来替代试点方案,而是用来保证方案里的数字与事实表一致:A 的试点是 10%、3 周,B 是 12%、6 周,C 的影子是 4 周、85%。数字一旦分散在文档里,迟早会出现版本不一致。
退出条件评审的五个问题
- 每个阶段是否有覆盖比例、时长和至少两个阈值?缺一个,阶段就无法判定。
- 阈值的方向是否写对?错误率越低越好,采纳率越高越好,方向反了判定就反了。
- 是否有硬停项?没有硬停项,严重错误会被「其他指标还不错」稀释。
- 延长是否有固定周期、阈值不变、只允许一次?缺一条,延长就会变成拖延。
- 谁有权叫停,是否写进了方案?没有停止权的阈值,只是一张愿望清单。
五个问题里,第三和第五个最关键。硬停项决定「什么情况必须停」,停止权决定「谁能真的停」。两者缺一,退出条件就只是事后解释的材料,而不是事前约束。
小结
- 试点有三种出口:通过、延长、终止,不是简单的通过/不通过。
- 通过阈值对应「可接受的最低表现」,要留学习空间,但不能低到闭眼也能过。
- 近失区间通常设为阈值的 10%,硬停项不参与近失判断。
- A Relay 试点看采纳率 70%、错误率 4%;扩大看 75%、3%;全量连续 4 周。
- B Quill 试点看返工率 15%、事实错误 7%;扩大看 12%、5%;全量连续 8 周。
- C Runner 影子看一致率 85%;执行 5% 看错误率 2%、零不可回滚错误;执行 20% 看 1.8%、回滚 100%。
- 停止权按阶段分配:值班负责人任何阶段可叫停,质量负责人从扩大介入,业务负责人只在全量加入。
- 延长必须有固定周期、阈值不变、只允许一次,否则就是拖延。
阅读导航:上一节:10.2 试点范围怎么选 · 下一节:11.1 按风险分层的放量上限 。
常见错误与边界
- 只写通过条件,不写终止条件。 没有终止条件,数据不好时团队只会延长;终止条件要和通过条件同时写。
- 把延长当成默认选项。 延长必须有固定周期、阈值不变、只允许一次;否则它会变成无限期试点。
- 阈值方向写反。 错误率是越低越好,采纳率是越高越好;方向反了,达标判断会完全相反。
- 没有硬停项。 严重错误会被「其他指标还不错」稀释;不可回滚错误应该一票终止。
- 停止权写成「大家商量」。 协商式停止会错过止损窗口;值班负责人应能单方面叫停,事后复核。
- 阈值散落在不同文档里。 试点方案、看板、评审材料各写一套数字,迟早不一致;应以一张闸门表为准。
试点退出之后,下一章进入放量:不同风险的动作,应该有不同的覆盖上限和回滚阈值。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。