以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
试点最常见的选择方式是「找几个愿意配合的用户」。这个做法看起来稳妥,实际上把最关键的变量换掉了:你测的不再是产品在真实任务上的表现,而是产品在一群高容忍度用户身上的表现。等全量上线,任务分布一变,之前的好结果就消失了。
这一节讨论试点范围的选择判据:什么样的人群既足够代表真实任务,又足够承受早期错误。
两个条件的交集
试点范围要同时满足两个条件:代表性和可承受。
代表性回答「这个范围能不能代表全量任务」。如果试点只覆盖账单类工单,就不能推断集成类工单的表现;如果试点只覆盖大客户,就不能推断中小客户的表现。代表性不足,试点结果无法外推。
可承受回答「这个范围出了错,团队能不能兜住」。错误代价高、不可回滚、审计能力不足的范围,即使再有代表性,也不适合做第一批。可承受不足,试点可能变成事故。
两个条件取交集,而不是并集。只看代表性,会选到高风险任务;只看可承受,会选到边缘场景。试点范围应该落在「既有代表性、又兜得住」的那部分。
代表性的三个维度
代表性不是一个百分比,而是三个维度的组合。
业务量占比。 这个范围占全量任务的比例。占比太小,样本量不足;占比太大,试点本身就接近全量。A Relay 选 10%,对应的月工单量是 2,640 单,这个量级足够在 3 周内积累可判断的样本。
队列覆盖。 这个范围覆盖了多少个任务类型。A Relay 有 8 个队列,如果一个试点只覆盖账单队列,就无法验证登录、集成、数据等队列的分诊效果。覆盖不足的试点,结论只能用于同类队列。
客户结构。 这个范围里的客户规模、行业、历史是否接近全量。只选大客户,会高估 Agent 在处理复杂工单上的能力;只选新客户,会低估历史数据带来的上下文价值。
三个维度里,队列覆盖最容易被忽略。很多试点按客户分组,看起来覆盖了多个客户,实际上都集中在同一类工单。范围的代表性,最终要看任务类型的分布,而不是客户名单的长度。
可承受的三个判据
可承受不是「团队愿不愿意」,而是三个可以检查的判据。
错误代价。 这个范围里的错误,会不会伤到客户、造成资金损失或违反承诺?会,就不适合第一批。A Relay 的分诊错误会影响客户体验与 SLA,所以试点要选错误代价相对可控的队列。
可回滚性。 出了错能不能撤回?能,可承受度就高;不能,就应该往后放。C Runner 的放量把「零不可回滚错误」作为执行 5% 的硬条件,就是因为不可回滚的错误没有第二次机会。
审计能力。 团队能不能在试点期发现错误?抽检比例、复核人力、日志完整度,决定了错误会不会被看见。审计能力不足的试点,等于在黑暗中放量。
三个判据里,审计能力最容易被低估。团队常常假设「试点期间大家会盯着」,但没有排班、没有抽检规则、没有日志,所谓「盯着」只是注意力,不是机制。
为什么不能只选友好客户
友好客户有三个特征:愿意配合、容忍错误、反馈积极。这三个特征在试点期看起来是优点,在经济上却是偏差。
第一,容忍度会掩盖错误。 友好客户遇到问题时更可能说「没关系,我再试试」,而不是投诉或流失。试点期看到的错误率,会低于真实客户的错误率。
第二,反馈会偏向产品团队想听的话。 友好客户往往和产品团队有私人关系,反馈更温和、更抽象,缺少真实客户那种「这一步我用不了」的具体信息。
第三,任务分布会偏。 愿意配合的客户,往往是数字化程度较高、流程较规范的客户;他们的任务更规整,长尾更少。试点在这类客户上表现好,不代表在长尾客户上也能表现好。
友好客户不是不能用,而是不能只用。合理的做法是:把友好客户放进试点,但同时保证范围里有足够比例的非友好客户、边缘任务和长尾场景。否则试点就变成了「在温室里测耐寒」。
A Relay 的 10% 工单
A Relay 的试点设计是:覆盖 10% 工单,持续 3 周,退出条件是采纳率不低于 70%、错误率不高于 4%。
10% 对应 2,640 单/月,按 3 周计算,样本量足够看出采纳率与错误率的量级。3 周的时长覆盖了周内波动,又不至于长到让团队失去节奏。70% 的采纳率门槛低于全量的 78%,是刻意留出的学习空间;4% 的错误率门槛高于全量的 2.9%,也是同样的考虑。
候选段可以按下面的方式拆:
| 候选段 | 业务量占比 | 队列覆盖 | 错误代价 | 可回滚 | 审计 | 结论 |
|---|---|---|---|---|---|---|
| 标准零售 | 10% | 8 个队列 | 中 | 是 | 8% 抽检 | 适合 |
| 标准 SMB | 9% | 7 个队列 | 中 | 是 | 8% 抽检 | 备选 |
| 企业 VIP | 8% | 5 个队列 | 高 | 否 | 4% 抽检 | 不适合 |
| 试用用户 | 5% | 2 个队列 | 中 | 是 | 8% 抽检 | 代表性不足 |
| 冠军团队 | 6% | 8 个队列 | 中 | 是 | 8% 抽检 | 不能只选它 |
标准零售段正好覆盖 10%,队列覆盖 8 个,错误代价中等且可回滚,是最合适的起点。企业 VIP 段虽然业务量不小,但错误代价高、不可回滚、审计覆盖低,不适合第一批。试用用户段队列覆盖只有 2 个,代表性不足。冠军团队段看起来条件不错,但「积极」不是选点依据,只能作为试点里的一个组成部分。
选点算法:先过滤,再排序,最后告警
把上面的判据落成算法,可以分三步。
第一步,过滤。 先排除不满足可承受条件的段:错误代价高、不可回滚、审计覆盖不足。再排除代表性不足的段:队列覆盖太少、代表性得分太低。过滤之后剩下的,才是候选。
第二步,排序。 在候选里按代表性得分排序,从高到低累加,直到覆盖目标比例。排序时不要给「积极用户」加分;冠军标记只用于后续沟通,不用于选点。
第三步,告警。 如果过滤后没有候选,或者累加后覆盖不足,或者选中的全是冠军团队,就要给出明确告警。告警不是失败,而是提示产品团队「当前范围不满足试点条件」,应该调整目标或等待条件成熟。
三步里,第三步最容易被省略。很多试点方案只写「选哪些段」,不写「选不出来怎么办」;结果是条件不满足时,团队会降低标准硬选,试点又回到了「找友好客户」的老路。
把选点写成模型
下面这个模型把代表性、可承受性、候选筛选、目标覆盖和告警写在一起。representativeness 只算业务量与队列覆盖,isEligible 过滤高风险段,selectPilot 按得分累加并返回告警。
// file: src/rollout/10-2-pilot-scope.ts
// tier: L2
// verify: node --test test/rollout/10-2-pilot-scope.test.ts
// 试点范围选「代表性 + 可承受」的交集,不选最积极的用户。
// 热情是 rollout 的燃料,不是选点的证据。
import { RELAY } from "../cases.ts";
import { applyRate, type Bps } from "../core/rate.ts";
export type Segment = {
readonly id: string;
readonly volumeBps: Bps;
readonly queueCoverage: number;
readonly errorCost: 0 | 1 | 2;
readonly reversible: boolean;
readonly auditBps: Bps;
readonly champion: boolean;
};
// 代表性 = 业务量占比 × 队列覆盖;champion 标记刻意不参与计算。
export function representativeness(segment: Segment): Bps {
const coverage = Math.min(segment.queueCoverage, 4) / 4;
return Math.round(segment.volumeBps * coverage);
}
export function isAffordable(segment: Segment): boolean {
return segment.errorCost <= 1 && segment.reversible && segment.auditBps >= 500;
}
export function isEligible(segment: Segment): boolean {
return (
segment.queueCoverage >= 3 &&
representativeness(segment) >= 500 &&
isAffordable(segment)
);
}
export type PilotPlan = {
readonly selected: readonly Segment[];
readonly coverageBps: Bps;
readonly monthlyTasks: number;
readonly warnings: readonly string[];
};
export function selectPilot(
segments: readonly Segment[],
targetBps: Bps,
monthlyTasks: number,
): PilotPlan {
const ranked = segments
.filter(isEligible)
.slice()
.sort((a, b) => representativeness(b) - representativeness(a));
const selected: Segment[] = [];
let coverage = 0;
for (const segment of ranked) {
if (coverage >= targetBps) break;
selected.push(segment);
coverage += segment.volumeBps;
}
const warnings: string[] = [];
if (selected.length === 0) {
warnings.push("没有可承受的试点段");
}
if (coverage < targetBps) {
warnings.push(`覆盖不足:${coverage}/${targetBps} bps`);
}
const champions = selected.filter((segment) => segment.champion).length;
if (selected.length > 0 && champions === selected.length) {
warnings.push("只选到了积极用户,代表性不足");
}
return {
selected,
coverageBps: coverage,
monthlyTasks: applyRate(monthlyTasks, coverage),
warnings,
};
}
export function pilotSize(monthlyTasks: number, targetBps: Bps): number {
return applyRate(monthlyTasks, targetBps);
}
// A Relay 的候选段:标准零售与标准 SMB 可承受;
// VIP 段错误代价高且不可逆;试用段队列覆盖不足;冠军团队只是热情高。
export const RELAY_SEGMENTS: readonly Segment[] = [
{
id: "standard-retail",
volumeBps: 1000,
queueCoverage: 8,
errorCost: 1,
reversible: true,
auditBps: 800,
champion: false,
},
{
id: "standard-smb",
volumeBps: 900,
queueCoverage: 7,
errorCost: 1,
reversible: true,
auditBps: 800,
champion: false,
},
{
id: "enterprise-vip",
volumeBps: 800,
queueCoverage: 5,
errorCost: 2,
reversible: false,
auditBps: 400,
champion: false,
},
{
id: "trial-users",
volumeBps: 500,
queueCoverage: 2,
errorCost: 1,
reversible: true,
auditBps: 800,
champion: false,
},
{
id: "champion-team",
volumeBps: 600,
queueCoverage: 8,
errorCost: 1,
reversible: true,
auditBps: 800,
champion: true,
},
];
export const RELAY_PILOT = {
targetBps: 1000,
weeks: 3,
exitAdoptionBps: 7_000,
exitErrorBps: 400,
monthlyTasks: RELAY.monthlyTasks,
} as const;
representativeness 把业务量占比与队列覆盖相乘,队列覆盖按 4 个封顶。这个公式很粗,但它抓住了两个关键变量:范围要有足够的量,也要覆盖足够多的任务类型。更复杂的模型可以加入客户结构、历史长度,但在试点阶段,粗模型更容易解释,也更不容易被调参调成想要的结果。
isAffordable 是一票否决:错误代价高于 1、不可回滚、审计覆盖低于 5%,任何一条不满足就不进入候选。它不参与排序,因为可承受性不是「加分项」,而是「门槛」。把门槛做成加分,高风险段就会因为业务量大而排到前面。
selectPilot 先过滤再排序,按业务量累加直到覆盖目标。注意它没有读取 champion 字段:冠军标记不影响得分,也不影响排序。这是刻意的,因为「积极」是一种意愿,不是代表性。
告警有三类:没有候选、覆盖不足、只选到积极用户。第一类说明当前条件不适合试点,第二类说明目标比例定得过高或候选太少,第三类说明选点退回了「找友好客户」。三类告警都应该在试点方案评审时被看到,而不是等到试点结束才发现范围有问题。
pilotSize 把目标比例换算成任务量。A Relay 的 26,400 单按 10% 计算是 2,640 单;这个数字要写进试点方案,因为它决定了样本量、人力排班和审计抽检的基数。
选点评审的五个问题
- 试点范围覆盖了哪些任务类型?只覆盖一类,结论就只能用于这一类。
- 范围里的客户结构是否接近全量?只选大客户或只选新客户,都会带来偏差。
- 出了错能不能兜住?错误代价、可回滚性、审计能力,三项都要有答案。
- 选点是否受「谁愿意配合」影响?愿意配合是沟通条件,不是代表性证据。
- 选不出合格范围时,方案有没有写「怎么办」?没有,团队就会降低标准硬选。
五个问题里,第五个最容易被跳过。试点方案通常假设「总能选出合适的范围」,但真实情况往往是:高风险段不能选、低风险段代表性不足、友好客户又不能用。提前写下「选不出来就延后」,比事后临时降标准更安全。
小结
- 试点范围要同时满足代表性和可承受性,取交集而不是并集。
- 代表性看业务量占比、队列覆盖、客户结构三个维度,队列覆盖最容易被忽略。
- 可承受性看错误代价、可回滚性、审计能力,三者都是门槛而不是加分项。
- 只选友好客户会低估错误率、扭曲反馈、缩窄任务分布,试点变成温室测试。
- A Relay 的试点是 10% 工单、2,640 单、3 周,退出条件是采纳率 70%、错误率 4%。
- 选点算法先过滤高风险与低代表段,再按代表性排序累加,最后给出三类告警。
- 冠军标记不参与评分,积极是意愿,不是代表性。
- 方案要写清「选不出合格范围时怎么办」,否则团队会降低标准硬选。
阅读导航:上一节:10.1 影子模式:只记录不执行 · 下一节:10.3 试点的退出条件 。
常见错误与边界
- 把「愿意配合」当成选点依据。 友好客户的容忍度会掩盖错误,反馈也会偏向产品团队想听的话;积极是沟通条件,不是代表性。
- 只按客户分组,不看任务类型。 多个客户可能集中在同一类工单,客户名单长不等于任务覆盖广。
- 把可承受性做成加分项。 错误代价高、不可回滚的段不应该进入候选,而不是「业务量大所以排前面」。
- 试点比例拍脑袋。 10% 对应多少单、需要多少样本、审计能不能覆盖,都要算出来;比例不是越小越安全。
- 没有「选不出来」的预案。 条件不满足时临时降标准,试点会退回找友好客户;应该明确延后或调整目标。
- 把试点结果直接外推到全量。 试点范围再代表性,也只是全量的一个子集;外推时要说明覆盖边界和未覆盖的任务类型。
范围选定之后,最后一个问题是:跑到什么时候算试完。下一节给出通过、延长、终止三种出口,以及谁有权叫停。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。