以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
执行档 Agent 最难的第一次上线,不是「让它跑起来」,而是「让人相信它跑对」。直接在 5% 的任务上放开执行,风险太高;只做离线评测,又无法回答真实任务里的长尾。影子模式填的就是这段空白:Agent 照常判断,但不执行,只把「如果它做了会怎样」记录下来。
这一节说明影子模式该记什么、怎么比、产出是什么,以及它为什么不是免费的。
影子模式的定义
影子模式(shadow mode)的核心是一句话:Agent 参与判断,但不参与执行。
在 C Runner 的场景里,任务照常由人工完成,Agent 在旁边对同一个任务给出自己的判断:要不要改价、要不要下架、要不要补货。系统把 Agent 的判断、人工的判断、两边准备执行的动作都记录下来,但不让 Agent 真的改任何东西。
这样做的价值不是「让 Agent 学习」,而是拿到一份反事实证据:在真实任务分布下,如果 Agent 执行了,会和人工差多少、差在哪里、哪些差异会带来风险。离线评测给不了这个,因为离线数据往往是清洗过的、分布偏窄的;影子模式跑的是生产任务,长尾自然会出现。
C Runner 的放量表把影子放在第一步:100% 只记录不执行,持续 4 周,退出条件是与人工决策一致率不低于 85%。这个顺序很关键:先证明「它和人不一致的地方可接受」,再谈执行比例。
影子记录该有哪些字段
影子记录不是「Agent 说了什么」一句话,而是一份可复盘的证据。至少要包含八类字段。
| 字段 | 作用 | 缺失后果 |
|---|---|---|
| 任务 ID | 把 Agent 判断与人工结果对上 | 无法计算一致率 |
| Agent 判断 | 执行、跳过、转人工 | 不知道它想做什么 |
| 人工判断 | 人工实际选择 | 没有对照 |
| Agent 动作 | 如果执行,具体做什么 | 无法评估差异后果 |
| 人工动作 | 人工实际做了什么 | 无法解释差异 |
| 规则版本 | 当时用的是哪版规则 | 事后无法复现 |
| 输入哈希 | 当时看到的数据快照 | 无法判断是否同源 |
| 记录时间 | 判断发生的时刻 | 无法对齐时间窗 |
八个字段里,最容易被省掉的是「规则版本」和「输入哈希」。它们不影响一致率的计算,但决定了这份记录能不能被复盘。没有规则版本,你无法判断差异是「规则变了」还是「Agent 判断错了」;没有输入哈希,你无法判断两边看到的是不是同一份数据。
记录时间也不是装饰。影子模式通常持续数周,规则、数据、人工流程都可能中途变化;没有时间戳,前后两周的记录会被混在一起算,得出一个没有意义的一致率。
对比口径:一致、不同、转人工
影子模式最常用的指标是「与人工决策一致率」,但一致率怎么算,需要先定义清楚。
一条记录有三种结果:
- 一致(match):Agent 和人工的选择相同。
- 不同(differs):两边都给出了明确选择,但选择不同。
- 转人工(agent-abstain):Agent 主动放弃判断,交给人工。
一致率只统计前两类,转人工不计入分母。原因是:转人工不是「判断错误」,而是「知道自己不该判断」。如果把它算进分母,一个更谨慎的 Agent 反而会因为转人工多而显得一致率低,这会鼓励它冒险给出判断。
但转人工也不能完全忽略。产品要单独看转人工率:太高,说明 Agent 覆盖不了任务;太低,可能说明它在不该判断的时候也在判断。C Runner 的自动完成率是 78%,22% 转人工,这个比例可以作为影子期的参照,但不能直接套用,因为影子期的人工流程和正式执行不同。
除了总体一致率,还要看差异的分布。两个 Agent 可以有相同的一致率,但一个的差异集中在低风险任务,另一个的差异集中在高风险任务;后者的实际风险高得多。所以影子报告不能只给一个百分比,还要给差异清单和风险分层。
反事实:如果它做了会怎样
影子模式最有价值的产出,不是一致率,而是每一条差异的反事实描述。
比如一条任务里,Agent 判断「下架缺货商品」,人工选择「保留并补货」。反事实就是:如果 Agent 执行了,商品会被下架,正在浏览的客户会看到缺货页,补货后需要重新上架;人工的选择避免了这次中断。这条描述让人能判断差异的后果,而不只是知道「两边不一样」。
反事实描述要具体到动作和影响,不能写成「Agent 与人工判断不同」。前者能支撑决策,后者只是统计。C Runner 的动作类型包括改价、改库存、下架、发通知,每类动作的影响不同:改价影响收入和客户信任,改库存影响履约,下架影响流量,发通知影响客户感知。反事实要按动作类型写,不能一概而论。
反事实还有一个作用:它把「一致率」翻译成「风险故事」。管理层不一定能理解 85% 的一致率意味着什么,但能理解「有 3 条任务如果自动执行,会给已付款客户发错通知」。影子报告应该同时给数字和故事。
影子期的成本与产出
影子模式不是免费的。Agent 要在生产任务上跑一遍判断,模型调用和基础设施成本照付;人工还要照常完成任务,并额外记录自己的判断。换句话说,影子期的成本是「原人工成本 + 系统成本」,没有任何节省。
以 C Runner 为例,月任务量 13,200 个,模型调用 0.024 美元/任务,基础设施 0.048 美元/任务,系统成本合计 0.072 美元/任务,月系统成本 950.4 美元。影子期 4 周接近一个月,系统成本大致也是这个量级。人工侧仍然是 118,800 美元的纯人工成本,因为任务还是人做的。维护摊销 3,600 美元是否计入影子期,取决于规则和评测是否在影子期同步迭代;即使不计,影子期也不是「零成本试验」。
产出则有三类:
- 一致率与差异清单:回答「它和人差多少」。
- 反事实与风险分层:回答「差的地方会怎样」。
- 规则与数据的修正项:回答「上线前要改什么」。
第三类最容易被低估。影子期往往会暴露规则盲区、数据字段缺失、人工流程里的隐性判断;这些发现的价值,可能比一致率本身更大。
影子期也不应该无限延长。4 周是一个合理的起点:足够覆盖周内波动,又不至于让团队在没有反馈的情况下空转。延长应该有明确理由,比如任务量不足、差异集中在某个未覆盖的场景,而不是「再看看」。
把影子模式写成模型
下面这个模型把记录字段、对比口径、一致率、系统成本和反事实描述写在一起。compare 区分一致、不同、转人工,agreementBps 只统计明确判断,summarizeShadow 给出完整汇总。
// file: src/rollout/10-1-shadow-run.ts
// tier: L2
// verify: node --test test/rollout/10-1-shadow-run.test.ts
// 影子模式只记录、不执行:它买的不是准确率,
// 而是「如果它做了会怎样」的反事实证据。
import { RUNNER } from "../cases.ts";
import { add, mul, type Cents } from "../core/money.ts";
import { divide, type Bps } from "../core/rate.ts";
export type Decision = "execute" | "skip" | "escalate";
export type Comparison = "match" | "differs" | "agent-abstain";
export type ShadowRecord = {
readonly taskId: string;
readonly agent: Decision;
readonly human: Decision;
readonly agentAction: string;
readonly humanAction: string;
readonly rulesVersion: string;
readonly inputsHash: string;
readonly recordedAt: string;
};
// 缺任何一项,事后都无法回答「当时它看到了什么、按哪版规则判断」。
export const REQUIRED_FIELDS = [
"taskId",
"agent",
"human",
"agentAction",
"humanAction",
"rulesVersion",
"inputsHash",
"recordedAt",
] as const;
export function compare(record: ShadowRecord): Comparison {
if (record.agent === "escalate") return "agent-abstain";
if (record.agent === record.human) return "match";
return "differs";
}
export type ShadowSummary = {
readonly total: number;
readonly matches: number;
readonly differs: number;
readonly abstains: number;
readonly agreementBps: Bps;
readonly systemCents: Cents;
};
// 一致率只统计 Agent 给出明确判断的记录;转人工不计入分母。
export function agreementBps(records: readonly ShadowRecord[]): Bps {
const decided = records.filter((record) => record.agent !== "escalate");
const matches = decided.filter(
(record) => record.agent === record.human,
).length;
return divide(matches, decided.length);
}
export function shadowSystemCostCents(
tasks: number,
modelCents: Cents,
infraCents: Cents,
): Cents {
return mul(tasks, add(modelCents, infraCents));
}
export const RUNNER_SHADOW = {
weeks: 4,
coverageBps: 10_000,
exitAgreementBps: 8_500,
monthlyTasks: RUNNER.monthlyTasks,
modelCents: RUNNER.modelCents,
infraCents: RUNNER.infraCents,
} as const;
export function passesShadow(agreement: Bps): boolean {
return agreement >= RUNNER_SHADOW.exitAgreementBps;
}
export function counterfactual(record: ShadowRecord): string {
if (record.agent === "escalate") {
return `Agent 转人工,人工选择 ${record.human}`;
}
if (record.agent === record.human) {
return `两者一致:${record.humanAction}`;
}
return `如果 Agent 执行,会 ${record.agentAction};人工实际 ${record.humanAction}`;
}
export function differingRecords(
records: readonly ShadowRecord[],
): readonly ShadowRecord[] {
return records.filter((record) => compare(record) === "differs");
}
export function summarizeShadow(
records: readonly ShadowRecord[],
): ShadowSummary {
const matches = records.filter((record) => compare(record) === "match").length;
const differs = records.filter(
(record) => compare(record) === "differs",
).length;
const abstains = records.filter(
(record) => compare(record) === "agent-abstain",
).length;
return {
total: records.length,
matches,
differs,
abstains,
agreementBps: agreementBps(records),
systemCents: shadowSystemCostCents(
records.length,
RUNNER_SHADOW.modelCents,
RUNNER_SHADOW.infraCents,
),
};
}
// C Runner 的影子样本片段:一致、不同、转人工各留一条,便于读对比口径。
export const RUNNER_SHADOW_SAMPLE: readonly ShadowRecord[] = [
{
taskId: "task-001",
agent: "execute",
human: "execute",
agentAction: "改价 -5%",
humanAction: "改价 -5%",
rulesVersion: "price-v3",
inputsHash: "hash-001",
recordedAt: "2026-11-05T09:00:00+08:00",
},
{
taskId: "task-002",
agent: "execute",
human: "skip",
agentAction: "下架缺货商品",
humanAction: "保留并补货",
rulesVersion: "stock-v2",
inputsHash: "hash-002",
recordedAt: "2026-11-05T09:01:00+08:00",
},
{
taskId: "task-003",
agent: "escalate",
human: "skip",
agentAction: "转人工",
humanAction: "跳过",
rulesVersion: "stock-v2",
inputsHash: "hash-003",
recordedAt: "2026-11-05T09:02:00+08:00",
},
{
taskId: "task-004",
agent: "execute",
human: "execute",
agentAction: "补货 120 件",
humanAction: "补货 120 件",
rulesVersion: "stock-v2",
inputsHash: "hash-004",
recordedAt: "2026-11-05T09:03:00+08:00",
},
];
REQUIRED_FIELDS 把八个字段列成常量,产品可以用它做记录校验:少一个字段,这条记录就不应该进入统计。字段校验看起来琐碎,但影子报告的可信度,恰恰建立在这些「以后可能用得上」的字段上。
compare 把转人工单独拿出来。这个设计会影响后续所有指标:一致率、差异清单、风险分层,都以「明确判断」为分母。如果把转人工混进「不同」,Agent 越谨慎,指标越差,产品就会得到相反的激励。
agreementBps 用基点表示一致率,17 条一致、3 条不同就是 8,500 bps,也就是 85.0%。用整数基点而不是浮点百分比,是为了避免 0.1% 的舍入争议;在放量评审里,85.0% 和 84.9% 往往对应不同的决定。
shadowSystemCostCents 只算模型与基础设施,不把人工算进去。这不是为了弱化成本,而是为了把两种成本分开:影子期的人工成本没有下降,系统成本是新增的;把两者混在一起,会得出「影子期很便宜」或「影子期很贵」的错误结论。
summarizeShadow 把匹配、差异、转人工和系统成本放在一个对象里。产品可以直接用它生成影子周报:本周多少条、一致率多少、差异集中在哪些动作、系统成本多少。周报不需要很长,但四个数字要能对上。
影子期的检查清单
- 记录是否包含规则版本和输入哈希?没有,差异无法复盘。
- 转人工是否单独统计?混进分母,会惩罚谨慎的 Agent。
- 差异是否有反事实描述?只有百分比,无法判断风险。
- 系统成本是否与人工成本分开?混在一起,会误判影子期的投入。
- 影子期是否有明确结束条件?没有,就会变成无限期观察。
五个问题里,第一和第三个最容易被跳过。它们不影响「跑起来」,只影响「跑完之后能不能做决定」。影子模式的价值,不是记录本身,而是记录能支撑一个明确的上线或不上线决定。
小结
- 影子模式让 Agent 参与判断但不执行,用生产任务换反事实证据。
- C Runner 的影子期是 100% 覆盖、4 周,退出条件是一致率不低于 85%。
- 记录至少包含八类字段:任务、双方判断、双方动作、规则版本、输入哈希、时间。
- 一致率只统计明确判断,转人工不计入分母,但转人工率要单独看。
- 反事实要具体到动作与影响,不能只写「判断不同」。
- 影子期成本是「原人工成本 + 系统成本」,C Runner 的系统成本约 950.4 美元/月。
- 影子期的产出包括一致率、差异清单、风险分层和规则修正项,第三类最容易被低估。
- 影子期应有明确结束条件,4 周是起点,延长需要理由。
阅读导航:上一节:9.3 冲突与覆盖 · 下一节:10.2 试点范围怎么选 。
常见错误与边界
- 把影子模式当成免费评测。 Agent 的判断要真实调用模型和基础设施,人工还要照常完成任务;影子期是新增系统成本,不是零成本。
- 把转人工算进一致率分母。 这会让更谨慎的 Agent 指标更差,激励它在不该判断时也给判断;转人工率应单独统计。
- 只记 Agent 判断,不记规则版本。 没有规则版本,差异无法判断是规则变化还是判断错误,复盘会变成猜。
- 反事实写成「两边不同」。 没有动作和影响,差异清单无法支撑风险决策;反事实要具体到会改什么、影响谁。
- 影子期无限延长。 没有结束条件的观察会消耗团队注意力,也会让规则在无反馈的情况下漂移;4 周是起点,延长要有理由。
- 用影子期一致率直接预测执行期表现。 影子期人仍在做最终判断,执行期 Agent 真的动手;两者的错误后果不同,一致率只能作为必要条件,不是充分条件。
影子模式回答「如果它做了会怎样」,试点范围回答「先让它在哪些任务上做」。下一节讨论怎么选这个范围。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。