《AI Agent 产品开发·交互、信任与上线》10.1 影子模式:只记录不执行

影子模式只记录不执行,用真实任务换「如果它做了会怎样」的反事实证据。本节给出影子记录的八个字段、一致率的统计口径与转人工的处理方式,用 C Runner 的 4 周影子说明系统成本与产出边界,并给出可运行的记录、对比与汇总模型,帮助团队在放量前做出有证据的上线决定。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

执行档 Agent 最难的第一次上线,不是「让它跑起来」,而是「让人相信它跑对」。直接在 5% 的任务上放开执行,风险太高;只做离线评测,又无法回答真实任务里的长尾。影子模式填的就是这段空白:Agent 照常判断,但不执行,只把「如果它做了会怎样」记录下来。

这一节说明影子模式该记什么、怎么比、产出是什么,以及它为什么不是免费的。

影子模式的定义

影子模式(shadow mode)的核心是一句话:Agent 参与判断,但不参与执行。

在 C Runner 的场景里,任务照常由人工完成,Agent 在旁边对同一个任务给出自己的判断:要不要改价、要不要下架、要不要补货。系统把 Agent 的判断、人工的判断、两边准备执行的动作都记录下来,但不让 Agent 真的改任何东西。

这样做的价值不是「让 Agent 学习」,而是拿到一份反事实证据:在真实任务分布下,如果 Agent 执行了,会和人工差多少、差在哪里、哪些差异会带来风险。离线评测给不了这个,因为离线数据往往是清洗过的、分布偏窄的;影子模式跑的是生产任务,长尾自然会出现。

C Runner 的放量表把影子放在第一步:100% 只记录不执行,持续 4 周,退出条件是与人工决策一致率不低于 85%。这个顺序很关键:先证明「它和人不一致的地方可接受」,再谈执行比例。

影子记录该有哪些字段

影子记录不是「Agent 说了什么」一句话,而是一份可复盘的证据。至少要包含八类字段。

字段作用缺失后果
任务 ID把 Agent 判断与人工结果对上无法计算一致率
Agent 判断执行、跳过、转人工不知道它想做什么
人工判断人工实际选择没有对照
Agent 动作如果执行,具体做什么无法评估差异后果
人工动作人工实际做了什么无法解释差异
规则版本当时用的是哪版规则事后无法复现
输入哈希当时看到的数据快照无法判断是否同源
记录时间判断发生的时刻无法对齐时间窗

八个字段里,最容易被省掉的是「规则版本」和「输入哈希」。它们不影响一致率的计算,但决定了这份记录能不能被复盘。没有规则版本,你无法判断差异是「规则变了」还是「Agent 判断错了」;没有输入哈希,你无法判断两边看到的是不是同一份数据。

记录时间也不是装饰。影子模式通常持续数周,规则、数据、人工流程都可能中途变化;没有时间戳,前后两周的记录会被混在一起算,得出一个没有意义的一致率。

对比口径:一致、不同、转人工

影子模式最常用的指标是「与人工决策一致率」,但一致率怎么算,需要先定义清楚。

一条记录有三种结果:

  • 一致(match):Agent 和人工的选择相同。
  • 不同(differs):两边都给出了明确选择,但选择不同。
  • 转人工(agent-abstain):Agent 主动放弃判断,交给人工。

一致率只统计前两类,转人工不计入分母。原因是:转人工不是「判断错误」,而是「知道自己不该判断」。如果把它算进分母,一个更谨慎的 Agent 反而会因为转人工多而显得一致率低,这会鼓励它冒险给出判断。

但转人工也不能完全忽略。产品要单独看转人工率:太高,说明 Agent 覆盖不了任务;太低,可能说明它在不该判断的时候也在判断。C Runner 的自动完成率是 78%,22% 转人工,这个比例可以作为影子期的参照,但不能直接套用,因为影子期的人工流程和正式执行不同。

除了总体一致率,还要看差异的分布。两个 Agent 可以有相同的一致率,但一个的差异集中在低风险任务,另一个的差异集中在高风险任务;后者的实际风险高得多。所以影子报告不能只给一个百分比,还要给差异清单和风险分层。

反事实:如果它做了会怎样

影子模式最有价值的产出,不是一致率,而是每一条差异的反事实描述。

比如一条任务里,Agent 判断「下架缺货商品」,人工选择「保留并补货」。反事实就是:如果 Agent 执行了,商品会被下架,正在浏览的客户会看到缺货页,补货后需要重新上架;人工的选择避免了这次中断。这条描述让人能判断差异的后果,而不只是知道「两边不一样」。

反事实描述要具体到动作和影响,不能写成「Agent 与人工判断不同」。前者能支撑决策,后者只是统计。C Runner 的动作类型包括改价、改库存、下架、发通知,每类动作的影响不同:改价影响收入和客户信任,改库存影响履约,下架影响流量,发通知影响客户感知。反事实要按动作类型写,不能一概而论。

反事实还有一个作用:它把「一致率」翻译成「风险故事」。管理层不一定能理解 85% 的一致率意味着什么,但能理解「有 3 条任务如果自动执行,会给已付款客户发错通知」。影子报告应该同时给数字和故事。

影子期的成本与产出

影子模式不是免费的。Agent 要在生产任务上跑一遍判断,模型调用和基础设施成本照付;人工还要照常完成任务,并额外记录自己的判断。换句话说,影子期的成本是「原人工成本 + 系统成本」,没有任何节省。

以 C Runner 为例,月任务量 13,200 个,模型调用 0.024 美元/任务,基础设施 0.048 美元/任务,系统成本合计 0.072 美元/任务,月系统成本 950.4 美元。影子期 4 周接近一个月,系统成本大致也是这个量级。人工侧仍然是 118,800 美元的纯人工成本,因为任务还是人做的。维护摊销 3,600 美元是否计入影子期,取决于规则和评测是否在影子期同步迭代;即使不计,影子期也不是「零成本试验」。

产出则有三类:

  • 一致率与差异清单:回答「它和人差多少」。
  • 反事实与风险分层:回答「差的地方会怎样」。
  • 规则与数据的修正项:回答「上线前要改什么」。

第三类最容易被低估。影子期往往会暴露规则盲区、数据字段缺失、人工流程里的隐性判断;这些发现的价值,可能比一致率本身更大。

影子期也不应该无限延长。4 周是一个合理的起点:足够覆盖周内波动,又不至于让团队在没有反馈的情况下空转。延长应该有明确理由,比如任务量不足、差异集中在某个未覆盖的场景,而不是「再看看」。

把影子模式写成模型

下面这个模型把记录字段、对比口径、一致率、系统成本和反事实描述写在一起。compare 区分一致、不同、转人工,agreementBps 只统计明确判断,summarizeShadow 给出完整汇总。

// file: src/rollout/10-1-shadow-run.ts
// tier: L2
// verify: node --test test/rollout/10-1-shadow-run.test.ts

// 影子模式只记录、不执行:它买的不是准确率,
// 而是「如果它做了会怎样」的反事实证据。

import { RUNNER } from "../cases.ts";
import { add, mul, type Cents } from "../core/money.ts";
import { divide, type Bps } from "../core/rate.ts";

export type Decision = "execute" | "skip" | "escalate";
export type Comparison = "match" | "differs" | "agent-abstain";

export type ShadowRecord = {
  readonly taskId: string;
  readonly agent: Decision;
  readonly human: Decision;
  readonly agentAction: string;
  readonly humanAction: string;
  readonly rulesVersion: string;
  readonly inputsHash: string;
  readonly recordedAt: string;
};

// 缺任何一项,事后都无法回答「当时它看到了什么、按哪版规则判断」。
export const REQUIRED_FIELDS = [
  "taskId",
  "agent",
  "human",
  "agentAction",
  "humanAction",
  "rulesVersion",
  "inputsHash",
  "recordedAt",
] as const;

export function compare(record: ShadowRecord): Comparison {
  if (record.agent === "escalate") return "agent-abstain";
  if (record.agent === record.human) return "match";
  return "differs";
}

export type ShadowSummary = {
  readonly total: number;
  readonly matches: number;
  readonly differs: number;
  readonly abstains: number;
  readonly agreementBps: Bps;
  readonly systemCents: Cents;
};

// 一致率只统计 Agent 给出明确判断的记录;转人工不计入分母。
export function agreementBps(records: readonly ShadowRecord[]): Bps {
  const decided = records.filter((record) => record.agent !== "escalate");
  const matches = decided.filter(
    (record) => record.agent === record.human,
  ).length;
  return divide(matches, decided.length);
}

export function shadowSystemCostCents(
  tasks: number,
  modelCents: Cents,
  infraCents: Cents,
): Cents {
  return mul(tasks, add(modelCents, infraCents));
}

export const RUNNER_SHADOW = {
  weeks: 4,
  coverageBps: 10_000,
  exitAgreementBps: 8_500,
  monthlyTasks: RUNNER.monthlyTasks,
  modelCents: RUNNER.modelCents,
  infraCents: RUNNER.infraCents,
} as const;

export function passesShadow(agreement: Bps): boolean {
  return agreement >= RUNNER_SHADOW.exitAgreementBps;
}

export function counterfactual(record: ShadowRecord): string {
  if (record.agent === "escalate") {
    return `Agent 转人工,人工选择 ${record.human}`;
  }
  if (record.agent === record.human) {
    return `两者一致:${record.humanAction}`;
  }
  return `如果 Agent 执行,会 ${record.agentAction};人工实际 ${record.humanAction}`;
}

export function differingRecords(
  records: readonly ShadowRecord[],
): readonly ShadowRecord[] {
  return records.filter((record) => compare(record) === "differs");
}

export function summarizeShadow(
  records: readonly ShadowRecord[],
): ShadowSummary {
  const matches = records.filter((record) => compare(record) === "match").length;
  const differs = records.filter(
    (record) => compare(record) === "differs",
  ).length;
  const abstains = records.filter(
    (record) => compare(record) === "agent-abstain",
  ).length;
  return {
    total: records.length,
    matches,
    differs,
    abstains,
    agreementBps: agreementBps(records),
    systemCents: shadowSystemCostCents(
      records.length,
      RUNNER_SHADOW.modelCents,
      RUNNER_SHADOW.infraCents,
    ),
  };
}

// C Runner 的影子样本片段:一致、不同、转人工各留一条,便于读对比口径。
export const RUNNER_SHADOW_SAMPLE: readonly ShadowRecord[] = [
  {
    taskId: "task-001",
    agent: "execute",
    human: "execute",
    agentAction: "改价 -5%",
    humanAction: "改价 -5%",
    rulesVersion: "price-v3",
    inputsHash: "hash-001",
    recordedAt: "2026-11-05T09:00:00+08:00",
  },
  {
    taskId: "task-002",
    agent: "execute",
    human: "skip",
    agentAction: "下架缺货商品",
    humanAction: "保留并补货",
    rulesVersion: "stock-v2",
    inputsHash: "hash-002",
    recordedAt: "2026-11-05T09:01:00+08:00",
  },
  {
    taskId: "task-003",
    agent: "escalate",
    human: "skip",
    agentAction: "转人工",
    humanAction: "跳过",
    rulesVersion: "stock-v2",
    inputsHash: "hash-003",
    recordedAt: "2026-11-05T09:02:00+08:00",
  },
  {
    taskId: "task-004",
    agent: "execute",
    human: "execute",
    agentAction: "补货 120 件",
    humanAction: "补货 120 件",
    rulesVersion: "stock-v2",
    inputsHash: "hash-004",
    recordedAt: "2026-11-05T09:03:00+08:00",
  },
];

REQUIRED_FIELDS 把八个字段列成常量,产品可以用它做记录校验:少一个字段,这条记录就不应该进入统计。字段校验看起来琐碎,但影子报告的可信度,恰恰建立在这些「以后可能用得上」的字段上。

compare 把转人工单独拿出来。这个设计会影响后续所有指标:一致率、差异清单、风险分层,都以「明确判断」为分母。如果把转人工混进「不同」,Agent 越谨慎,指标越差,产品就会得到相反的激励。

agreementBps 用基点表示一致率,17 条一致、3 条不同就是 8,500 bps,也就是 85.0%。用整数基点而不是浮点百分比,是为了避免 0.1% 的舍入争议;在放量评审里,85.0% 和 84.9% 往往对应不同的决定。

shadowSystemCostCents 只算模型与基础设施,不把人工算进去。这不是为了弱化成本,而是为了把两种成本分开:影子期的人工成本没有下降,系统成本是新增的;把两者混在一起,会得出「影子期很便宜」或「影子期很贵」的错误结论。

summarizeShadow 把匹配、差异、转人工和系统成本放在一个对象里。产品可以直接用它生成影子周报:本周多少条、一致率多少、差异集中在哪些动作、系统成本多少。周报不需要很长,但四个数字要能对上。

影子期的检查清单

  1. 记录是否包含规则版本和输入哈希?没有,差异无法复盘。
  2. 转人工是否单独统计?混进分母,会惩罚谨慎的 Agent。
  3. 差异是否有反事实描述?只有百分比,无法判断风险。
  4. 系统成本是否与人工成本分开?混在一起,会误判影子期的投入。
  5. 影子期是否有明确结束条件?没有,就会变成无限期观察。

五个问题里,第一和第三个最容易被跳过。它们不影响「跑起来」,只影响「跑完之后能不能做决定」。影子模式的价值,不是记录本身,而是记录能支撑一个明确的上线或不上线决定。

小结

  • 影子模式让 Agent 参与判断但不执行,用生产任务换反事实证据。
  • C Runner 的影子期是 100% 覆盖、4 周,退出条件是一致率不低于 85%。
  • 记录至少包含八类字段:任务、双方判断、双方动作、规则版本、输入哈希、时间。
  • 一致率只统计明确判断,转人工不计入分母,但转人工率要单独看。
  • 反事实要具体到动作与影响,不能只写「判断不同」。
  • 影子期成本是「原人工成本 + 系统成本」,C Runner 的系统成本约 950.4 美元/月。
  • 影子期的产出包括一致率、差异清单、风险分层和规则修正项,第三类最容易被低估。
  • 影子期应有明确结束条件,4 周是起点,延长需要理由。

阅读导航:上一节:9.3 冲突与覆盖 · 下一节:10.2 试点范围怎么选 。

常见错误与边界

  1. 把影子模式当成免费评测。 Agent 的判断要真实调用模型和基础设施,人工还要照常完成任务;影子期是新增系统成本,不是零成本。
  2. 把转人工算进一致率分母。 这会让更谨慎的 Agent 指标更差,激励它在不该判断时也给判断;转人工率应单独统计。
  3. 只记 Agent 判断,不记规则版本。 没有规则版本,差异无法判断是规则变化还是判断错误,复盘会变成猜。
  4. 反事实写成「两边不同」。 没有动作和影响,差异清单无法支撑风险决策;反事实要具体到会改什么、影响谁。
  5. 影子期无限延长。 没有结束条件的观察会消耗团队注意力,也会让规则在无反馈的情况下漂移;4 周是起点,延长要有理由。
  6. 用影子期一致率直接预测执行期表现。 影子期人仍在做最终判断,执行期 Agent 真的动手;两者的错误后果不同,一致率只能作为必要条件,不是充分条件。

影子模式回答「如果它做了会怎样」,试点范围回答「先让它在哪些任务上做」。下一节讨论怎么选这个范围。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图