《AI Agent 产品开发·组织、平台与规模化》11.2 早期信号

Agent 产品出事之前,通常已经连续几周给出信号。本节把接管率上升、使用频次下降、投诉集中于同一处写成可核对的曲线,复用 A Relay 的 78.0% 采纳率与 75.0% 退出线给出阈值,并说明信号出现后的 30 天该按什么顺序止损、定位和恢复放量。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

Agent 产品很少在某一天突然失败。更常见的是:接管率先慢慢上升,团队把它解释成「用户还不熟」;使用频次再慢慢下降,团队把它解释成「这周比较忙」;最后投诉集中到同一个环节,团队才发现问题一直都在。等到投诉出现,前面至少已经浪费了一个放量周期。

早期信号的价值不在于「更早看到坏消息」,而在于「更早停止错误动作」。如果信号出现时仍在扩覆盖,后面所有的修复都会被新增流量淹没。所以本节不只列信号,还给每个信号配一个 30 天动作顺序。

三条信号线

信号不需要很多,但必须可数、可复算、能落到同一张周表上。对 Agent 产品来说,最有效的三条线是:接管率、使用频次、投诉主题分布。

信号怎么测早期形态晚期形态
接管率上升不采纳、转人工、人工重做的比例从 22.0% 缓慢逼近 25.0%连续三周站在退出线之上
使用频次下降每个活跃用户的周使用次数连续三周严格下降只有项目组账号仍在用
投诉集中同一主题在最近投诉中的占比同一环节被反复提到投诉量上升且主题单一

三条线要一起看,不能只看一条。接管率上升但使用频次稳定,可能是用户在更谨慎地检查,不一定是产品变差;使用频次下降但投诉没有集中,可能是季节性波动;投诉集中但接管率没变,可能是某个新场景没有被评测覆盖。只有两条以上同时出现,才值得冻结放量。

这也是为什么「效果不好」不是一个可操作的信号。它没有方向,也没有阈值,无法判断该修模型、修流程还是修交互。把「效果不好」拆成接管率、频次和投诉主题,才能决定下一步由谁负责。

阈值优先复用已有退出线

新设一套监控阈值,最容易犯的错是拍脑袋。更稳的做法是复用产品已经承诺过的退出线。A Relay 的扩大阶段退出条件是采纳率不低于 75.0%,而它的当前采纳率是 78.0%。这两个数字直接给出接管率的阈值:

  • 当前接管率 = 100% − 78.0% = 22.0%。
  • 接管率上限 = 100% − 75.0% = 25.0%。
  • 当前余量 = 25.0% − 22.0% = 3.0 个百分点。

所以 A 的接管率信号不需要另设一个「看起来合理」的数字,只需要盯住它有没有连续三周站在 25.0% 以上。3.0 个百分点的余量不算宽,这也是为什么 A 的试点只覆盖 10%、扩大只到 40%,而不是一上来全量。

使用频次没有现成的退出线,就不设百分比阈值,改看趋势:连续三周严格下降才算信号。这样做的代价是反应慢一周,好处是不会因为单周波动误停。投诉集中也不设占比阈值,改看最近一周同一主题是否出现三次以上;次数是窗口内的结构量,不是拍出来的比例。

A Relay 的一个放量周期

把三条线放到 A 的一个放量周期里,可以看到信号是怎么组合的。

试点阶段只覆盖 10% 工单,退出条件是采纳率不低于 70.0%、错误率不高于 4.0%。这个阶段的目标不是证明 Agent 多强,而是证明「人愿意看建议」。如果采纳率在试点期就贴近 70.0%,说明建议的可信度不够,不应该进入扩大阶段。

扩大阶段覆盖 40% 工单,退出条件是采纳率不低于 75.0%、错误率不高于 3.0%。A 的当前值是 78.0% 与 2.9%,都在门内,但余量很薄:采纳率只高 3.0 个百分点,错误率只低 0.1 个百分点。余量薄意味着任何一条信号都不该被解释成噪声。

如果扩大期出现「接管率连续三周不低于 25.0%」,同时「投诉集中在分错队列」,正确的动作不是继续观察,而是立即停止扩大。原因很简单:这两个信号同时出现,说明问题已经从个体判断变成系统性偏差,继续放量只会让偏差覆盖更多工单。

反过来,如果只有使用频次下降,而接管率和投诉都稳定,更可能的解释是用户在月初集中处理、月末使用减少。这时应该先拉长观察窗口,而不是直接改模型。信号的方向比信号的数量更重要。

信号出现后的 30 天

30 天不是拍出来的修复周期,而是一个放量节奏:前三天的目标是止损,接下来一周的目标是定位,剩下的时间才用于恢复。顺序不能反。

阶段时间动作退出条件
止损第 1–3 天冻结放量,抽样失败对话并标注原因不再新增覆盖
定位第 4–10 天定位到单一环节,补齐评测用例能复现主要失败
恢复第 11–30 天小流量回归,达标才恢复放量连续达标后再扩

如果信号已经到「停止」级别,也就是接管率与投诉集中同时出现,第一天就要停止新增覆盖,只保留只读能力;第 2–7 天逐条回放投诉,确认影响面与责任归属;第 8–30 天从影子运行重新开始。这里的「影子运行」不是保守,而是把信任重建的成本算进去:用户一旦主动降回人工,再让他们打开自动执行,比第一次上线更难。

30 天计划还要写清谁负责。接管率上升通常由产品与领域专家一起看,因为要判断是建议不对还是检查成本太高;使用频次下降由产品看,因为要判断触发场景是否消失;投诉集中由领域专家看,因为要判断对错标准是否被新场景突破。没有责任人的信号,最后都会变成周报里的一条脚注。

把信号写成检测函数

下面这个模型把三条信号线写成可运行的检测:接管率看连续三周是否越过退出线,使用频次看连续三周是否严格下降,投诉看最近一周同一主题是否出现三次以上。阈值只复用事实表里的数字。

// file: src/scale/11-2-early-signals.ts
// tier: L2
// verify: node --test test/scale/11-2-early-signals.test.ts

// 早期信号不是「效果变差」这种形容词,而是三条可数曲线:
// 接管率上升、使用频次下降、投诉集中在同一处。
// 阈值尽量复用事实表已有的退出线,不另外发明一套。

import { RELAY } from "../cases.ts";
import { FULL, formatBps } from "../core/rate.ts";

export type SignalKind = "handoff-up" | "usage-down" | "complaints-clustered";

export const SIGNAL_ORDER: readonly SignalKind[] = [
  "handoff-up",
  "usage-down",
  "complaints-clustered",
];

export const SIGNAL_LABEL: Record<SignalKind, string> = {
  "handoff-up": "接管率上升",
  "usage-down": "使用频次下降",
  "complaints-clustered": "投诉集中在同一处",
};

// A 的采纳率 78.0%,扩大阶段退出线 75.0%,
// 所以接管率上限是 25.0%:100% 减去事实表里的 75.0%。
export const ADOPTION_BPS = 7_800;
export const HANDOFF_BPS = FULL - ADOPTION_BPS;
export const HANDOFF_CEILING_BPS = FULL - 7_500;

// A 当前接管率 22.0%,离 25.0% 的线只剩 3.0 个百分点。
export const A_HEADROOM_BPS = HANDOFF_CEILING_BPS - HANDOFF_BPS;

export type WeekPoint = {
  readonly week: number;
  readonly adoptionBps: number;
  readonly usage: number;
  readonly complaints: readonly string[];
};

export type Signal = {
  readonly kind: SignalKind;
  readonly week: number;
  readonly evidence: string;
};

function handoffOf(point: WeekPoint): number {
  return FULL - point.adoptionBps;
}

// 连续三周接管率不低于 25.0% 才算趋势,不用单周波动下结论。
export function handoffSignal(points: readonly WeekPoint[]): Signal | null {
  if (points.length < 3) return null;
  const tail = points.slice(-3);
  if (tail.every((point) => handoffOf(point) >= HANDOFF_CEILING_BPS)) {
    const last = tail[tail.length - 1];
    return {
      kind: "handoff-up",
      week: last.week,
      evidence: `连续 3 周接管率不低于 ${formatBps(HANDOFF_CEILING_BPS)}`,
    };
  }
  return null;
}

// 连续三周使用次数严格下降才算「频次下降」。
export function usageSignal(points: readonly WeekPoint[]): Signal | null {
  if (points.length < 3) return null;
  const tail = points.slice(-3);
  const falling = tail.every(
    (point, index) => index === 0 || point.usage < tail[index - 1].usage,
  );
  if (!falling) return null;
  const last = tail[tail.length - 1];
  return {
    kind: "usage-down",
    week: last.week,
    evidence: `使用次数从 ${tail[0].usage} 降到 ${last.usage}`,
  };
}

// 最近一周的投诉里,同一主题出现三次以上,视为集中。
export function complaintSignal(points: readonly WeekPoint[]): Signal | null {
  if (points.length === 0) return null;
  const last = points[points.length - 1];
  if (last.complaints.length < 3) return null;
  const counts = new Map<string, number>();
  for (const topic of last.complaints) {
    counts.set(topic, (counts.get(topic) ?? 0) + 1);
  }
  for (const [topic, count] of counts) {
    if (count >= 3) {
      return {
        kind: "complaints-clustered",
        week: last.week,
        evidence: `最近 ${last.complaints.length} 条投诉中 ${count} 条指向「${topic}」`,
      };
    }
  }
  return null;
}

export function detect(points: readonly WeekPoint[]): Signal[] {
  return [
    handoffSignal(points),
    usageSignal(points),
    complaintSignal(points),
  ].filter((signal): signal is Signal => signal !== null);
}

export type Severity = "none" | "watch" | "act" | "stop";

export function severity(signals: readonly Signal[]): Severity {
  const kinds = new Set(signals.map((signal) => signal.kind));
  if (kinds.has("handoff-up") && kinds.has("complaints-clustered")) {
    return "stop";
  }
  if (kinds.size >= 2) return "act";
  if (kinds.size === 1) return "watch";
  return "none";
}

export type ResponseStep = {
  readonly fromDay: number;
  readonly toDay: number;
  readonly action: string;
};

// 信号出现后的 30 天:先止损,再定位,最后才是恢复放量。
export function responsePlan(level: Severity): readonly ResponseStep[] {
  if (level === "none") return [];
  if (level === "watch") {
    return [
      {
        fromDay: 1,
        toDay: 7,
        action: "拉出同口径的周曲线,排除统计口径变化",
      },
      {
        fromDay: 8,
        toDay: 30,
        action: "每周复盘一次,不扩大覆盖",
      },
    ];
  }
  if (level === "act") {
    return [
      {
        fromDay: 1,
        toDay: 3,
        action: "冻结放量,抽样失败对话并标注原因",
      },
      {
        fromDay: 4,
        toDay: 10,
        action: "定位到单一环节,补齐评测用例",
      },
      {
        fromDay: 11,
        toDay: 30,
        action: "小流量回归,达标才恢复放量",
      },
    ];
  }
  return [
    {
      fromDay: 1,
      toDay: 1,
      action: "停止新增覆盖,保留只读能力",
    },
    {
      fromDay: 2,
      toDay: 7,
      action: "逐条回放投诉,确认影响面与责任归属",
    },
    {
      fromDay: 8,
      toDay: 30,
      action: "修复后从影子运行重新开始",
    },
  ];
}

export type CaseBaseline = {
  readonly key: "A";
  readonly profile: typeof RELAY;
  readonly adoptionBps: number;
  readonly handoffBps: number;
  readonly headroomBps: number;
};

export function caseBaseline(): CaseBaseline {
  return {
    key: "A",
    profile: RELAY,
    adoptionBps: ADOPTION_BPS,
    handoffBps: HANDOFF_BPS,
    headroomBps: A_HEADROOM_BPS,
  };
}

export function describeSignals(signals: readonly Signal[]): string {
  if (signals.length === 0) return "无早期信号";
  return signals.map((signal) => SIGNAL_LABEL[signal.kind]).join("、");
}

handoffSignal 把采纳率换算成接管率,再做连续三周判断。它没有引入新的阈值:25.0% 就是 100% 减去 A 的 75.0% 扩大退出线。usageSignal 不设百分比,只看连续三周是否严格下降,避免单周波动触发误停。complaintSignal 只看最近一周,同一主题出现三次以上才算集中。

severity 把信号组合成四个级别。只有一条信号是 watch,两条是 act,接管率与投诉集中同时出现是 stop。这个分级不是为了精确,而是为了把「再看一周」和「今天就停」分开。很多团队的问题不是没有信号,而是所有信号都被归到「再看一周」。

responsePlan 把级别翻译成 30 天动作。watch 只做同口径复核,不扩大覆盖;act 先冻结放量,再定位,最后小流量回归;stop 第一天就停止新增覆盖,从影子运行重新开始。模型不判断「谁对谁错」,只保证动作顺序不会颠倒。

信号之外的两条边界

第一条边界:信号只能说明「发生了变化」,不能说明「变化由谁造成」。接管率上升可能是建议变差,也可能是用户变谨慎,还可能是上游工单质量下降。检测函数的输出是调查起点,不是责任认定。

第二条边界:信号阈值要跟着阶段走。A 在试点期看 70.0%,在扩大期看 75.0%;同一个 78.0%,在小流量阶段是余量充足,在全量阶段只是刚好过线。把不同阶段的阈值混在一张看板上,会让团队在错误的时间做正确的动作。

小结

  • 三条早期信号:接管率上升、使用频次下降、投诉集中在同一处。
  • 接管率阈值复用 A 的退出线:100% − 75.0% = 25.0%,当前 22.0%,余量 3.0 个百分点。
  • 使用频次看连续三周严格下降,不设拍脑袋的百分比阈值。
  • 投诉集中看最近一周同一主题出现三次以上,次数是窗口结构量。
  • 两条以上信号同时出现才冻结放量;接管率加投诉集中是停止级别。
  • 信号出现后的 30 天按止损、定位、恢复排序,顺序不能反。
  • 信号只说明变化,不说明责任;阈值要跟着试点、扩大、全量三个阶段走。

阅读导航:上一节:11.1 七种死法 · 下一节:11.3 复盘怎么写才有用 。

常见错误与边界

  1. 只看一条信号就下结论。 单条信号可能是波动或口径变化;两条以上同时出现才值得冻结放量,否则会频繁误停。
  2. 给使用频次硬设百分比阈值。 频次受季节、月初月末和上游流量影响,趋势比阈值稳;连续三周下降已经足够触发调查。
  3. 把投诉量当成投诉集中。 量大不等于集中;要看同一主题在最近投诉中的重复次数,否则会修错环节。
  4. 信号出现后继续扩覆盖。 新增流量会淹没修复效果,也会放大影响面;止损必须先于定位。
  5. 30 天计划没有责任人。 接管率、频次、投诉分别对应产品、领域专家和交付负责人;没有责任人的信号不会变成动作。
  6. 把检测结果当责任认定。 检测函数只回答「哪条线越界」,不回答「谁造成」;责任判断要回到输入、规则和动作记录。

这一节回答「怎么更早发现」。下一节回答更难的问题:事情已经发生,复盘怎么写才能让下一个团队少踩一次。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图