《AI Agent 产品开发·交互、信任与上线》12.3 质量运营的节奏

本节回答质量运营应该按什么节奏看指标:日看异常、周看趋势、月看结构。给出三档会议与看板的完整指标清单,说明哪些指标必须日更,用 B Quill 的 9% 返工率与 12% 阈值演示趋势为什么比当前值更早报警,并附一个可运行的节奏与升级模型。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

反馈和抽检解决「看什么」,节奏解决「多久看一次、谁来处理」。质量运营最常见的失败不是没有指标,而是所有指标都堆在月底看:异常在日终才发现,趋势在季度复盘时才看见,结构问题在成本超支后才承认。

一个可执行的节奏是:日看异常、周看趋势、月看结构。三档不是频率高低,而是回答不同的问题。

三档节奏各回答什么

节奏回答的问题典型指标负责人输出
日今天有没有不能过夜的事不可回滚错误、回滚失败、待审计积压值班与质量负责人告警、事件单
周质量在往哪个方向走采纳率、返工率、事实错误率产品负责人与质量负责人趋势判断、加抽或整改
月结构有没有变化单任务成本、维护占比、任务结构产品负责人预算、规则、人员调整

三档的输入不同,输出也不同。日会输出事件单,周会输出趋势判断,月会输出结构性决策。把三档混成一个「质量周报」,会导致日级异常被周级平均掉,结构性变化又被日级噪声掩盖。

日看异常:只有少数指标必须日更

不是所有指标都值得日更。日更指标要满足三个条件之一:

  1. 零容忍:出现一次就不能过夜,例如不可回滚错误、回滚失败。
  2. 外部可见:问题会直接传到客户侧,例如已发出的错误通知。
  3. 快速衰减:拖一天就失去处理窗口,例如待审计队列积压。

C Runner 的日更指标是三个:不可回滚错误、回滚失败、待审计队列。前两个是零容忍,第三个是积压项。C 的不可回滚错误率是 0.238%,看起来很低,但它是零容忍项:出现一次就触发事件流程,不进入周趋势统计。

日更指标必须能自动计算。需要人工判断的指标放到周会,例如「这个错误算不算事实错误」;日更看板只放机器能判定的数。否则值班人员每天要花时间解释口径,日更就坚持不下去。

日更的另一个要求是告警路由。指标越线后要通知到能处理的人,而不是发到一个没人看的群。零容忍项的告警应该直接呼叫值班,积压项可以进队列看板。

周看趋势:当前值会骗人

周会的核心不是「本周是多少」,而是「下周会是多少」。当前值在阈值内,不代表安全;趋势可能已经在往阈值走。

B Quill 的返工率是 9%,扩大阶段的阈值是 12%。单看当前值,9% 低于 12%,可以通过。但如果连续三周是 8%、9%、10%,趋势是每周上升 1 个百分点;按这个速度,两周后就会触及 12%。

周返工率与阈值距离判断
第 1 周8%4 个百分点正常
第 2 周9%3 个百分点观察
第 3 周10%2 个百分点升级

趋势判断要用两个数:移动平均和斜率。移动平均去掉单周噪声,斜率回答「往哪走、走多快」。只看移动平均会滞后,只看斜率会被噪声放大;两者一起看,才能区分「正常波动」和「持续恶化」。

B 的事实错误率是 4.6%,阈值是 5%。当前值在线内,但如果周斜率很小,例如每周 0.15 个百分点,就不应该升级;它还在噪声范围内。阈值附近的判断要结合斜率,而不是只看距离。

周会还要区分「指标变化」和「口径变化」。返工率从 9% 变成 10%,可能是质量下降,也可能是返工的定义变了。口径变化要在周会上显式说明,否则趋势会被误读。

月看结构:成本和质量一起看

月会不看单周波动,看结构:

结构项看什么变化后的动作
单任务成本模型、基础设施、维护的构成调整模型、缓存、规则复杂度
维护占比维护摊销与系统成本的比例判断「持续正确」的成本是否失控
任务结构各类型任务的比例调整抽检分层与规则覆盖
错误结构事实错误、格式错误、语气问题的比例调整评测集与提示词

成本结构最容易被忽略。A Relay 的月维护摊销是 1,200 美元,模型与基础设施合计 448.8 美元;B Quill 是 2,400 对 193.92;C Runner 是 3,600 对 950.4。三家的维护摊销都超过模型与基础设施之和。这个结构说明:Agent 产品的成本主体不是「调用模型」,而是「让它持续正确」。

月会要回答的不是「这个月花了多少」,而是「下个月的结构会不会变」。如果维护占比持续上升,说明规则和评测的成本在累积;如果单任务成本下降但错误率上升,说明在牺牲质量换成本。

把节奏写成可执行模型

下面的模型把指标按日、周、月分组,并实现移动平均、斜率和升级判断。它的输出不是报表,而是「这个指标今天要不要升级」。

// file: src/trust/12-3-quality-cadence.ts
// tier: L2
// verify: node --test test/trust/12-3-quality-cadence.test.ts

// 质量运营的节奏:日看异常、周看趋势、月看结构。
// 日更指标必须能自动计算;需要人判断的指标放到周会,结构性指标放到月度。

import { QUILL } from "../cases.ts";
import { type Bps } from "../core/rate.ts";

export type Cadence = "daily" | "weekly" | "monthly";
export type Direction = "up" | "down";

export type MetricDef = {
  readonly id: string;
  readonly label: string;
  readonly cadence: Cadence;
  readonly owner: string;
  readonly direction: Direction;
  readonly zeroTolerance: boolean;
  readonly thresholdBps: Bps | null;
};

export const METRICS: readonly MetricDef[] = [
  {
    id: "irreversible-errors",
    label: "不可回滚错误",
    cadence: "daily",
    owner: "on-call",
    direction: "down",
    zeroTolerance: true,
    thresholdBps: 0,
  },
  {
    id: "rollback-failures",
    label: "回滚失败",
    cadence: "daily",
    owner: "on-call",
    direction: "down",
    zeroTolerance: true,
    thresholdBps: 0,
  },
  {
    id: "queue-backlog",
    label: "待审计队列",
    cadence: "daily",
    owner: "quality-lead",
    direction: "down",
    zeroTolerance: false,
    thresholdBps: null,
  },
  {
    id: "adoption",
    label: "采纳率",
    cadence: "weekly",
    owner: "product-owner",
    direction: "up",
    zeroTolerance: false,
    thresholdBps: 7_000,
  },
  {
    id: "rework",
    label: "返工率",
    cadence: "weekly",
    owner: "quality-lead",
    direction: "down",
    zeroTolerance: false,
    thresholdBps: 1_200,
  },
  {
    id: "fact-error",
    label: "事实错误率",
    cadence: "weekly",
    owner: "quality-lead",
    direction: "down",
    zeroTolerance: false,
    thresholdBps: 500,
  },
  {
    id: "cost-per-task",
    label: "单任务系统成本",
    cadence: "monthly",
    owner: "product-owner",
    direction: "down",
    zeroTolerance: false,
    thresholdBps: null,
  },
  {
    id: "maintenance-ratio",
    label: "维护占系统成本",
    cadence: "monthly",
    owner: "product-owner",
    direction: "down",
    zeroTolerance: false,
    thresholdBps: null,
  },
];

export function metricsFor(cadence: Cadence): readonly MetricDef[] {
  return METRICS.filter((metric) => metric.cadence === cadence);
}

// 必须日更的只有两类:零容忍项,以及会阻塞审计队列的积压项。
export function mustBeDaily(metric: MetricDef): boolean {
  return metric.zeroTolerance || metric.id === "queue-backlog";
}

export function movingAverage(
  values: readonly number[],
  window: number,
): readonly number[] {
  if (window <= 0) return [];
  return values.map((_, index) => {
    const start = Math.max(0, index - window + 1);
    const slice = values.slice(start, index + 1);
    return slice.reduce((sum, value) => sum + value, 0) / slice.length;
  });
}

export function slope(values: readonly number[]): number {
  if (values.length < 2) return 0;
  const n = values.length;
  const meanX = (n - 1) / 2;
  const meanY = values.reduce((sum, value) => sum + value, 0) / n;
  let numerator = 0;
  let denominator = 0;
  for (let index = 0; index < n; index += 1) {
    numerator += (index - meanX) * (values[index] - meanY);
    denominator += (index - meanX) ** 2;
  }
  return denominator === 0 ? 0 : numerator / denominator;
}

export type Escalation = "none" | "watch" | "escalate";

// 零容忍项出现一次就升级;其余项看当前值、距离阈值与趋势方向。
export function escalate(
  metric: MetricDef,
  series: readonly number[],
): Escalation {
  const current = series[series.length - 1] ?? 0;
  if (metric.zeroTolerance) return current > 0 ? "escalate" : "none";
  if (metric.thresholdBps === null) return "none";

  const threshold = metric.thresholdBps;
  const breached =
    metric.direction === "down" ? current >= threshold : current <= threshold;
  if (breached) return "escalate";

  const distance = Math.abs(threshold - current);
  const trend = slope(series);
  const movingTowardThreshold =
    metric.direction === "down" ? trend > 0 : trend < 0;
  if (movingTowardThreshold && distance <= 200 && Math.abs(trend) >= 50) {
    return "escalate";
  }
  if (movingTowardThreshold && Math.abs(trend) >= 50) return "watch";
  return "none";
}

export type CadenceSummary = {
  readonly daily: readonly string[];
  readonly weekly: readonly string[];
  readonly monthly: readonly string[];
  readonly dailyCount: number;
};

export function cadenceSummary(): CadenceSummary {
  return {
    daily: metricsFor("daily").map((metric) => metric.id),
    weekly: metricsFor("weekly").map((metric) => metric.id),
    monthly: metricsFor("monthly").map((metric) => metric.id),
    dailyCount: metricsFor("daily").length,
  };
}

// B Quill 的质量口径:返工率 9%,事实错误率 4.6%;扩大阶段阈值 12% 与 5%。
export const B_QUALITY = {
  reworkBps: 900,
  factErrorBps: 460,
  reworkLimitBps: 1_200,
  factErrorLimitBps: 500,
  monthlyReports: QUILL.monthlyTasks,
} as const;

模型里有两个阈值需要解释。distance <= 200 表示当前值距离阈值不到 2 个百分点;Math.abs(trend) >= 50 表示每周变化超过 0.5 个百分点。两个条件同时满足才升级,是为了避免「离得远但波动大」被误判。

mustBeDaily 只把零容忍项和积压项标为日更。其他指标即使很重要,也不放在日更看板:日更看板越长,值班人员越容易只看最上面几行。

日更、周会、月会怎么开

日更不是开会,是看板加告警。值班人员每天固定时间看三个日更指标;零容忍项出现,直接走事件流程;积压项超过约定水位,通知质量负责人。

周会看趋势,不看单点。议程可以固定为三段:上周异常复盘、本周趋势判断、下周抽检调整。趋势判断只讨论「往哪走」和「要不要加抽」,不讨论具体个案。

月会看结构,不看单周波动。议程可以固定为:成本结构、任务结构、错误结构、下月规则调整。月会要输出决策,而不是只输出数据。

三档节奏的负责人都要提前指定。日更由值班负责,周会由质量负责人主持,月会由产品负责人主持;没有人主持的节奏,最后都会变成「有空再看」。

小结

  • 质量运营的节奏是日看异常、周看趋势、月看结构,三档回答不同问题。
  • 日更只放零容忍项和积压项;C 的日更指标是不可回滚错误、回滚失败、待审计队列。
  • 日更指标必须能自动计算、能路由到处理人;需要人判断的指标放周会。
  • 周会看移动平均和斜率;B 的返工率 9% 低于 12% 阈值,但 8%、9%、10% 的趋势会提前报警。
  • 当前值在阈值内不代表安全;趋势可能已经在往阈值走。
  • 月会看结构:单任务成本、维护占比、任务结构、错误结构。
  • 三家的维护摊销都超过模型与基础设施之和;Agent 产品的成本主体是「让它持续正确」。
  • 每档节奏都要有固定负责人;没有人主持的节奏,最后都会变成「有空再看」。

阅读导航:上一节:12.2 抽检与人工评审 · 下一节:13.1 三案例上线基线 。

常见错误与边界

  1. 所有指标都堆到月底。 日级异常被周级平均掉,结构性变化又被日级噪声掩盖;三档要分开。
  2. 日更看板放太多指标。 看板越长,值班人员越容易只看最上面几行;日更只放零容忍项和积压项。
  3. 周会只看当前值。 B 的 9% 低于 12%,但 8%、9%、10% 的趋势会在三周内撞线;当前值会骗人。
  4. 只看斜率不看移动平均。 单周噪声会让斜率剧烈波动;两个数一起看,才能区分波动和恶化。
  5. 月会只看成本,不看结构。 单任务成本下降可能来自牺牲质量;维护占比、任务结构、错误结构要一起看。
  6. 节奏没有负责人。 日更、周会、月会都要提前指定主持人;没人主持的节奏会自然消失。

下一章进入上线基线:三案例分别用什么指标证明「可以上线」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图