以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。
反馈和抽检解决「看什么」,节奏解决「多久看一次、谁来处理」。质量运营最常见的失败不是没有指标,而是所有指标都堆在月底看:异常在日终才发现,趋势在季度复盘时才看见,结构问题在成本超支后才承认。
一个可执行的节奏是:日看异常、周看趋势、月看结构。三档不是频率高低,而是回答不同的问题。
三档节奏各回答什么
| 节奏 | 回答的问题 | 典型指标 | 负责人 | 输出 |
|---|---|---|---|---|
| 日 | 今天有没有不能过夜的事 | 不可回滚错误、回滚失败、待审计积压 | 值班与质量负责人 | 告警、事件单 |
| 周 | 质量在往哪个方向走 | 采纳率、返工率、事实错误率 | 产品负责人与质量负责人 | 趋势判断、加抽或整改 |
| 月 | 结构有没有变化 | 单任务成本、维护占比、任务结构 | 产品负责人 | 预算、规则、人员调整 |
三档的输入不同,输出也不同。日会输出事件单,周会输出趋势判断,月会输出结构性决策。把三档混成一个「质量周报」,会导致日级异常被周级平均掉,结构性变化又被日级噪声掩盖。
日看异常:只有少数指标必须日更
不是所有指标都值得日更。日更指标要满足三个条件之一:
- 零容忍:出现一次就不能过夜,例如不可回滚错误、回滚失败。
- 外部可见:问题会直接传到客户侧,例如已发出的错误通知。
- 快速衰减:拖一天就失去处理窗口,例如待审计队列积压。
C Runner 的日更指标是三个:不可回滚错误、回滚失败、待审计队列。前两个是零容忍,第三个是积压项。C 的不可回滚错误率是 0.238%,看起来很低,但它是零容忍项:出现一次就触发事件流程,不进入周趋势统计。
日更指标必须能自动计算。需要人工判断的指标放到周会,例如「这个错误算不算事实错误」;日更看板只放机器能判定的数。否则值班人员每天要花时间解释口径,日更就坚持不下去。
日更的另一个要求是告警路由。指标越线后要通知到能处理的人,而不是发到一个没人看的群。零容忍项的告警应该直接呼叫值班,积压项可以进队列看板。
周看趋势:当前值会骗人
周会的核心不是「本周是多少」,而是「下周会是多少」。当前值在阈值内,不代表安全;趋势可能已经在往阈值走。
B Quill 的返工率是 9%,扩大阶段的阈值是 12%。单看当前值,9% 低于 12%,可以通过。但如果连续三周是 8%、9%、10%,趋势是每周上升 1 个百分点;按这个速度,两周后就会触及 12%。
| 周 | 返工率 | 与阈值距离 | 判断 |
|---|---|---|---|
| 第 1 周 | 8% | 4 个百分点 | 正常 |
| 第 2 周 | 9% | 3 个百分点 | 观察 |
| 第 3 周 | 10% | 2 个百分点 | 升级 |
趋势判断要用两个数:移动平均和斜率。移动平均去掉单周噪声,斜率回答「往哪走、走多快」。只看移动平均会滞后,只看斜率会被噪声放大;两者一起看,才能区分「正常波动」和「持续恶化」。
B 的事实错误率是 4.6%,阈值是 5%。当前值在线内,但如果周斜率很小,例如每周 0.15 个百分点,就不应该升级;它还在噪声范围内。阈值附近的判断要结合斜率,而不是只看距离。
周会还要区分「指标变化」和「口径变化」。返工率从 9% 变成 10%,可能是质量下降,也可能是返工的定义变了。口径变化要在周会上显式说明,否则趋势会被误读。
月看结构:成本和质量一起看
月会不看单周波动,看结构:
| 结构项 | 看什么 | 变化后的动作 |
|---|---|---|
| 单任务成本 | 模型、基础设施、维护的构成 | 调整模型、缓存、规则复杂度 |
| 维护占比 | 维护摊销与系统成本的比例 | 判断「持续正确」的成本是否失控 |
| 任务结构 | 各类型任务的比例 | 调整抽检分层与规则覆盖 |
| 错误结构 | 事实错误、格式错误、语气问题的比例 | 调整评测集与提示词 |
成本结构最容易被忽略。A Relay 的月维护摊销是 1,200 美元,模型与基础设施合计 448.8 美元;B Quill 是 2,400 对 193.92;C Runner 是 3,600 对 950.4。三家的维护摊销都超过模型与基础设施之和。这个结构说明:Agent 产品的成本主体不是「调用模型」,而是「让它持续正确」。
月会要回答的不是「这个月花了多少」,而是「下个月的结构会不会变」。如果维护占比持续上升,说明规则和评测的成本在累积;如果单任务成本下降但错误率上升,说明在牺牲质量换成本。
把节奏写成可执行模型
下面的模型把指标按日、周、月分组,并实现移动平均、斜率和升级判断。它的输出不是报表,而是「这个指标今天要不要升级」。
// file: src/trust/12-3-quality-cadence.ts
// tier: L2
// verify: node --test test/trust/12-3-quality-cadence.test.ts
// 质量运营的节奏:日看异常、周看趋势、月看结构。
// 日更指标必须能自动计算;需要人判断的指标放到周会,结构性指标放到月度。
import { QUILL } from "../cases.ts";
import { type Bps } from "../core/rate.ts";
export type Cadence = "daily" | "weekly" | "monthly";
export type Direction = "up" | "down";
export type MetricDef = {
readonly id: string;
readonly label: string;
readonly cadence: Cadence;
readonly owner: string;
readonly direction: Direction;
readonly zeroTolerance: boolean;
readonly thresholdBps: Bps | null;
};
export const METRICS: readonly MetricDef[] = [
{
id: "irreversible-errors",
label: "不可回滚错误",
cadence: "daily",
owner: "on-call",
direction: "down",
zeroTolerance: true,
thresholdBps: 0,
},
{
id: "rollback-failures",
label: "回滚失败",
cadence: "daily",
owner: "on-call",
direction: "down",
zeroTolerance: true,
thresholdBps: 0,
},
{
id: "queue-backlog",
label: "待审计队列",
cadence: "daily",
owner: "quality-lead",
direction: "down",
zeroTolerance: false,
thresholdBps: null,
},
{
id: "adoption",
label: "采纳率",
cadence: "weekly",
owner: "product-owner",
direction: "up",
zeroTolerance: false,
thresholdBps: 7_000,
},
{
id: "rework",
label: "返工率",
cadence: "weekly",
owner: "quality-lead",
direction: "down",
zeroTolerance: false,
thresholdBps: 1_200,
},
{
id: "fact-error",
label: "事实错误率",
cadence: "weekly",
owner: "quality-lead",
direction: "down",
zeroTolerance: false,
thresholdBps: 500,
},
{
id: "cost-per-task",
label: "单任务系统成本",
cadence: "monthly",
owner: "product-owner",
direction: "down",
zeroTolerance: false,
thresholdBps: null,
},
{
id: "maintenance-ratio",
label: "维护占系统成本",
cadence: "monthly",
owner: "product-owner",
direction: "down",
zeroTolerance: false,
thresholdBps: null,
},
];
export function metricsFor(cadence: Cadence): readonly MetricDef[] {
return METRICS.filter((metric) => metric.cadence === cadence);
}
// 必须日更的只有两类:零容忍项,以及会阻塞审计队列的积压项。
export function mustBeDaily(metric: MetricDef): boolean {
return metric.zeroTolerance || metric.id === "queue-backlog";
}
export function movingAverage(
values: readonly number[],
window: number,
): readonly number[] {
if (window <= 0) return [];
return values.map((_, index) => {
const start = Math.max(0, index - window + 1);
const slice = values.slice(start, index + 1);
return slice.reduce((sum, value) => sum + value, 0) / slice.length;
});
}
export function slope(values: readonly number[]): number {
if (values.length < 2) return 0;
const n = values.length;
const meanX = (n - 1) / 2;
const meanY = values.reduce((sum, value) => sum + value, 0) / n;
let numerator = 0;
let denominator = 0;
for (let index = 0; index < n; index += 1) {
numerator += (index - meanX) * (values[index] - meanY);
denominator += (index - meanX) ** 2;
}
return denominator === 0 ? 0 : numerator / denominator;
}
export type Escalation = "none" | "watch" | "escalate";
// 零容忍项出现一次就升级;其余项看当前值、距离阈值与趋势方向。
export function escalate(
metric: MetricDef,
series: readonly number[],
): Escalation {
const current = series[series.length - 1] ?? 0;
if (metric.zeroTolerance) return current > 0 ? "escalate" : "none";
if (metric.thresholdBps === null) return "none";
const threshold = metric.thresholdBps;
const breached =
metric.direction === "down" ? current >= threshold : current <= threshold;
if (breached) return "escalate";
const distance = Math.abs(threshold - current);
const trend = slope(series);
const movingTowardThreshold =
metric.direction === "down" ? trend > 0 : trend < 0;
if (movingTowardThreshold && distance <= 200 && Math.abs(trend) >= 50) {
return "escalate";
}
if (movingTowardThreshold && Math.abs(trend) >= 50) return "watch";
return "none";
}
export type CadenceSummary = {
readonly daily: readonly string[];
readonly weekly: readonly string[];
readonly monthly: readonly string[];
readonly dailyCount: number;
};
export function cadenceSummary(): CadenceSummary {
return {
daily: metricsFor("daily").map((metric) => metric.id),
weekly: metricsFor("weekly").map((metric) => metric.id),
monthly: metricsFor("monthly").map((metric) => metric.id),
dailyCount: metricsFor("daily").length,
};
}
// B Quill 的质量口径:返工率 9%,事实错误率 4.6%;扩大阶段阈值 12% 与 5%。
export const B_QUALITY = {
reworkBps: 900,
factErrorBps: 460,
reworkLimitBps: 1_200,
factErrorLimitBps: 500,
monthlyReports: QUILL.monthlyTasks,
} as const;
模型里有两个阈值需要解释。distance <= 200 表示当前值距离阈值不到 2 个百分点;Math.abs(trend) >= 50 表示每周变化超过 0.5 个百分点。两个条件同时满足才升级,是为了避免「离得远但波动大」被误判。
mustBeDaily 只把零容忍项和积压项标为日更。其他指标即使很重要,也不放在日更看板:日更看板越长,值班人员越容易只看最上面几行。
日更、周会、月会怎么开
日更不是开会,是看板加告警。值班人员每天固定时间看三个日更指标;零容忍项出现,直接走事件流程;积压项超过约定水位,通知质量负责人。
周会看趋势,不看单点。议程可以固定为三段:上周异常复盘、本周趋势判断、下周抽检调整。趋势判断只讨论「往哪走」和「要不要加抽」,不讨论具体个案。
月会看结构,不看单周波动。议程可以固定为:成本结构、任务结构、错误结构、下月规则调整。月会要输出决策,而不是只输出数据。
三档节奏的负责人都要提前指定。日更由值班负责,周会由质量负责人主持,月会由产品负责人主持;没有人主持的节奏,最后都会变成「有空再看」。
小结
- 质量运营的节奏是日看异常、周看趋势、月看结构,三档回答不同问题。
- 日更只放零容忍项和积压项;C 的日更指标是不可回滚错误、回滚失败、待审计队列。
- 日更指标必须能自动计算、能路由到处理人;需要人判断的指标放周会。
- 周会看移动平均和斜率;B 的返工率 9% 低于 12% 阈值,但 8%、9%、10% 的趋势会提前报警。
- 当前值在阈值内不代表安全;趋势可能已经在往阈值走。
- 月会看结构:单任务成本、维护占比、任务结构、错误结构。
- 三家的维护摊销都超过模型与基础设施之和;Agent 产品的成本主体是「让它持续正确」。
- 每档节奏都要有固定负责人;没有人主持的节奏,最后都会变成「有空再看」。
阅读导航:上一节:12.2 抽检与人工评审 · 下一节:13.1 三案例上线基线 。
常见错误与边界
- 所有指标都堆到月底。 日级异常被周级平均掉,结构性变化又被日级噪声掩盖;三档要分开。
- 日更看板放太多指标。 看板越长,值班人员越容易只看最上面几行;日更只放零容忍项和积压项。
- 周会只看当前值。 B 的 9% 低于 12%,但 8%、9%、10% 的趋势会在三周内撞线;当前值会骗人。
- 只看斜率不看移动平均。 单周噪声会让斜率剧烈波动;两个数一起看,才能区分波动和恶化。
- 月会只看成本,不看结构。 单任务成本下降可能来自牺牲质量;维护占比、任务结构、错误结构要一起看。
- 节奏没有负责人。 日更、周会、月会都要提前指定主持人;没人主持的节奏会自然消失。
下一章进入上线基线:三案例分别用什么指标证明「可以上线」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。