以下三家公司与全部数字均为教学假设,用于演示商业化计算,不代表任何真实企业。
预警要提前一个周期
关账回答「上个月发生了什么」,预警回答「下个月可能发生什么」。两者的数据源相同,时间方向相反。关账是往回看,把已经发生的收入与成本对齐;预警是往前看,在数字恶化之前给出动作窗口。
一个预警只有在「还来得及动作」的时候发出,才有价值。月底发现毛利率掉了 3 个百分点,已经来不及改;月中发现单位成本连续两周漂移,还可以调路由、限上下文、换模型。预警的提前量,取决于动作的提前量:调价需要一个月,换模型需要两周,限流可以当天生效。预警应该按最短的动作周期来设,而不是按报表周期来设。
AI 产品的预警比传统 SaaS 更难,因为成本是实时发生的,收入是月末才确定的。成本可以先恶化,收入却要等到关账才看得见。如果只监控收入,等收入出问题,成本已经烧了一个月。所以预警的第一优先级是成本,第二是流失,第三是超额。三者的共同点是:都能在收入确认之前观察到。
成本预警:先算有效单位成本
成本预警的基线不是「单次成本」,而是「有效单位成本」。单次成本只算成功调用,重试、失败、超时、被拒绝的调用同样消耗推理资源,只是没有产生收入。把它们排除在外,单位成本会被系统性低估。
有效单位成本的公式是:
有效单位成本 = 单次成本 / (1 - 重试率)
LumenDesk 的单次成本是 0.015 美元,重试率是 8%:
0.015 / (1 - 0.08) = 0.015 / 0.92 = 0.0163 美元
有效单位成本比账面单次成本高 8.7%:
(0.0163 - 0.015) / 0.015 = 8.7%
ClausePilot 的单案件成本是 65 美元,重试率是 11%:
65 / (1 - 0.11) = 65 / 0.89 = 73.03 美元
有效单件成本比账面高 12.4%:
(73.03 - 65) / 65 = 12.4%
Verba 的单分钟成本是 0.0042 美元,重试率是 3%:
0.0042 / (1 - 0.03) = 0.0042 / 0.97 = 0.0043 美元
三家的重试率不同,有效成本的偏离也不同。ClausePilot 的 11% 重试率意味着,每 100 件案子有 11 件需要重跑,重跑的成本要摊到 89 件成功交付的案子上。这个数字如果只出现在客服周报里,不会进入毛利;只有进入有效单位成本,才会被定价和产能规划看见。
成本预警要监控两个量:有效单位成本的绝对值和它的漂移。绝对值决定当前是否已经亏损,漂移决定趋势是否在恶化。绝对值的阈值来自定价:LumenDesk 的超额单价是 0.04 美元,有效成本 0.0163 美元,还有 0.0237 美元的毛利空间;P99 客户的单次成本是 0.12 美元,已经超过超额单价 0.04 美元,每多一次对话亏 0.08 美元。
漂移的阈值来自基线。一个可用的做法是:以最近 8 周的滚动中位数为基线,漂移超过 5% 触发警告,超过 10% 触发严重。这两个百分比是示例,不是普适常数;基线稳定、动作成本低的产品可以收紧,基线波动大的产品可以放宽。
流失预警:logo churn 与先行指标
流失预警的第一层是月度 logo churn。三家公司的月流失率分别是:
LumenDesk:0.8%
Verba API:2.1%
ClausePilot:0.6%
这三个数字不能直接比较。Verba 的 2.1% 是 LumenDesk 的 2.6 倍:
2.1% / 0.8% = 2.6
但 Verba 的 ARPA 只有 231.72 美元,CAC 只有 420 美元,回本周期 3.8 个月;LumenDesk 的 ARPA 是 322.80 美元,CAC 是 1,800 美元,回本周期 6.7 个月。Verba 用更低的获客成本换更高的流失率,LumenDesk 用更高的获客成本换更低的流失率。同一套流失阈值套在两家公司身上,一定会误报。
流失预警的第二层是先行指标。logo churn 是结果,等它发生已经晚了。先行指标包括:周活跃席位下降、用量环比下降、关键功能调用停止、工单情绪恶化、续约前 90 天没有登录。这些指标单独看都可能是噪声,组合起来才有信号。
一个实用的组合是「用量 + 席位 + 付款」三件事:
用量:连续 4 周低于过去 12 周均值的 70%
席位:近 30 天活跃席位下降超过 20%
付款:续约前 60 天出现一次失败扣款
三个条件不需要同时满足,但每多一个,流失概率就上升一档。预警系统应该按「命中几个条件」分级,而不是按单一指标的绝对值分级。
ClausePilot 的流失预警还要看合同集中度。前 3 大客户收入占比 34%,整体流失率只有 0.6%,两个数字并不矛盾:整体流失率按客户数加权,大客户只占 3 个 logo,掉一个也只会让 logo 流失率上升约 1.2 个百分点,但对收入的冲击远大于这个数字。对这种结构,单客户预警比整体流失率更重要。
超额预警:41% 客户已经越线
LumenDesk 有 41% 的客户超过月度额度。这个数字不是异常,而是常态。超额预警的目标不是「消灭超额」,而是「区分健康的超额与失血的超额」。
健康的超额是客户用量增长、愿意为增量付费,超额收入覆盖增量成本。失血的超额是客户用量增长、但超额单价低于增量成本,每多一次对话都在扩大亏损。两者的分界线是单位经济:
超额单价 = 0.04 美元/次
平均单次成本 = 0.015 美元/次
平均超额毛利 = 0.04 - 0.015 = 0.025 美元/次
平均来看,超额是赚钱的:每次超额赚 0.025 美元。但平均值掩盖了长尾。P99 客户的单次成本是 0.120 美元,超额单价仍是 0.04 美元:
P99 单次毛利 = 0.04 - 0.120 = -0.080 美元/次
P99 单席位月毛利 = 121.00 - 276.00 = -155.00 美元
所以超额预警要监控三个层次:超额客户占比、超额收入占比、负毛利超额客户数。第一个是结构指标,41% 说明超额是常态;第二个是收入指标,9,216 美元说明超额贡献了 8.9% 的 MRR;第三个是风险指标,负毛利客户数才是真正需要动作的对象。
超额预警还要防止「越线即限流」的粗暴做法。41% 的客户越线,如果全部限流,会伤害近一半客户的正常使用。正确的做法是按毛利分层:正毛利的超额继续放行,负毛利的超额触发人工复核,极负毛利的超额才限流或要求升级。预警的作用是分层,不是一刀切。
阈值怎么定:基线、波动、容忍
阈值不是拍脑袋定的,它来自三个输入:基线、波动、业务容忍。
基线是「正常水平」。成本基线用最近 8 周的滚动中位数,流失基线用过去 6 个月的同 cohort 均值,超额基线用过去 3 个月的分位数。基线要排除已知的异常月,比如大促、涨价、一次性的模型切换。
波动是「正常能波动多少」。可以用标准差,也可以用分位数。用量波动大的产品,用 P95 减 P50 作为正常带宽;波动小的产品,用 2 个标准差。关键是让阈值随波动调整,而不是所有指标用同一个百分比。
业务容忍是「多大的偏差可以等到下个周期再处理」。成本漂移 2% 可以观察,5% 要动作,10% 要升级;流失率上升 0.2 个百分点可以观察,0.5 个百分点要动作;超额占比上升 5 个百分点要复盘定价。这些数字是业务判断,不是统计结论。
三类指标的示例阈值可以写成:
成本漂移:警告 +5%,严重 +10%
月度流失:警告 1.2%,严重 1.6%
超额占比:警告 50%,严重 60%
LumenDesk 的 0.8% 流失在警告线以下,41% 超额占比也在警告线以下;Verba 的 2.1% 流失超过严重线,会立即触发;ClausePilot 的 0.6% 流失远低于警告线。阈值相同,三家触发的告警完全不同,这是正常的:阈值是策略,不是事实。
阈值要定期校准。业务增长、定价调整、模型切换都会改变基线。一个季度不校准,阈值就会漂移:要么太松,告警永远不响;要么太紧,每天都在响。校准记录要留痕,否则无法解释为什么某个月的告警突然变多或变少。
分级、路由与抑制
预警要分级,否则所有告警都一样重要,等于没有告警。三级足够:
- ok。 指标在阈值内,不通知,只记录。
- warn。 指标越过警告线,通知指标 owner,进入观察名单,要求 24 小时内给出解释。
- critical。 指标越过严重线,通知 owner 与值班,要求 4 小时内给出动作,必要时升级到负责人。
分级之后要路由。成本告警路由到基础设施与模型负责人,流失告警路由到客户成功,超额告警路由到定价与收入运营。路由错了,告警会被转手,最后没人处理。路由表要写进 runbook,不能只存在某个人的记忆里。
抑制是防止告警洪水的关键。三个机制最常用:
连续窗口:连续 2 个窗口越线才触发,单点抖动不报
静默窗口:同一告警 6 小时内只发一次
去重:同一指标、同一 scope、同一级别,合并为一条
连续窗口解决「毛刺」,静默窗口解决「重复」,去重解决「同一问题多个实例」。三个机制一起用,才能把告警量压到人可以处理的水平。抑制不是掩盖问题,而是把重复的信号合并成一个可动作的事件。
只报警不闭环是最大的浪费
预警系统最容易犯的错误,是把「发出告警」当成「完成工作」。告警发出后,如果没有 owner、没有动作、没有验证,它只是一条消息,不是一次管理动作。
闭环至少要有五步:告警触发、工单创建、owner 确认、动作执行、效果验证。五步缺一步,告警就会变成噪声。效果验证尤其重要:动作执行后,指标有没有回到阈值内?如果没有,是动作无效,还是阈值设错了?这两个问题不回答,下个月同样的告警还会再来。
闭环还要统计三个指标:告警数量、误报率、平均确认时间。告警数量突然上升,说明业务在变化或阈值在漂移;误报率超过 30%,说明阈值太紧或指标选错了;平均确认时间超过 24 小时,说明路由或值班有问题。三个指标按月复盘,预警系统才会越用越准。
用代码把三类预警算成同一套规则
下面的代码把分级、有效单位成本、连续窗口、静默窗口与超额占比做成五个纯函数。阈值统一用基点或 micro-USD,方向用 above / below 表示,避免上下限各写一套比较逻辑。
// file: src/ops/10-3-alerts.ts
// tier: L1
// verify: node --test test/ops/10-3-alerts.test.ts
// 预警:成本、流失、超额三类指标共用一套分级与抑制规则,避免告警洪水。
export type Direction = "above" | "below";
export type Severity = "ok" | "warn" | "critical";
export type Threshold = {
warn: number;
critical: number;
direction: Direction;
};
/** 阈值统一用基点或 micro-USD;方向决定比较符,避免上下限各写一套。 */
export function severity(value: number, threshold: Threshold): Severity {
if (threshold.direction === "above") {
if (value >= threshold.critical) return "critical";
if (value >= threshold.warn) return "warn";
return "ok";
}
if (value <= threshold.critical) return "critical";
if (value <= threshold.warn) return "warn";
return "ok";
}
/** 有效单位成本 = 单位成本 ÷ (1 − 重试率),重试率用基点。 */
export function effectiveUnitCostMicros(unitCostMicros: number, retryBps: number): number {
const retryRate = retryBps / 10_000;
if (retryRate >= 1) return Number.POSITIVE_INFINITY;
return Math.round(unitCostMicros / (1 - retryRate));
}
/** 连续 N 个窗口越线才触发,单点抖动不打扰值班。 */
export function shouldFire(consecutiveBreaches: number, required: number): boolean {
return required > 0 && consecutiveBreaches >= required;
}
/** 同一告警在静默窗口内只发一次,窗口从上次发送时间起算。 */
export function inSilenceWindow(lastFiredMs: number, nowMs: number, silenceMs: number): boolean {
return nowMs - lastFiredMs < silenceMs;
}
/** 超额客户占比,以基点表示。 */
export function overageShareBps(overageCustomers: number, payingCustomers: number): number {
if (payingCustomers === 0) return 0;
return Math.round((overageCustomers / payingCustomers) * 10_000);
}
/** 有效成本相对基准的漂移,以基点表示。 */
export function driftBps(actualMicros: number, baselineMicros: number): number {
if (baselineMicros === 0) return 0;
return Math.round(((actualMicros - baselineMicros) / baselineMicros) * 10_000);
}
/** 三类指标的默认策略;阈值是示例,上线前必须按各自基线校准。 */
export const ALERT_POLICY = {
costDrift: { warn: 500, critical: 1_000, direction: "above" } as Threshold,
churn: { warn: 120, critical: 160, direction: "above" } as Threshold,
overageShare: { warn: 5_000, critical: 6_000, direction: "above" } as Threshold,
minConsecutive: 2,
silenceMs: 6 * 60 * 60 * 1000,
} as const;
测试验证五个关键值:LumenDesk 的有效单位成本是 16,304 micro-USD(0.016304 美元),ClausePilot 是 73,033,708 micro-USD(73.03 美元),成本漂移是 869 个基点(8.7%),超额占比 4,100 个基点(41%),连续 2 个窗口才触发。869 个基点落在 500 与 1,000 之间,所以是 warn;4,100 个基点低于 5,000 的警告线,所以是 ok。
代码里的 severity 用同一个函数处理「越高越坏」和「越低越坏」两种方向。成本、流失、超额都是越高越坏,所以都用 above;如果以后加入「可用性」「留存率」这类越低越坏的指标,只需要把方向改成 below,不需要再写一套比较逻辑。
inSilenceWindow 的边界是左闭右开:距离上次发送正好等于静默窗口时,允许再次发送。这个细节看起来小,但决定了告警是「每小时一条」还是「每 6 小时一条」。边界写错,告警频率会翻倍。
小结
- 预警要提前一个动作周期发出,成本优先于流失,流失优先于超额,因为成本能在收入确认前观察到。
- 有效单位成本 = 单次成本 / (1 - 重试率),LumenDesk 是 0.0163 美元,ClausePilot 是 73.03 美元。
- 流失预警要按产品设阈值,Verba 的 2.1% 是 LumenDesk 的 2.6 倍,不能用同一套标准。
- 超额预警要分三层:41% 的越线占比是结构,9,216 美元是收入贡献,负毛利客户数才是风险。
- 阈值来自基线、波动与业务容忍,示例值是成本 +5%/+10%、流失 1.2%/1.6%、超额 50%/60%。
- 分级用 ok/warn/critical,路由到 owner,抑制用连续窗口、静默窗口与去重。
- 告警必须闭环到工单、动作与验证,并按月复盘数量、误报率与平均确认时间。
阅读导航:上一节:10.2 月度关账与差异分析 · 下一节:11.1 AI 产品的留存曲线 。
常见错误与边界
- 用成功调用的单次成本做预警,忽略重试、失败与超时,单位成本被系统性低估。
- 把 Verba 的 2.1% 流失直接套到 LumenDesk 的 0.8% 上,忽略 ARPA、CAC 与回本周期的差异。
- 看到 41% 客户超额就全量限流,伤害正毛利客户,正确做法是按毛利分层处理。
- 阈值一年不校准,业务变了、基线漂了,告警要么不响,要么天天响。
- 只发告警不建工单,没有 owner、没有动作、没有验证,告警退化成聊天消息。
- 静默窗口边界写成闭区间,同一告警在每个窗口边界重复发送,频率翻倍。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。