以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。等级划分、首响时限与通报间隔均为教学设定值。
《潮汐方舟》的一次模型小版本更新之后,三个派系的 NPC 开始反复说同一句台词。事件率没有触发 8.3 的刹车阈值,关系漂移也在正常范围内,但玩家论坛当天下午出现了十几条吐槽。
自动刹车能处理「指标突破阈值」,处理不了「指标没突破但玩家已经察觉」。后者需要事故响应:判断异常的性质、决定止损范围、安排对外说明、完成复盘。
这一节讲的是人参与的响应流程,与 8.3 的自动降档是两层机制,不是替代关系。
自动刹车与事故响应分工
两层机制的分工可以这样理解:
| 维度 | 自动刹车 | 事故响应 |
|---|---|---|
| 触发 | 指标突破阈值 | 人判断异常成立 |
| 动作 | 按档位降频、接管、关闭 | 定级、止损、通报、复盘 |
| 时间尺度 | 秒到分钟 | 分钟到天 |
| 产出 | 状态变化 | 结论与改进项 |
自动刹车是肌肉反射,事故响应是医生诊断。反射能防止摔倒,但不能告诉你为什么头晕。
两层要能互相调用:刹车触发后应自动创建事故记录,事故响应也可以手动拉闸。两条路径都要留痕,否则事后无法还原「是谁、在什么时候、基于什么做的决定」。
定级看三个维度
定级不按讨论热度,按三个客观维度:
- 影响范围。 全量、单一玩法、单一批次。全量影响直接 S1。
- 信号数量。 安全、公平、质量、成本四类信号里,三个以上同时出现至少 S1,两个至少 S2。
- 信号性质。 安全与公平同时出现按 S1,因为这两类问题会直接摧毁玩家信任。
| 等级 | 典型情形 | 首响 |
|---|---|---|
| S1 | 全量玩家受影响,或安全与公平同时出问题 | 5 分钟 |
| S2 | 单一玩法异常,或两个独立信号 | 15 分钟 |
| S3 | 单一批次异常,单个信号 | 60 分钟 |
定级可以升级,不能随意降级。响应过程中发现影响范围扩大,立即升级;范围缩小要等止损完成后再评估,避免「刚开始处理就宣布降级」。
定级由值班负责人拍板,不靠投票。投票在事故中会拖延,而且没人对结果负责。
止损动作按级收缩
止损的顺序是「先停、再换、后回滚」:
| 等级 | 动作 |
|---|---|
| S1 | 关闭功能、呼叫负责人、脚本接管、对外公告 |
| S2 | 回滚批次、脚本接管、通知负责人 |
| S3 | 暂停模板、收集样本 |
先停功能而不是先查原因,是因为原因分析可能要几小时,而异常每分钟都在产生新的坏内容。停下来的成本是玩法暂时不可用,不停的成本是坏内容持续扩散。
脚本接管排在回滚之前,是因为它更快。回滚批次要走发布流程,脚本接管只需要一个开关;先接管止血,再慢慢回滚。
回滚范围按 6.3 的规则:一二级按模板整体撤,三级按批次,四级单条。事故响应不重新发明回滚粒度,直接复用举报处理的口径,避免两套规则打架。
通报比修复更早开始
事故通报的第一条消息应该在首响时限内发出,哪怕此时还不知道原因。第一条通报包含三件事:
- 已知事实。 什么时间、什么功能、什么表现。
- 已做动作。 已经停用、接管或回滚了什么。
- 下一次更新时间。 下一个节点会补充什么。
三条都不需要根因分析,所以在首响时限内可以完成。等查清原因再通报,玩家已经在论坛上替公司编了一个版本。
通报节奏按级固定:S1 每三十分钟、S2 每小时、S3 每两小时。节奏固定是为了让等待的人知道什么时候会有新信息,而不是每隔几分钟刷一次。
对外通报与对内通报分开写。对内可以写模型版本、提示词变更、疑似根因;对外只写影响、处置与玩家可以做什么。
复盘要补齐五个阶段
时间线五个阶段缺一不可:
- 发现。 谁、通过什么渠道、在什么时间发现异常。
- 止损。 什么时候停的功能、什么时候完成接管。
- 通报。 什么时候发出第一条对外消息。
- 解决。 什么时候恢复正常,恢复范围是什么。
- 复盘。 什么时候完成复盘,产出了哪些改进项。
只有「已解决」没有「已通报」,等于玩家没被通知;只有「已发现」没有「已止损」,说明发现机制没有连接到处置机制。
复盘要回答三个问题:根因是什么、为什么没有更早发现、同类问题怎么防。三个问题里,第二个最容易被跳过,也最有价值。
根因分类固定为四类:模型、提示词、规则、数据。分类不是为了追责,而是为了把改进项分派给正确的团队。
把事故响应写成可运行判定
下面的实现把定级、首响、通报节奏、止损动作、复盘要求与时间线完整性写成纯函数。
// file: src/liveops/incident.ts
// tier: L1
// verify: node --test test/liveops/incident.test.ts
// Agent 行为异常的事故响应:先定级,再按级给出止损动作与通报节奏。
// 定级看影响范围与信号数量,不看讨论热度;热度只影响通报频率。
export type Severity = "S1" | "S2" | "S3";
export type Scope = "all" | "mode" | "batch";
export type SignalKind = "safety" | "fairness" | "quality" | "cost";
export type Signal = {
readonly kind: SignalKind;
readonly scope: Scope;
};
export type Phase = "detect" | "contain" | "communicate" | "resolve" | "review";
// 教学设定:首响 5 / 15 / 60 分钟,通报间隔 30 / 60 / 120 分钟。
export const FIRST_RESPONSE: Record<Severity, number> = { S1: 5, S2: 15, S3: 60 };
export const COMMS_INTERVAL: Record<Severity, number> = { S1: 30, S2: 60, S3: 120 };
const ACTIONS: Record<Severity, readonly string[]> = {
S1: ["disable-feature", "page-oncall", "script-takeover", "public-notice"],
S2: ["rollback-batch", "script-takeover", "notify-owner"],
S3: ["pause-template", "collect-samples"],
};
// 全量影响直接 S1;两个以上独立信号至少 S2;安全与公平同时出现按 S1。
export function severityOf(signals: readonly Signal[]): Severity {
if (signals.length === 0) return "S3";
const kinds = new Set(signals.map((signal) => signal.kind));
if (signals.some((signal) => signal.scope === "all")) return "S1";
if (kinds.size >= 3) return "S1";
if (kinds.has("safety") && kinds.has("fairness")) return "S1";
if (kinds.size >= 2) return "S2";
if (signals.some((signal) => signal.scope === "mode")) return "S2";
return "S3";
}
export function firstResponseMinutes(severity: Severity): number {
return FIRST_RESPONSE[severity];
}
export function commsEveryMinutes(severity: Severity): number {
return COMMS_INTERVAL[severity];
}
export function actionsFor(severity: Severity): readonly string[] {
return ACTIONS[severity];
}
// 复盘要求:S1 无条件;S2 只在有玩家影响时;S3 只留样本不写复盘。
export function postmortemRequired(severity: Severity, playerImpact: boolean): boolean {
if (severity === "S1") return true;
if (severity === "S2") return playerImpact;
return false;
}
// 时间线五个阶段缺一不可:只有「已解决」没有「已通报」,等于玩家没被通知。
export function timelineComplete(phases: readonly Phase[]): boolean {
const needed: Phase[] = ["detect", "contain", "communicate", "resolve", "review"];
return needed.every((phase) => phases.includes(phase));
}
severityOf 先看空集合。没有信号时定为 S3,而不是抛错;事故记录可能在信号到达之前就已创建,空集合是合法状态。
全量影响优先判断。只要有一个信号的影响范围是全量,无论信号数量多少都定为 S1;范围比数量更能决定损失上限。
安全与公平的组合单独判断,且放在「两个信号」之前。两类问题同时出现时,按 S2 处理会低估严重性。
firstResponseMinutes 与 commsEveryMinutes 用查表而不是计算。时限是运营约定,不是公式推导出来的,写成常量便于评审与修改。
actionsFor 返回只读数组。调用方不能就地修改动作列表,避免某个模块「顺手」给 S1 加了一个动作,导致其他团队看到的清单不一致。
postmortemRequired 对 S1 无条件返回 true。S1 一定涉及玩家影响,不需要再传一个参数来确认。
timelineComplete 用集合包含判断,不要求顺序。现实中阶段可能重叠,例如通报与止损同时进行;要求顺序会让真实事故永远无法通过检查。
根因四分类与改进项
四类根因对应四种改进:
| 根因 | 典型表现 | 改进项 |
|---|---|---|
| 模型 | 换版本后语气突变、重复台词 | 固定版本、增加回归评测 |
| 提示词 | 某类场景持续越界 | 补约束、加反例 |
| 规则 | 阈值太宽、信号不独立 | 调阈值、拆数据源 |
| 数据 | 记忆或关系状态被污染 | 清洗、加写入校验 |
改进项要有负责人与截止时间。没有截止时间的改进项,会在下一次事故复盘时原样出现。
改进项还要能在评测集里验证。修完提示词,对应的用例要加进 12.2 的评测集;否则同类问题只能靠人记得。
与客服、运营、法务的接口
事故响应不是技术团队单独完成的:
- 客服。 需要一份对外话术与补偿口径,在首响后一小时内给出。
- 运营。 需要知道活动是否受影响、要不要延期或补发。
- 法务。 涉及未成年人、违规内容或资金时,必须在对外通报前介入。
三个接口都要有固定联系人,而不是「找相关同事」。事故中现找人,每找一次就多花十分钟。
接口也要有兜底。联系不上时,值班负责人可以先行处置,事后补流程;没有兜底,事故会在等待审批时扩散。
演练:把响应变成肌肉记忆
演练要覆盖三个动作:定级、拉闸、通报。
- 给定一组信号,值班人员能否在五分钟内定出级别。
- 定级之后,能否在三分钟内完成脚本接管。
- 通报模板能否在十分钟内填好并发出。
演练要使用真实入口,不能用「演示模式」。演示模式里点得通,线上可能没有权限。
演练之后更新三样东西:联系人、阈值、话术。三样都会过期,过期比没有更危险。
小结
- 自动刹车是反射,事故响应是诊断,两层机制分工不同但互相调用。
- 定级看影响范围、信号数量与信号性质,不按讨论热度。
- 全量影响直接 S1;安全与公平同时出现按 S1;两个独立信号至少 S2。
- 首响 5、15、60 分钟,通报间隔 30、60、120 分钟。
- 止损顺序是先停功能、再脚本接管、最后回滚批次。
- 回滚粒度复用举报处理的口径,不重新发明一套规则。
- 第一条通报在首响内发出,包含已知事实、已做动作与下次更新时间。
- 复盘时间线补齐发现、止损、通报、解决、复盘五个阶段。
- 根因分模型、提示词、规则、数据四类,改进项要有负责人与截止时间。
- 演练要练定级、拉闸、通报,并使用真实入口。
阅读导航:上一节:10.2 玩家服务的分级接管 · 下一节:11.1 体验指标:留存、会话与投诉 。
常见错误与边界
- 把自动刹车当事故响应。 指标没突破但玩家已察觉的异常,刹车不会触发。
- 按讨论热度定级。 吵得凶的先处理,真正涉及安全的问题排在后面。
- 先查原因再止损。 原因分析要几小时,坏内容每分钟都在扩散。
- 等查清原因再通报。 玩家先替公司编了一个版本,再纠正的成本更高。
- 复盘只看已解决。 发现、通报、复盘阶段缺失,同类问题会重复发生。
- 演练用演示模式。 线上没有权限,真出事时点不动按钮。
第 10 章到这里结束。内容能生产、服务能接管、事故能响应之后,团队需要回答一个更基础的问题:这些能力到底有没有让体验变好,成本又落在哪里。
第 11 章从指标口径开始,把体验、成本与实验放在同一张桌子上。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。