以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。阈值、冷静期与档位效果均为教学设定值。
多 Agent 系统上线前,团队通常会准备一份「紧急关闭」预案:出问题就关掉。这份预案有两个问题:一是「出问题」没有定义,二是关掉之后玩家看到什么也没有定义。
刹车应该是一套分级的机制,而不是一个开关。分级的意义在于:多数异常不需要关功能,限流就能压住;真正需要关功能的场景很少,但一旦发生,必须在几分钟内完成。
刹车是四级台阶,不是开关
| 档位 | 名称 | 做什么 | 玩家感知 |
|---|---|---|---|
| L0 | 正常 | 按规则运行 | 无 |
| L1 | 限流 | 决策频率减半 | 角色反应稍慢 |
| L2 | 脚本接管 | 停止模型调用,切脚本策略 | 台词变简单,行为仍合理 |
| L3 | 关功能 | NPC 社会整体停用 | 相关玩法暂时消失 |
四级台阶给了团队一个中间地带。发现异常时先上 L1,观察五分钟;压不住再上 L2;只有出现安全或公平问题时才上 L3。多数事故停在 L1 或 L2,玩家甚至不会察觉。
直接把开关做成二元,会让团队在「什么都不做」与「全关」之间摇摆。摇摆的结果通常是拖到不得不全关,损失远大于早一点限流。
三个独立信号
档位由信号数量决定,信号来自三个互相独立的指标:
| 信号 | 阈值 | 数据来源 | 说明 |
|---|---|---|---|
| 事件率 | 高于基线 3 倍 | 涌现观测 | 与 8.2 的失控判据一致 |
| 关系漂移 | 单场超过 40 点 | 关系写入日志 | 与 5.2 的告警阈值一致 |
| 举报率 | 高于 0.5% | 举报系统 | 与 7.3 的公平性投诉口径一致 |
三个信号必须独立。如果事件率与举报率来自同一个计算管道,它们会同时触发,实际上只有一个信号,档位会被高估。
独立性还要求数据来源分开:事件率来自模拟器,关系漂移来自写入日志,举报率来自玩家行为。三条链路任何一条中断,都应该报警,而不是让该信号静默为「正常」。
两个信号才升级
规则是:一个信号只上 L1,两个信号上 L2,三个信号上 L3。单个信号可能是误报,两个独立信号同时异常,才说明问题足够严重。
这条规则防的是「单指标抖动触发全关」。事件率在版本更新后短暂升高很常见,如果单信号就能上 L3,团队会在每次更新时关一次功能,最终没人敢开。
两个信号才升级也带来一个操作要求:值班人员要能看到三个信号的当前状态,而不是只看到一个综合分。综合分会掩盖「哪两个信号同时异常」,排查时还得回去找原始数据。
只升不降,恢复要等安静期
升级是即时的,降级是有条件的:
- 升级取历史最高档,信号减少也不自动回落。
- 降级要求连续 30 分钟没有新信号。
- 每次只降一级,降完重新计时。
三条规则合起来的效果是「快升慢降」。升错了,玩家感知到的是短暂变慢;降早了,异常可能还没消失,会再次触发,形成反复升降的抖动。
30 分钟这个数字来自观测窗口的六倍。5 分钟窗口只能说明「最近五分钟正常」,六倍窗口才能说明趋势稳定。窗口与冷静期保持整数倍关系,便于值班人员心算。
降级一次一级,是为了避免「从 L3 直接回 L0」。L3 期间模型调用完全停止,直接恢复会带来一次调用尖峰,可能触发新的限流。逐级恢复让流量平滑爬升。
把刹车写成可运行状态机
下面的实现把档位、效果、升级、恢复与信号提取写成纯函数。状态只有两个字段:当前档位与最后一次信号时间。
// file: src/swarm/kill-switch.ts
// tier: L1
// verify: node --test test/swarm/kill-switch.test.ts
// 刹车分四级:限流、脚本接管、关功能。升级要两个独立信号,降级要一段安静期。
// 只升不降不是保守,是因为降级比升级便宜得多——升错了玩家立刻感知。
export type Level = 0 | 1 | 2 | 3;
export type Signal = "event-rate" | "relationship-drift" | "complaint-rate";
export type BrakeState = {
readonly level: Level;
readonly lastSignalMinute: number;
};
export const QUIET_MINUTES = 30;
export const SIGNAL_THRESHOLDS = {
eventRatio: 3,
drift: 40,
complaintRate: 0.005,
} as const;
// 一个信号只限流,两个信号脚本接管,三个信号直接关功能。
export function levelFor(signals: readonly Signal[]): Level {
const unique = new Set(signals);
if (unique.size >= 3) return 3;
if (unique.size === 2) return 2;
if (unique.size === 1) return 1;
return 0;
}
export type Effects = {
readonly decisionEveryTicks: number;
readonly scripted: boolean;
readonly enabled: boolean;
};
// 档位越高决策越稀:限流先减频率,脚本接管再断模型,关功能才停服务。
export function effectsFor(level: Level): Effects {
switch (level) {
case 0:
return { decisionEveryTicks: 30, scripted: false, enabled: true };
case 1:
return { decisionEveryTicks: 60, scripted: false, enabled: true };
case 2:
return { decisionEveryTicks: 120, scripted: true, enabled: true };
default:
return { decisionEveryTicks: 0, scripted: true, enabled: false };
}
}
// 升级取历史最高档:同一时刻拿到的信号集合变小,也不能自动放宽。
export function escalate(
state: BrakeState,
signals: readonly Signal[],
minute: number,
): BrakeState {
const candidate = levelFor(signals);
if (candidate === 0) return state;
const level = Math.max(state.level, candidate) as Level;
return { level, lastSignalMinute: minute };
}
export function canRecover(state: BrakeState, minute: number, quiet: number = QUIET_MINUTES): boolean {
if (state.level === 0) return false;
return minute - state.lastSignalMinute >= quiet;
}
// 每次只降一级,并把安静期重置:连续降级要连续安静,不能一次放到底。
export function recover(
state: BrakeState,
minute: number,
quiet: number = QUIET_MINUTES,
): BrakeState {
if (!canRecover(state, minute, quiet)) return state;
return { level: (state.level - 1) as Level, lastSignalMinute: minute };
}
// 信号从指标来:三个阈值分别对应事件率、关系漂移与举报率。
export function signalsFrom(metrics: {
readonly eventRatio: number;
readonly relationshipDrift: number;
readonly complaintRate: number;
}): Signal[] {
const signals: Signal[] = [];
if (metrics.eventRatio > SIGNAL_THRESHOLDS.eventRatio) signals.push("event-rate");
if (metrics.relationshipDrift > SIGNAL_THRESHOLDS.drift) signals.push("relationship-drift");
if (metrics.complaintRate > SIGNAL_THRESHOLDS.complaintRate) signals.push("complaint-rate");
return signals;
}
levelFor 用 Set 去重。同一个信号在多个分片同时出现时,传入数组可能包含重复项,去重之后才符合「独立信号数量」的定义。
effectsFor 把档位映射到三个可执行参数:决策间隔、是否走脚本、是否启用。三个参数覆盖了限流、接管、关闭三种动作,不需要额外的分支。
escalate 取历史最高档,并且只有拿到信号时才更新时间戳。没有信号时原样返回,避免把「没信号」误记成「刚刚有信号」,从而永远无法进入安静期。
canRecover 在 L0 时返回 false。L0 不需要恢复,返回 true 会让调用方误以为可以继续降级到负档位。
recover 把 lastSignalMinute 重置为当前时间。这样连续降级需要连续两段安静期,而不是一次安静就能连降两级。
signalsFrom 用严格大于比较阈值。等于阈值不算触发,避免边界值在浮点计算下一次触发一次不触发,造成状态抖动。
恢复期要观察什么
降级之后不是结束了,恢复期要盯三件事:
- 调用量是否平滑。 从 L2 回到 L1 时,模型调用从零恢复,如果瞬时打满会再次触发限流。
- 信号是否复现。 同一信号在安静期后再次出现,说明根因没解决,应该回到更高档位。
- 玩家反馈是否变化。 限流期间玩家可能已经流失,恢复后要观察留存与投诉是否回到基线。
三件事里,第二件最关键。很多团队把「安静 30 分钟」当成问题解决,实际上只是异常暂时没有触发。根因没修,恢复后一定会再来一次。
演练比预案重要
刹车机制最容易失败的地方不是设计,而是没人会用。预案写在文档里,出事时值班人员找不到入口、不清楚权限、不敢拉闸。
演练要覆盖三件事:
- 拉闸。 值班人员能否在 5 分钟内从 L0 拉到 L2。
- 验证。 拉闸后玩家看到什么,功能是否按预期降级。
- 恢复。 逐级恢复到 L0,调用量是否平滑。
演练频率按产品定。核心玩法依赖多 Agent 的产品,每季度至少一次;边缘功能可以每半年一次。演练要选在低峰期,但不能只用测试环境,测试环境与线上的流量结构差异太大。
演练记录要写清时间、档位、耗时与发现的问题。没有问题本身就是问题,说明演练太浅。
演练之后要更新预案里过期的内容:入口、权限、联系人、阈值。预案过期比没有预案更危险,因为它会让人以为已经准备好了。
谁来拉闸
权限要写清楚,而不是「出事了找负责人」:
| 档位 | 谁可以拉 | 通知谁 |
|---|---|---|
| L1 | 值班工程师 | 值班群 |
| L2 | 值班工程师 + 产品值班 | 值班群 + 负责人 |
| L3 | 值班负责人 | 全量通知 + 事故群 |
L1 允许单人操作,因为它的影响小、可逆。L2 以上需要两个人确认,避免误操作。L3 影响整个功能,必须有明确负责人拍板。
权限也要有兜底:如果负责人联系不上,值班负责人可以代行 L3,事后补记录。没有兜底,事故会在等待审批时扩散。
小结
- 刹车是四级台阶:L0 正常、L1 限流、L2 脚本接管、L3 关功能。
- 四级台阶给团队中间地带,多数事故停在 L1 或 L2,玩家不会察觉。
- 三个独立信号:事件率 3 倍、关系漂移 40 点、举报率 0.5%。
- 一个信号只上 L1,两个上 L2,三个上 L3,防止单指标抖动触发全关。
- 升级即时且取历史最高档,信号减少也不自动回落。
- 降级要连续 30 分钟无信号,且每次只降一级,降完重新计时。
- 安静期取观测窗口的六倍,便于值班人员心算与判断趋势。
- 逐级恢复避免调用量尖峰,直接回 L0 可能触发新的限流。
- 恢复期要观察调用量、信号复现与玩家反馈,安静不等于根因解决。
- 演练比预案重要,拉闸、验证、恢复三件事都要练,且不能只在测试环境练。
阅读导航:上一节:8.2 涌现的收益与失控风险 · 下一节:9.1 从策划表格到可执行规格 。
常见错误与边界
- 把刹车做成二元开关。 团队在「什么都不做」与「全关」之间摇摆,通常拖到不得不全关。
- 单信号直接关功能。 版本更新后的正常波动会触发全关,最终没人敢开功能。
- 信号不独立。 三个指标来自同一管道,实际只有一个信号,档位被系统性高估。
- 信号恢复就自动降级。 异常只是暂时没触发,根因未解决,很快会再来一次。
- 一次从 L3 回到 L0。 模型调用瞬间打满,触发新的限流,形成升降抖动。
- 只写预案不演练。 出事时找不到入口、不清楚权限,预案等于没有。
第 8 章到这里结束。群体行为有了规则、观测与刹车之后,视角可以从运行期转向研发期:策划的表格怎么变成可执行规格,美术与 QA 怎么用 Agent 提效,这些是第 9 章的内容。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。