以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的调用量设定来自附录 B 双案例唯一事实表 。
线上收到一条反馈:「AI 很怪」。这四个字无法排期:是模型说错了血量,还是它用了玩家没有的技能,还是它替玩家做了决定?三种问题的负责人不同、修复位置不同、验收方式也不同。把它们统称为「AI 异常」,结果就是每个团队都觉得不是自己的问题。
分类的目的不是做一份漂亮的错误清单,而是让每一类错误都有明确的检测点与负责人。潮汐方舟日均调用 135 万次,即使错误率只有千分之一,也是每天 1,350 次;没有分类,这 1,350 次会被平均成一个没有人认领的数字。
五类错误,五种修法
按成因分类,破坏体验的错误可以收敛成五类:
| 类型 | 典型表现 | 常见来源 | 主要负责方 |
|---|---|---|---|
| 事实错误 | 说错血量、排名、剧情事实 | 状态装配、记忆检索 | 服务端与数据 |
| 动作越界 | 使用不存在或被禁止的动作 | 动作表、输出解析 | 玩法工程 |
| 角色崩坏 | 语气、立场、知识范围出戏 | 提示词、记忆、角色设定 | 叙事与内容 |
| 抢走决定 | 替玩家做了不该做的选择 | 权限配置、意图识别 | 产品 |
| 节奏破坏 | 停顿、刷屏、重复、卡住回合 | 延迟、调度、输出长度 | 工程与设计 |
这张表的价值在于「常见来源」这一列。事实错误大概率不是模型的问题,而是装配时取错了数;动作越界大概率不是提示词的问题,而是动作表与解析器不同步。把五类混在一起看,团队会反复去调提示词,而真正的问题在别处。
五类也不是互斥的。一次越界动作可能同时说错了事实,还可能因为重试而拖慢了回合。分类时要记录主因,否则统计会重复计数,周报上的曲线永远对不上。
记录主因时同时记下「第一层检测点」:它是复盘的入口,也是周报下钻的维度。只记类型不记检测点,三个月后同样的错误会以同样的方式再穿一次。
为什么按成因分类,而不是按严重度
按严重度分类看起来更直接:致命、严重、一般。但它无法指导修复。两个都被评为「严重」的错误,一个是模型读了过期存档,一个是角色说话像客服,修复方式完全不同,负责人也不同。
按成因分类还有一个好处:它天然对应检测点。事实错误可以在状态装配时校验,动作越界可以在解析时拒绝,角色崩坏只能靠抽样评估,抢走决定要在权限层拦住,节奏破坏要看延迟与调度指标。每一类都有地方可查,而不是只能等玩家投诉。
严重度仍然需要,但它是分类之后的第二维,不是第一维。先问「哪一类」,再问「有多严重」,顺序反了就会得到一张无法分工的表。
同一个错误在不同形态里的分量不同
同样是动作越界,发生在对手身上是灾难,发生在导演身上几乎没有意义——导演本来就不直接操作角色。所以严重度要按形态加权:
| 错误 | NPC | 陪伴 | 对手 | 导演 |
|---|---|---|---|---|
| 事实错误 | medium | medium | medium | medium |
| 动作越界 | high | high | blocker | low |
| 角色崩坏 | high | medium | low | medium |
| 抢走决定 | high | blocker | low | medium |
| 节奏破坏 | low | low | medium | high |
三个 blocker 值得单独解释:
- 对手越界。 玩家会立刻质疑公平性,而且质疑会扩散到整个 PvP 生态;一次越界造成的信任损失,远大于一次事实错误。
- 陪伴抢决定。 陪伴型 Agent 的价值建立在「它不替我做主」上;一旦越界,玩家会关掉整个功能,而不是只抱怨一次。
- NPC 崩坏与导演拖节奏。 前者毁掉世界可信度,后者直接破坏玩法节奏,两者都会让玩家离开当前内容。
严重度加权之后,验收标准也随之不同:blocker 的容忍度是零,不是「低于某个比例」。
检测点只有三个位置
五类错误分散在三个位置被抓住:
- 生成前。 规格校验拦截空意图、越界动作、编造事实与步数超限——这是上一节的内容。
- 生成后。 解析与规则审计拦截格式错误、禁止动作、长度与语气异常;这一层不依赖模型自觉。
- 上线后。 举报、退出、会话时长异常与客服工单,是唯一能抓到「角色崩坏」这类主观错误的地方。
三个位置的分工要写清楚,否则会出现「生成前已经校验过,生成后就没人管」的空档。生成前的校验保证输入合法,不保证输出合法;模型仍然可能输出一个格式正确但内容越界的动作。
第三个位置最容易被低估。角色崩坏没有客观判据,只能靠抽样与玩家反馈;它的检测成本最高,所以更需要单独的分类与负责人,而不是混在「AI 异常」里等它自己消失。
可吞与必回滚
不是所有错误都需要中断玩家。判断标准有两条:玩家有没有看见,以及能不能原地修复。
两个条件都满足时可以吞掉:解析层拒绝了一次越界动作并重试,玩家只看到一次稍慢但正常的响应。吞掉不等于忽略——它必须计数,否则重试率上升会悄悄的,直到某天预算被吃光。
计数时要把它记在「重试」而不是「成功」里。记进成功,这条错误会从所有报表里消失,只剩延迟曲线上一段没有解释的抬升。
以下两类必须回滚:
- 越界动作已经执行。 对手用了玩家没有的技能,哪怕只发生一次,也要回滚该动作并记录;不回滚等于承认规则可以被突破。
- 陪伴抢走了决定。 玩家没有确认,Agent 却替他选了阵容或花了资源;这类操作必须撤销,并向玩家说明。
回滚的成本很高,所以产品要尽量避免走到这一步:把不可逆动作的权限压到 L1,把影响他人的动作压到 L2,回滚的需求自然减少。回滚是最后一道防线,不是常规操作。
回滚本身有三个粒度,代价依次上升:
| 粒度 | 适用 | 代价 |
|---|---|---|
| 动作级 | 单次越界动作、未被响应的决定 | 低,双方状态可对齐 |
| 对局级 | 越界影响了胜负,或错误在多个回合累积 | 中,需要通知对手并重算结算 |
| 账号级 | 错误导致资源或排名被永久改变 | 高,涉及补偿与公告 |
选择粒度的原则是「影响范围决定回滚范围」,不是「越小越好」。一次已经改变胜负的越界,只回滚那个动作并不能恢复公平,反而会让回放记录与最终结果对不上。
把分类写成可运行的定级
下面的模块把五类错误、形态加权、可吞与必回滚写成函数。它不负责检测,只负责给定一次失败之后,回答「多严重、谁来处理、要不要撤回」。
// file: src/play/failure-taxonomy.ts
// tier: L1
// verify: node --test test/play/failure-taxonomy.test.ts
// 破坏体验的错误不是一种,是五类。混成「AI 出错」就无法分工修复。
export type FailureKind =
| "wrong-fact"
| "action-out-of-envelope"
| "character-break"
| "decision-theft"
| "pacing-break";
export type Form = "npc" | "companion" | "opponent" | "director";
export type Severity = "low" | "medium" | "high" | "blocker";
export type Failure = {
readonly kind: FailureKind;
readonly playerVisible: boolean;
readonly recoverable: boolean;
readonly details: string;
};
// 严重度的判据是「玩家会不会因此重开、投诉或不再相信这个世界」。
const BASE_SEVERITY: Record<FailureKind, Severity> = {
"wrong-fact": "medium",
"action-out-of-envelope": "high",
"character-break": "medium",
"decision-theft": "high",
"pacing-break": "low",
};
const FORM_WEIGHT: Record<Form, Partial<Record<FailureKind, Severity>>> = {
npc: { "character-break": "high" },
companion: { "decision-theft": "blocker" },
opponent: { "action-out-of-envelope": "blocker" },
director: { "pacing-break": "high" },
};
const RANK: Record<Severity, number> = { low: 0, medium: 1, high: 2, blocker: 3 };
function worse(a: Severity, b: Severity): Severity {
return RANK[a] >= RANK[b] ? a : b;
}
export function severityOf(form: Form, kind: FailureKind): Severity {
const base = BASE_SEVERITY[kind];
const override = FORM_WEIGHT[form][kind];
return override === undefined ? base : worse(base, override);
}
export function gradeFailure(form: Form, failure: Failure): Severity {
const severity = severityOf(form, failure.kind);
return failure.recoverable ? severity : worse(severity, "high");
}
// 只有「玩家没看见且能原地修复」的错误可以记录后放过。
export function canSwallow(failure: Failure): boolean {
return !failure.playerVisible && failure.recoverable;
}
// 对手越界与陪伴抢决定必须回滚,其余按严重度走告警。
export function mustRollback(form: Form, failure: Failure): boolean {
if (failure.kind === "action-out-of-envelope") return true;
if (failure.kind === "decision-theft" && form === "companion") return true;
return gradeFailure(form, failure) === "blocker";
}
severityOf 先取基础级别,再按形态取更严重的一档。取更严重而不是覆盖,是为了防止某个形态的配置漏掉一类错误时,严重度反而被降低;漏配的结果应当是保守,而不是乐观。
gradeFailure 把「不可恢复」升到至少 high。可恢复性比可见性更重要:玩家看见一次错误但能立刻修正,比事后才发现一个无法挽回的数值错误要好处理得多。
mustRollback 不依赖严重度,而是按类型直接判定。两类 blocker 必须回滚,哪怕本次错误恰好没有被玩家看见——回滚是对规则的维护,不是对这一次体验的补偿。
(本段代码与 src/play/failure-taxonomy.ts 逐字节一致,测试对应 test/play/failure-taxonomy.test.ts。)
错误分类怎么进周报
周报里只放一条「AI 异常率」,等于把五类问题平均成一条没有行动价值的曲线。正确的做法是五条曲线加一个零容忍计数:
| 指标 | 口径 | 交给谁看 |
|---|---|---|
| 事实错误率 | 校验失败数 / 调用数 | 服务端与数据 |
| 动作越界率 | 解析拒绝数 / 调用数 | 玩法工程 |
| 角色崩坏率 | 抽样评分低于阈值数 / 抽样数 | 叙事与内容 |
| 抢决定次数 | 权限告警数 | 产品 |
| 节奏破坏率 | 超时与重复输出占比 | 工程与设计 |
| blocker 计数 | 对手越界与陪伴抢决定的次数 | 全员 |
前五条允许有波动,最后一条的目标是零。把它和其余五条放在同一张表里,是为了让团队每周都看见「零」或「不是零」,而不是等到事故复盘时才想起有这一类。
指标还要能下钻到版本与形态。同一类错误在换模型后上升、在某个形态上集中,都是重要信号;只看总量会把这些信号平均掉。
与内容审核的分工
内容层面的越界——涉政、涉黄、涉暴、未成年人不宜——不属于本节。它由第 6 章的三层边界与审核流程处理,判据与本节不同:内容审核关心的是「这句话能不能出现」,本节关心的是「这个决定该不该由 Agent 做」。
两类错误的处理顺序也不同。内容越界优先阻断与回滚,体验错误优先分类与分工;把两者混在一个告警通道里,值班的人会先处理更吓人的那条,而不是更该处理的那条。
举报入口应当让玩家选择「内容不合适 / 决定被代做 / 角色不像角色」三类,客服再回填主因。让玩家直接选五类不现实,但这三类是玩家能分辨的,也是分流到不同团队的最小信息。
一次复盘要回答四个问题
每一次 blocker 级错误都应当留下复盘记录,记录只需回答四个问题:
- 这一次属于五类里的哪一类,主因是什么,有没有第二类叠加。
- 三个检测点里,哪一层本应拦住它而没有拦住,为什么。
- 回滚用了哪个粒度,代价是多少,玩家看到了什么解释。
- 同类错误下周还会不会发生;如果会,改的是规格、权限还是检测。
四个问题里最重要的是第二个。错误发生本身不罕见,罕见的是它穿过了三层检测还没被拦住;只回答「模型不够好」,下一次会在同一个位置再穿一次。
复盘记录还要进错误库,按类型归档。三个月后再看,错误库应当能回答「哪一类在减少、哪一类在原地踏步」,而不是只剩一堆孤立的事故报告。
小结
- 破坏体验的错误分五类:事实错误、动作越界、角色崩坏、抢走决定、节奏破坏。
- 先按成因分类,再按严重度定级;顺序反了就无法分工。
- 同一类错误在不同形态里分量不同,对手越界与陪伴抢决定是 blocker。
- 检测点只有三个:生成前的规格校验、生成后的规则审计、上线后的反馈。
- 玩家没看见且能原地修复的错误可以吞,但必须计数。
- 已执行的越界动作与陪伴抢走的决定必须回滚;回滚是最后防线,不是常规操作。
- 周报要画五条曲线加一个 blocker 计数,而不是一条「AI 异常率」。
- 内容越界归第 6 章,本节只管体验层面的错误。
阅读导航:上一节:2.2 Agent 能替玩家做多少决定 · 下一节:3.1 一次思考的延迟预算 。
常见错误与边界
- 把所有问题叫「AI 异常」。 没有分类就没有负责人,团队会反复调提示词而问题依旧。
- 按严重度做第一维分类。 同为「严重」的两个错误可能由完全不同的团队修复。
- 只统计不分类的失败。 重试成功但被吞掉的错误不上报,重试率会悄悄吃掉预算。
- 用比例容忍 blocker。 对手越界与陪伴抢决定的容忍度是零,不是「低于千分之一」。
- 把内容越界混进体验错误。 两类判据与处理顺序不同,混在一起会拖慢阻断。
- 回滚当成常规手段。 权限前置才是主要防线,回滚只处理已经发生的越界。
分类解决的是「错在哪」。接下来的问题是:为什么这些错误在实时场景里代价特别高——这要从延迟预算讲起。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。