《AI Agent 游戏产品开发》2.3 破坏体验的五类错误

「AI 出错了」这句话不能排期。本节把破坏体验的错误拆成事实错误、动作越界、角色崩坏、抢走决定与节奏破坏五类,说明每一类由谁修、在哪一层检测、什么情况下可以吞掉,为什么周报里要画五条曲线而不是一条「AI 异常率」,并给出可吞与必回滚的判据。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的调用量设定来自附录 B 双案例唯一事实表 。

线上收到一条反馈:「AI 很怪」。这四个字无法排期:是模型说错了血量,还是它用了玩家没有的技能,还是它替玩家做了决定?三种问题的负责人不同、修复位置不同、验收方式也不同。把它们统称为「AI 异常」,结果就是每个团队都觉得不是自己的问题。

分类的目的不是做一份漂亮的错误清单,而是让每一类错误都有明确的检测点与负责人。潮汐方舟日均调用 135 万次,即使错误率只有千分之一,也是每天 1,350 次;没有分类,这 1,350 次会被平均成一个没有人认领的数字。

五类错误,五种修法

按成因分类,破坏体验的错误可以收敛成五类:

类型典型表现常见来源主要负责方
事实错误说错血量、排名、剧情事实状态装配、记忆检索服务端与数据
动作越界使用不存在或被禁止的动作动作表、输出解析玩法工程
角色崩坏语气、立场、知识范围出戏提示词、记忆、角色设定叙事与内容
抢走决定替玩家做了不该做的选择权限配置、意图识别产品
节奏破坏停顿、刷屏、重复、卡住回合延迟、调度、输出长度工程与设计

这张表的价值在于「常见来源」这一列。事实错误大概率不是模型的问题,而是装配时取错了数;动作越界大概率不是提示词的问题,而是动作表与解析器不同步。把五类混在一起看,团队会反复去调提示词,而真正的问题在别处。

五类也不是互斥的。一次越界动作可能同时说错了事实,还可能因为重试而拖慢了回合。分类时要记录主因,否则统计会重复计数,周报上的曲线永远对不上。

记录主因时同时记下「第一层检测点」:它是复盘的入口,也是周报下钻的维度。只记类型不记检测点,三个月后同样的错误会以同样的方式再穿一次。

为什么按成因分类,而不是按严重度

按严重度分类看起来更直接:致命、严重、一般。但它无法指导修复。两个都被评为「严重」的错误,一个是模型读了过期存档,一个是角色说话像客服,修复方式完全不同,负责人也不同。

按成因分类还有一个好处:它天然对应检测点。事实错误可以在状态装配时校验,动作越界可以在解析时拒绝,角色崩坏只能靠抽样评估,抢走决定要在权限层拦住,节奏破坏要看延迟与调度指标。每一类都有地方可查,而不是只能等玩家投诉。

严重度仍然需要,但它是分类之后的第二维,不是第一维。先问「哪一类」,再问「有多严重」,顺序反了就会得到一张无法分工的表。

同一个错误在不同形态里的分量不同

同样是动作越界,发生在对手身上是灾难,发生在导演身上几乎没有意义——导演本来就不直接操作角色。所以严重度要按形态加权:

错误NPC陪伴对手导演
事实错误mediummediummediummedium
动作越界highhighblockerlow
角色崩坏highmediumlowmedium
抢走决定highblockerlowmedium
节奏破坏lowlowmediumhigh

三个 blocker 值得单独解释:

  • 对手越界。 玩家会立刻质疑公平性,而且质疑会扩散到整个 PvP 生态;一次越界造成的信任损失,远大于一次事实错误。
  • 陪伴抢决定。 陪伴型 Agent 的价值建立在「它不替我做主」上;一旦越界,玩家会关掉整个功能,而不是只抱怨一次。
  • NPC 崩坏与导演拖节奏。 前者毁掉世界可信度,后者直接破坏玩法节奏,两者都会让玩家离开当前内容。

严重度加权之后,验收标准也随之不同:blocker 的容忍度是零,不是「低于某个比例」。

检测点只有三个位置

五类错误分散在三个位置被抓住:

  1. 生成前。 规格校验拦截空意图、越界动作、编造事实与步数超限——这是上一节的内容。
  2. 生成后。 解析与规则审计拦截格式错误、禁止动作、长度与语气异常;这一层不依赖模型自觉。
  3. 上线后。 举报、退出、会话时长异常与客服工单,是唯一能抓到「角色崩坏」这类主观错误的地方。

三个位置的分工要写清楚,否则会出现「生成前已经校验过,生成后就没人管」的空档。生成前的校验保证输入合法,不保证输出合法;模型仍然可能输出一个格式正确但内容越界的动作。

第三个位置最容易被低估。角色崩坏没有客观判据,只能靠抽样与玩家反馈;它的检测成本最高,所以更需要单独的分类与负责人,而不是混在「AI 异常」里等它自己消失。

可吞与必回滚

不是所有错误都需要中断玩家。判断标准有两条:玩家有没有看见,以及能不能原地修复。

两个条件都满足时可以吞掉:解析层拒绝了一次越界动作并重试,玩家只看到一次稍慢但正常的响应。吞掉不等于忽略——它必须计数,否则重试率上升会悄悄的,直到某天预算被吃光。

计数时要把它记在「重试」而不是「成功」里。记进成功,这条错误会从所有报表里消失,只剩延迟曲线上一段没有解释的抬升。

以下两类必须回滚:

  • 越界动作已经执行。 对手用了玩家没有的技能,哪怕只发生一次,也要回滚该动作并记录;不回滚等于承认规则可以被突破。
  • 陪伴抢走了决定。 玩家没有确认,Agent 却替他选了阵容或花了资源;这类操作必须撤销,并向玩家说明。

回滚的成本很高,所以产品要尽量避免走到这一步:把不可逆动作的权限压到 L1,把影响他人的动作压到 L2,回滚的需求自然减少。回滚是最后一道防线,不是常规操作。

回滚本身有三个粒度,代价依次上升:

粒度适用代价
动作级单次越界动作、未被响应的决定低,双方状态可对齐
对局级越界影响了胜负,或错误在多个回合累积中,需要通知对手并重算结算
账号级错误导致资源或排名被永久改变高,涉及补偿与公告

选择粒度的原则是「影响范围决定回滚范围」,不是「越小越好」。一次已经改变胜负的越界,只回滚那个动作并不能恢复公平,反而会让回放记录与最终结果对不上。

把分类写成可运行的定级

下面的模块把五类错误、形态加权、可吞与必回滚写成函数。它不负责检测,只负责给定一次失败之后,回答「多严重、谁来处理、要不要撤回」。

// file: src/play/failure-taxonomy.ts
// tier: L1
// verify: node --test test/play/failure-taxonomy.test.ts

// 破坏体验的错误不是一种,是五类。混成「AI 出错」就无法分工修复。

export type FailureKind =
  | "wrong-fact"
  | "action-out-of-envelope"
  | "character-break"
  | "decision-theft"
  | "pacing-break";

export type Form = "npc" | "companion" | "opponent" | "director";

export type Severity = "low" | "medium" | "high" | "blocker";

export type Failure = {
  readonly kind: FailureKind;
  readonly playerVisible: boolean;
  readonly recoverable: boolean;
  readonly details: string;
};

// 严重度的判据是「玩家会不会因此重开、投诉或不再相信这个世界」。
const BASE_SEVERITY: Record<FailureKind, Severity> = {
  "wrong-fact": "medium",
  "action-out-of-envelope": "high",
  "character-break": "medium",
  "decision-theft": "high",
  "pacing-break": "low",
};

const FORM_WEIGHT: Record<Form, Partial<Record<FailureKind, Severity>>> = {
  npc: { "character-break": "high" },
  companion: { "decision-theft": "blocker" },
  opponent: { "action-out-of-envelope": "blocker" },
  director: { "pacing-break": "high" },
};

const RANK: Record<Severity, number> = { low: 0, medium: 1, high: 2, blocker: 3 };

function worse(a: Severity, b: Severity): Severity {
  return RANK[a] >= RANK[b] ? a : b;
}

export function severityOf(form: Form, kind: FailureKind): Severity {
  const base = BASE_SEVERITY[kind];
  const override = FORM_WEIGHT[form][kind];
  return override === undefined ? base : worse(base, override);
}

export function gradeFailure(form: Form, failure: Failure): Severity {
  const severity = severityOf(form, failure.kind);
  return failure.recoverable ? severity : worse(severity, "high");
}

// 只有「玩家没看见且能原地修复」的错误可以记录后放过。
export function canSwallow(failure: Failure): boolean {
  return !failure.playerVisible && failure.recoverable;
}

// 对手越界与陪伴抢决定必须回滚,其余按严重度走告警。
export function mustRollback(form: Form, failure: Failure): boolean {
  if (failure.kind === "action-out-of-envelope") return true;
  if (failure.kind === "decision-theft" && form === "companion") return true;
  return gradeFailure(form, failure) === "blocker";
}

severityOf 先取基础级别,再按形态取更严重的一档。取更严重而不是覆盖,是为了防止某个形态的配置漏掉一类错误时,严重度反而被降低;漏配的结果应当是保守,而不是乐观。

gradeFailure 把「不可恢复」升到至少 high。可恢复性比可见性更重要:玩家看见一次错误但能立刻修正,比事后才发现一个无法挽回的数值错误要好处理得多。

mustRollback 不依赖严重度,而是按类型直接判定。两类 blocker 必须回滚,哪怕本次错误恰好没有被玩家看见——回滚是对规则的维护,不是对这一次体验的补偿。

(本段代码与 src/play/failure-taxonomy.ts 逐字节一致,测试对应 test/play/failure-taxonomy.test.ts。)

错误分类怎么进周报

周报里只放一条「AI 异常率」,等于把五类问题平均成一条没有行动价值的曲线。正确的做法是五条曲线加一个零容忍计数:

指标口径交给谁看
事实错误率校验失败数 / 调用数服务端与数据
动作越界率解析拒绝数 / 调用数玩法工程
角色崩坏率抽样评分低于阈值数 / 抽样数叙事与内容
抢决定次数权限告警数产品
节奏破坏率超时与重复输出占比工程与设计
blocker 计数对手越界与陪伴抢决定的次数全员

前五条允许有波动,最后一条的目标是零。把它和其余五条放在同一张表里,是为了让团队每周都看见「零」或「不是零」,而不是等到事故复盘时才想起有这一类。

指标还要能下钻到版本与形态。同一类错误在换模型后上升、在某个形态上集中,都是重要信号;只看总量会把这些信号平均掉。

与内容审核的分工

内容层面的越界——涉政、涉黄、涉暴、未成年人不宜——不属于本节。它由第 6 章的三层边界与审核流程处理,判据与本节不同:内容审核关心的是「这句话能不能出现」,本节关心的是「这个决定该不该由 Agent 做」。

两类错误的处理顺序也不同。内容越界优先阻断与回滚,体验错误优先分类与分工;把两者混在一个告警通道里,值班的人会先处理更吓人的那条,而不是更该处理的那条。

举报入口应当让玩家选择「内容不合适 / 决定被代做 / 角色不像角色」三类,客服再回填主因。让玩家直接选五类不现实,但这三类是玩家能分辨的,也是分流到不同团队的最小信息。

一次复盘要回答四个问题

每一次 blocker 级错误都应当留下复盘记录,记录只需回答四个问题:

  1. 这一次属于五类里的哪一类,主因是什么,有没有第二类叠加。
  2. 三个检测点里,哪一层本应拦住它而没有拦住,为什么。
  3. 回滚用了哪个粒度,代价是多少,玩家看到了什么解释。
  4. 同类错误下周还会不会发生;如果会,改的是规格、权限还是检测。

四个问题里最重要的是第二个。错误发生本身不罕见,罕见的是它穿过了三层检测还没被拦住;只回答「模型不够好」,下一次会在同一个位置再穿一次。

复盘记录还要进错误库,按类型归档。三个月后再看,错误库应当能回答「哪一类在减少、哪一类在原地踏步」,而不是只剩一堆孤立的事故报告。

小结

  • 破坏体验的错误分五类:事实错误、动作越界、角色崩坏、抢走决定、节奏破坏。
  • 先按成因分类,再按严重度定级;顺序反了就无法分工。
  • 同一类错误在不同形态里分量不同,对手越界与陪伴抢决定是 blocker。
  • 检测点只有三个:生成前的规格校验、生成后的规则审计、上线后的反馈。
  • 玩家没看见且能原地修复的错误可以吞,但必须计数。
  • 已执行的越界动作与陪伴抢走的决定必须回滚;回滚是最后防线,不是常规操作。
  • 周报要画五条曲线加一个 blocker 计数,而不是一条「AI 异常率」。
  • 内容越界归第 6 章,本节只管体验层面的错误。

阅读导航:上一节:2.2 Agent 能替玩家做多少决定 · 下一节:3.1 一次思考的延迟预算 。

常见错误与边界

  1. 把所有问题叫「AI 异常」。 没有分类就没有负责人,团队会反复调提示词而问题依旧。
  2. 按严重度做第一维分类。 同为「严重」的两个错误可能由完全不同的团队修复。
  3. 只统计不分类的失败。 重试成功但被吞掉的错误不上报,重试率会悄悄吃掉预算。
  4. 用比例容忍 blocker。 对手越界与陪伴抢决定的容忍度是零,不是「低于千分之一」。
  5. 把内容越界混进体验错误。 两类判据与处理顺序不同,混在一起会拖慢阻断。
  6. 回滚当成常规手段。 权限前置才是主要防线,回滚只处理已经发生的越界。

分类解决的是「错在哪」。接下来的问题是:为什么这些错误在实时场景里代价特别高——这要从延迟预算讲起。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图