《AI Agent 游戏产品开发》6.1 生成内容的可说、可做与可展示

生成内容的风险不是一条审核规则能覆盖的:说错话、做错事、展示了不该展示的素材,三种失败代价完全不同。本节把可说、可做、可展示拆成三层判定,说明年龄分级只是上限检查,给出消消与方舟各自的审核抽检比例,并用可运行代码把三层顺序、动作白名单与素材白名单写成固定流程。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。审核比例与内容设定来自附录 B 双案例唯一事实表 。

给游戏加一个会说话的角色,第一反应通常是接一个内容审核接口:生成完,过一遍词表,不通过就重生成。这条链路能拦住脏话,拦不住三类更麻烦的问题——角色说了一句合规但毁设定的话、执行了一个文本没提但实际发生的动作、展示了一张没有授权的素材。

这三种问题对应三层边界:可说、可做、可展示。它们不是同一条规则的三个副本,而是三种不同的失败代价,也由三个不同的角色负责配置。把它们合并成一句「内容合规」,上线后一定会在第二层或第三层出事。

三层各管什么

层管什么失败代价谁配置
可说文本内容:台词、点评、活动文案投诉、下架、广告主撤单运营与内容
可做世界状态变更:发道具、改关系、开活动经济失衡、进度损坏、回滚成本策划与程序
可展示玩家可见素材:图片、音频、视频、头像版权、隐私、年龄分级美术与法务

三层里,可做最容易被漏掉。原因很直观:模型输出的是文本,工程自然只审文本;但 Agent 的文本往往带一个动作指令,比如「送你一份礼物」会触发发道具,「我记住你了」会写入关系状态。文本完全合规,动作却可能越权。

可展示的漏法更隐蔽。模型可以生成一段描述,前端按描述去素材库取图;如果素材库没有按内容分级做白名单,取出来的可能是未授权的真实玩家头像,或者不适合当前年龄段的图像。文本审过了,屏幕上出现的东西却没审。

为什么三层不能合并

合并成一条「内容合规」的流程,会遇到三个绕不过去的例子:

  1. 文本合规、动作越权。 NPC 说「这是一点心意」,动作是给自己发限定道具。词表全过,经济系统失衡。
  2. 动作合规、素材未授权。 活动按规则发放头像框,素材来自玩家上传。动作在白名单里,素材没有授权链。
  3. 文本与动作都合规、展示越级。 剧情文本适合 16 岁,配图却来自 18 岁素材库。单看每一层都没问题,组合起来违反分级。

这三类问题说明,三层不是同一判断的不同粒度,而是三个独立的授权问题:能不能说、能不能做、能不能看。每一层都要有自己的白名单,也都要有自己的负责人。

顺序是止损顺序,不是性能顺序

三层的检查顺序固定为:先说、再做、最后展示。这个顺序不是出于性能,而是出于止损:

  • 说错话的代价最低,撤回或重生成即可,玩家最多看到一次不合适的表达。
  • 做错事的代价中等,可能已经改了世界状态,需要回滚与补偿。
  • 展示错的代价最高,素材一旦上屏,截图就已经流出,撤回也只能止损。

所以任何一层拒绝,整条候选内容都不发。不能因为文本通过了就先把动作执行掉,再等素材检查——那是把最不可控的一层放在了最后。

这条顺序还有一个副作用:它让拒绝原因天然带着优先级。玩家看到的都是同一句「内容暂不可用」,但后台记录里的层号告诉团队该先修哪一层。层号越低,越接近内容本身;层号越高,越接近不可逆的展示。值班的人不用猜,看层号就知道该找内容、策划还是美术。

三层判定还要留下可复核的记录。每次拒绝至少记三样东西:拒绝发生在哪一层、命中了哪条规则、被拒绝内容的摘要。只记「审核不通过」,复盘时无法区分是词表误杀、动作越权还是素材未授权,也无法判断该改规则还是改链路。

记录本身也有边界。被拒绝的内容可能包含玩家隐私或未公开的剧情,不能原样落进普通日志;方舟的做法是记录哈希与命中规则,原文只在受控的审核后台保留一段时间。这样既能复盘,又不会把敏感内容散落到各处。

年龄分级只是上限检查

分级在代码里只做一件事:比较内容等级是否超过产品等级。词表、动作白名单、素材白名单全部由运营配置,不写死在代码里。

这样做的原因很实际:内容规则每月都在变,写死在代码里意味着每次调整都要发版;而发版窗口在游戏里是稀缺资源,不可能为一条词表排一次版本。代码只保留判定结构,规则作为配置下发。

分级本身也不能代替内容判断。「12 岁可用」只说明上限没超,不说明内容合适:一段完全符合分级的台词,仍然可能无聊、出戏或者与角色设定冲突。分级是必要条件,不是充分条件。

把三层写成可运行判定

下面的模型把三层判定、固定顺序、年龄上限检查与抽检比例写成可复算的函数。配置从策略对象传入,代码不持有具体词表。

// file: src/content/guard.ts
// tier: L1
// verify: node --test test/content/guard.test.ts

// 生成内容的三层边界:可说、可做、可展示。
// 三层不是同一条规则的三个副本,而是三种不同的失败代价。

export type ContentLayer = "sayable" | "doable" | "displayable";

export type AgeRating = "all" | "12" | "16" | "18";

export type GuardPolicy = {
  readonly ageRating: AgeRating;
  readonly bannedWords: readonly string[];
  readonly allowedActions: readonly string[];
  readonly allowedDisplays: readonly string[];
};

export type Candidate = {
  readonly text: string;
  readonly action?: string;
  readonly display?: string;
};

export type GuardVerdict = {
  readonly allowed: boolean;
  readonly layer: ContentLayer;
  readonly reason: string;
};

const RATING_RANK: Record<AgeRating, number> = { all: 0, "12": 1, "16": 2, "18": 3 };

// 年龄分级只做“上限检查”,具体内容规则由运营配置,不写死在代码里。
export function ratingAllows(policy: AgeRating, content: AgeRating): boolean {
  return RATING_RANK[policy] >= RATING_RANK[content];
}

export function checkSayable(text: string, policy: GuardPolicy): GuardVerdict {
  const hit = policy.bannedWords.find((word) => word.length > 0 && text.includes(word));
  if (hit !== undefined) {
    return { allowed: false, layer: "sayable", reason: `banned word: ${hit}` };
  }
  return { allowed: true, layer: "sayable", reason: "no banned word" };
}

// 可做层最危险:说错话可以撤回,做错事可能改世界状态。
export function checkDoable(action: string | undefined, policy: GuardPolicy): GuardVerdict {
  if (action === undefined) {
    return { allowed: true, layer: "doable", reason: "no action requested" };
  }
  if (!policy.allowedActions.includes(action)) {
    return { allowed: false, layer: "doable", reason: `action not allowed: ${action}` };
  }
  return { allowed: true, layer: "doable", reason: "action allowed" };
}

// 可展示层管的是玩家能看到的资产,不是模型能想到的内容。
export function checkDisplayable(display: string | undefined, policy: GuardPolicy): GuardVerdict {
  if (display === undefined) {
    return { allowed: true, layer: "displayable", reason: "no asset requested" };
  }
  if (!policy.allowedDisplays.includes(display)) {
    return { allowed: false, layer: "displayable", reason: `asset not allowed: ${display}` };
  }
  return { allowed: true, layer: "displayable", reason: "asset allowed" };
}

// 顺序固定:先说、再做、最后展示。任何一层拒绝,整条候选内容都不发。
export function guard(candidate: Candidate, policy: GuardPolicy): GuardVerdict {
  const say = checkSayable(candidate.text, policy);
  if (!say.allowed) return say;
  const act = checkDoable(candidate.action, policy);
  if (!act.allowed) return act;
  const show = checkDisplayable(candidate.display, policy);
  if (!show.allowed) return show;
  return { allowed: true, layer: "displayable", reason: "all layers passed" };
}

// 审核抽检:消消 2%,方舟剧情 100%。抽样只决定人看多少,不决定机器放多少。
export function sampleRate(product: "match3" | "ark"): number {
  return product === "match3" ? 0.02 : 1;
}

guard 的顺序写在代码里,而不是交给调用方决定。调用方如果自己先执行动作再调用 guard,顺序就失效了;所以动作执行必须放在 guard 返回之后,这条约束要写进接入规范,不能只靠注释。

checkDoable 与 checkDisplayable 把「没有动作」「没有素材」视为通过,而不是拒绝。这是刻意设计:大部分文本类内容本来就没有副作用,如果缺省即拒绝,会把正常内容挡在外面。真正的风险是「有动作但不在白名单」,这种情况必须明确拒绝。

sampleRate 把抽检比例按产品分开。抽检只决定人看多少,不决定机器放多少:机器过滤是 100% 执行的,人审只是对机器判断的复核与补充。

消消与方舟的边界不同

两款产品的生成物不同,审核重点也不同:

产品主要生成物机器过滤人审抽检最怕什么
消消赛后点评、活动文案、广告素材全部2%广告主撤单、家长投诉
方舟剧情文本、NPC 对话、关系状态全部剧情 100%世界观崩塌、付费玩家不满

消消的抽检比例低,不是因为它风险低,而是因为它的内容量大、单条影响小,2% 的抽检足以发现系统性问题。方舟的剧情走 100% 人审,因为剧情一旦与赛季设定冲突,修复成本远高于审核成本。

审核节奏也不同。消消的点评与活动文案按日批量产生,人审排班是常态;方舟的剧情随赛季集中产出,人审是一次性峰值,需要提前排期。新内容上线首周通常还要临时提高抽检比例,等误报与漏报的数据稳定后再回落。

两款产品都遵循同一条底线:机器过滤 100% 执行,人审比例是产品决定。把抽检比例当成整体审核强度,是常见的误读——抽检 2% 不代表只审核 2%,它只代表人再看了多少。

内容审核也不是越严越好。过严会让角色变得不敢说话,点评全是安全但无信息量的句子,玩家很快会跳过。审核的目标是让内容可用,不是让内容趋近于零。这个平衡由产品决定,代码只负责执行配置。

三层各自放在链路的哪个位置

三层不是同一个过滤器的三个开关,它们的检查点必须分开:

层检查位置为什么放在这里
可说生成完成、上屏之前需要完整文本才能判断,太早没有内容可查
可做动作执行之前执行后世界状态已改,回滚成本远高于拦截
可展示素材绑定之前绑定后就会进入渲染,截图可能已经产生

这三条位置决定了实现方式。可说层可以做成一个后置过滤器,输入文本、输出通过或拒绝;可做层必须嵌在工具调用的入口,动作一旦发出就没有第二次机会;可展示层要嵌在资源解析阶段,在素材 id 变成实际文件之前完成校验。

位置一旦放错,规则再全也没有用。把可做层做成后置检查,等于先改世界再问能不能改;把可展示层做成前端过滤,服务端仍然会把未授权素材发给客户端,绕过只是时间问题。

审核成本要算成人时

抽检比例常被当成一个可以随手调高的质量旋钮,算一次人时就知道它其实是人力预算:

产品日均生成抽检日均人审条数单条耗时日均工时
消消24 万次调用2%4,800 条0.6 分钟48 小时
方舟600 条剧情节点100%600 条3 分钟30 小时

消消把抽检从 2% 提到 5%,日均工时从 48 小时变成 120 小时,等于要多养两倍多的人。方舟的 100% 之所以可行,是因为它只针对剧情节点,而不是全部 135 万次调用;如果把它套到全部调用上,人审需求会变成天文数字。

这张表还解释了为什么机器过滤必须 100%:人审的产能是有限的,只能用来复核高风险内容,不能用来兜底机器该做的事。抽检比例的设计,本质是在「有限人力」与「内容风险」之间分配注意力。

复盘时先定位层,再定位人

内容事故的复盘有一个常见错误:直接问「模型为什么这么说」。这个问题跳过了最重要的两步——哪一层漏了、那一层的规则在不在。

更稳的顺序是四步:

  1. 先定位层。 是说了不该说的、做了不该做的,还是展示了不该展示的。三层混在一起讨论,最后会得出「加强审核」这种无法执行的结论。
  2. 再查规则。 那一层的白名单是否存在、是否覆盖了这次的内容;没有规则是配置缺失,有规则没覆盖是规则设计问题。
  3. 再查链路。 规则存在但没生效,通常是检查点放错了位置,或者配置没有下发到这一条路径。
  4. 最后才问模型。 前面三步都排除之后,才轮到模型行为本身。

这个顺序的意义在于:三层的责任人与修复方式完全不同。可说层归内容运营,可做层归策划与程序,可展示层归美术与法务;跳过定位,就会把一次配置缺失误判成模型能力问题,然后花几周去做提示词优化,而真正该改的是一条白名单。

审核之后还有一个问题:玩家看到越界内容时怎么举报、内容怎么回滚、责任怎么追溯。这属于披露与追责的设计,站内的解释层级 讨论过通用产品怎么做,本节只把游戏侧的边界定在「三层各自可授权」;引擎级的护栏实现可参考 LLM 护栏 ,本书不重复其技术细节。

小结

  • 生成内容有三层边界:可说、可做、可展示,失败代价各不相同。
  • 可做层最容易被漏掉,因为模型输出是文本,而动作藏在文本背后。
  • 可展示层的风险在素材授权与年龄分级,不在文本本身。
  • 三层检查顺序是止损顺序:先说、再做、最后展示。
  • 年龄分级只做上限检查,词表与白名单由运营配置,不写死在代码里。
  • 机器过滤 100% 执行,人审抽检比例是产品决定。
  • 消消的 2% 与方舟的 100% 来自内容量与单条影响,不是审核强度的高低。
  • 审核的目标是让内容可用,不是让内容趋近于零。
  • 拒绝记录要带层号、命中规则与内容摘要,否则复盘时无法判断该改规则还是改链路。
  • 抽检比例要按人时算:消消 2% 是 48 小时,方舟剧情 100% 是 30 小时。
  • 三层的检查点不同,不能做成一个统一的后置过滤器。

阅读导航:上一节:5.3 记忆的隐私与数据最小化 · 下一节:6.2 生成前约束与生成后过滤 。

常见错误与边界

  1. 只审文本。 模型输出常带动作指令,文本合规不代表动作合规;可做层必须有独立白名单。
  2. 把素材当成文本的附属。 素材授权与年龄分级是独立问题,文本通过不能替代素材检查。
  3. 先执行动作再检查。 顺序一旦反过来,止损就失效;动作执行必须放在三层判定之后。
  4. 把规则写进代码。 内容规则每月变化,写死会导致每次调整都要发版;代码只保留结构,规则走配置。
  5. 把分级当成内容质量判断。 分级只判断上限,不判断是否合适、是否出戏、是否符合角色设定。
  6. 把抽检比例当成审核强度。 机器过滤始终是 100%,抽检只决定人再看多少。

边界定清楚之后,下一个问题是这些内容怎么进入玩家的视野:生成前约束什么、生成后过滤什么、出了问题怎么回滚。这需要一条完整的审核链路。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图