《AI Agent 游戏产品开发》4.1 种子、回放与可审计

模型输出不可复现,但决策可以审计。本节说明种子、输入摘要与三个版本号为什么缺一不可,一场对局要记多少条日志、保留多久,回放验证的是分歧点而不是「像不像」,以及申诉、封号、版本对比与事故四类场景各自需要哪种回放,并给出记录字段、访问约束与采样底线。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的日志规模与保留期设定来自附录 B 双案例唯一事实表 。

玩家在论坛发帖:「对面的 AI 在第四回合就知道我要出什么,肯定开挂。」产品有两种回答方式。一种是「我们的 AI 是随机的,不存在开挂」;另一种是调出那一场的种子、输入摘要、模型版本与逐回合决策记录,在半小时内还原它当时看到了什么、为什么那样选。

第一种回答在技术上可能是对的,但它无法说服任何人。第二种回答需要三样东西在事发前就已经被记录:种子、输入、版本。缺一样,事后都补不回来。

可复现的不是模型,是决策

先要说清一件容易被误解的事:模型输出本身不可复现。即使温度设为 0,供应商侧的模型版本、批处理顺序与推理硬件都可能让两次调用产生细微差异;跨天重放更是无法保证。

所以「可审计」不能建立在「重新调用模型会得到同样结果」上。它建立在另外三件事上:

  1. 当时模型看到了什么(输入摘要)。
  2. 当时它选了什么(决策记录)。
  3. 当时用的是哪一版规则、提示词与模型(版本号)。

有了这三样,复核者不需要重新调用模型,也能判断这个决定是否合理;如果还需要更强的证据,可以把输入与输出交给另一套模型或人审做交叉判断。

三样东西必须固定

三样东西各自解决一类问题,缺一不可:

固定项解决什么缺失后的表现
种子随机分支可复现复盘时无法确认「重来一次会不会不同」
输入摘要模型看到的状态可核对无法判断是状态错还是决策错
版本号规则与提示词可追溯换了版本后旧记录失去解释力

种子最容易理解,也最容易被误用。种子固定的是脚本策略与随机分支,不是模型输出;把种子当成「模型可复现」的保证,会在第一次跨版本复盘时暴露问题。

输入摘要要固定算法与字段顺序。同一个状态用两种键序序列化,会得到两个不同的摘要,复盘时会被误判成「输入不同」。摘要只保留十六位十六进制,够比对,又不足以从中还原玩家隐私。

版本号有三个,不是一个:模型版本、提示词版本、规则版本。三者任一变化,旧记录的解释力都会下降;只记模型版本,换了提示词之后仍然无法解释行为变化。

一场对局要记多少

方舟的战斗逻辑按 10Hz 运行,一场有效战斗约 120 秒,因此一场约 1,200 条决策记录;保留期 30 天,覆盖赛季内的申诉窗口。

记录不是越多越好。每一条记录都要写入、存储、查询,成本随场次线性增长;方舟日均 25 万 DAU、每人 1.8 场,日增记录量在千万级。这个量级下,字段设计比采样策略更重要:

  • 只记决策点,不记每一帧。 状态变化可以用前后两条决策记录推导,不必逐帧保存。
  • 输入存摘要,不存原文。 原文含玩家昵称、聊天与设备信息,摘要足够比对,且天然脱敏。
  • 输出存结构化结果,不存完整文本。 文本正文另有内容日志,决策日志只需要动作 id 与目标。

保留期之后,记录应当被删除,而不是「留着以防万一」。申诉窗口之外的数据没有使用场景,留着只会增加泄露面。

回放验证的是分歧点,不是「像不像」

回放的目的不是让重放结果「看起来一样」,而是找出第一个不一致的位置。

两种回放要分开:

  • 记录级回放。 用同一份种子与同一个脚本策略重跑状态机,验证动作序列是否与记录一致。它验证的是确定性部分,不涉及模型。
  • 决策级复核。 把某一条记录的输入摘要与模型输出取出来,交给复核者判断「在这个局面下,这个选择是否合理」。它验证的是模型部分,不要求复现输出。

记录级回放的价值在于定位。如果第一处分歧发生在第四回合,说明前三回合的状态机是一致的,问题从第四回合开始;如果分歧发生在第一回合,说明输入或版本就对不上,后面的比较没有意义。

决策级复核的价值在于解释。玩家问「它为什么知道我要出什么」,答案不是「它不知道」,而是把那一刻它看到的事实列出来:你的手牌它看不到,它看到的是你的能量值、场上随从与历史出牌频率。

两种回放的成本与产出不同,不能互相替代:

类型重跑什么能回答不能回答
记录级状态机与脚本策略动作序列是否一致模型为什么这样选
决策级不重跑,人工或另一模型复核这个选择是否合理换一次会不会不同

一次完整的复盘通常两种都要:先用记录级回放确认「不是系统 bug」,再用决策级复核解释「为什么这样选」。只做前者,玩家会觉得产品在自说自话;只做后者,无法排除规则实现的问题。

记录字段怎么定

每一条决策记录至少要有六个字段,少一个都会让某类复盘做不下去:

字段示例用途
matchIdm-2026-1029-0417定位整场对局
tick417定位回合
actoropponent区分谁在行动
actionattack:skill-3:target-2结构化结果
inputsHash9f2c1a7b4e0d3586比对输入是否一致
versionsmodel=…;prompt=…;rules=…解释行为变化

字段要在日志格式里固定下来,不能由各模块自行追加。追加字段看似灵活,实际上会让查询与对比工具无法通用;需要新信息时,先评估它是否真的要在每条记录里出现,还是可以从其他日志关联。

把回放写成可运行的验证

下面的模块把种子、输入摘要、记录级回放与审计字段写成函数。它不调用模型,只验证「记录与函数是否一致」,以及「记录是否完整到可以复盘」。

// file: src/fair/seed-replay.ts
// tier: L1
// verify: node --test test/fair/seed-replay.test.ts

// 可审计的前提是可复现:同一种子、同一输入、同一决策函数,必须得到同一结果。
import { createHash } from "node:crypto";

export type Actor = "player" | "npc" | "opponent";

export type LogEntry = {
  readonly tick: number;
  readonly actor: Actor;
  readonly action: string;
  readonly inputsHash: string;
};

export type DecisionLog = {
  readonly matchId: string;
  readonly seed: number;
  readonly entries: readonly LogEntry[];
};

// mulberry32:32 位状态、无依赖、跨平台结果一致。
export function mulberry32(seed: number): () => number {
  let state = seed >>> 0;
  return () => {
    state = (state + 0x6d2b79f5) >>> 0;
    let t = state;
    t = Math.imul(t ^ (t >>> 15), t | 1);
    t ^= t + Math.imul(t ^ (t >>> 7), t | 61);
    return ((t ^ (t >>> 14)) >>> 0) / 4294967296;
  };
}

function stable(value: unknown): string {
  if (value === null || typeof value !== "object") return JSON.stringify(value);
  if (Array.isArray(value)) return `[${value.map(stable).join(",")}]`;
  const obj = value as Record<string, unknown>;
  const keys = Object.keys(obj).sort();
  return `{${keys.map((k) => `${JSON.stringify(k)}:${stable(obj[k])}`).join(",")}}`;
}

// 输入摘要只保留 16 位十六进制:够用来比对,不足以从中还原状态。
export function hashInputs(value: unknown): string {
  return createHash("sha256").update(stable(value)).digest("hex").slice(0, 16);
}

export type ReplayResult =
  | { readonly ok: true; readonly steps: number }
  | { readonly ok: false; readonly steps: number; readonly tick: number; readonly expected: string; readonly actual: string };

// 重放不重新调用模型:它只验证「当时记录的决策」与「同一函数同一种子」是否一致。
export function replay(
  log: DecisionLog,
  decide: (entry: LogEntry, random: () => number) => string,
): ReplayResult {
  const random = mulberry32(log.seed);
  for (let i = 0; i < log.entries.length; i += 1) {
    const entry = log.entries[i];
    const actual = decide(entry, random);
    if (actual !== entry.action) {
      return { ok: false, steps: i, tick: entry.tick, expected: entry.action, actual };
    }
  }
  return { ok: true, steps: log.entries.length };
}

// 审计记录必须自带复现所需的一切;缺任何一项,事后就无法判定。
export type AuditRecord = {
  readonly matchId: string;
  readonly seed: number;
  readonly modelVersion: string;
  readonly promptVersion: string;
  readonly rulesVersion: string;
  readonly log: DecisionLog;
};

export function auditComplete(record: AuditRecord): readonly string[] {
  const missing: string[] = [];
  if (record.matchId.length === 0) missing.push("matchId");
  if (!Number.isInteger(record.seed)) missing.push("seed");
  if (record.modelVersion.length === 0) missing.push("modelVersion");
  if (record.promptVersion.length === 0) missing.push("promptVersion");
  if (record.rulesVersion.length === 0) missing.push("rulesVersion");
  return missing;
}

stable 先排序再序列化,是为了让摘要与键序无关。如果直接用 JSON.stringify,同一个对象在不同拼装路径下会得到不同摘要,复盘时会被误判成输入变化。

replay 的 decide 参数是纯函数,可以是脚本策略,也可以是回放用的规则替身,但不能是模型。把模型放进重放路径,等于要求供应商保证跨时间的输出一致性,这不是产品能控制的。

auditComplete 只检查字段是否存在,不检查内容质量。字段缺失是硬错误,内容质量交给决策级复核;两者混在一个函数里,会让「记录完整」与「记录正确」被混为一谈。

(本段代码与 src/fair/seed-replay.ts 逐字节一致,测试对应 test/fair/seed-replay.test.ts。)

隐私、成本与保留期

审计日志天然含敏感信息,三条约束要在设计时确定:

  • 摘要代替原文。 输入只存摘要,玩家昵称、聊天、设备标识不进决策日志。
  • 访问受控。 能查完整日志的人应当是一个小名单,查询本身要留痕;否则「可审计」会变成「可窥探」。
  • 保留期后删除。 30 天是申诉窗口,不是「永久归档」;超过窗口的数据要真删,而不是标记删除。

成本也要提前算。千万级日增记录,存储与查询都不是零成本;如果每条记录都存完整输入输出,成本会翻几倍,而复盘需要的信息并没有增加多少。摘要 + 结构化输出的组合,是在可审计与可承受之间取的平衡。

什么时候必须回放

四类场景必须能回放,缺一类都会在当天变成事故:

  1. 玩家申诉。 包括「开挂」「针对我」「故意让我输」三类指控。
  2. 封号与处罚。 处罚必须能给出证据,否则申诉时无法自证。
  3. 版本对比。 换模型或改提示词后,用同一批输入跑新旧两版,看行为差异。
  4. 线上事故。 越界动作、数值异常、批量投诉,需要定位是规则、输入还是模型的问题。

四类场景对回放的要求不同:申诉要能定位到单条决策,封号要能给出证据链,版本对比要能批量重跑,事故要能按时间线还原。审计记录的设计要同时满足这四种用法,而不是只为其中一种优化。

版本对比要固定输入集,否则两版的差异无法归因。做法是取一批真实记录,去掉模型输出,只保留输入摘要与版本,分别喂给新旧两版,比较动作分布:

  • 输入集要覆盖不同局势,不能只取赢的局面。
  • 对比看分布,不看单条;单条差异可能只是随机性。
  • 差异要能按动作类型拆开,否则只知道「变了」,不知道「哪里变了」。

采样不能越过 blocker

审计日志可以采样,但有一条底线:涉及 blocker 的记录不能采样。对手越界、陪伴抢决定、封号证据链,这三类必须全量保留;采样掉的那一条,恰好可能就是申诉时需要的那一条。

采样策略要写在日志规范里,而不是由各服务自行决定。同一个 matchId 下的记录要么全留、要么全不留,不能出现「前半场有、后半场没有」的断档。

小结

  • 模型输出不可复现,可复现的是种子、输入与脚本策略。
  • 三样东西缺一不可:种子、输入摘要、模型、提示词与规则三个版本号。
  • 一场对局约 1,200 条决策记录,保留 30 天,覆盖申诉窗口。
  • 只记决策点、输入存摘要、输出存结构化结果,能显著降低存储与隐私成本。
  • 回放要找出第一个分歧点,而不是判断重放结果「像不像」。
  • 记录级回放验证确定性,决策级复核解释模型选择,两者不能互相替代。
  • 日志访问要受控并留痕,保留期后真删。
  • 申诉、封号、版本对比、线上事故四类场景都必须能回放。

阅读导航:上一节:3.3 模型不可用时玩家看到什么 · 下一节:4.2 AI 对手不做玩家做不到的事 。

常见错误与边界

  1. 承诺模型输出可复现。 温度、版本、硬件都会影响输出,承诺这一点会在跨版本复盘时失信。
  2. 只存模型输出,不存输入摘要。 事后无法判断是状态错还是决策错,复盘只能靠猜。
  3. 只记一个版本号。 模型、提示词、规则任一变化都会改变行为,只记模型版本解释不了。
  4. 用 JSON.stringify 直接做摘要。 键序不同会得到不同摘要,复盘时被误判成输入变化。
  5. 把模型放进重放路径。 重放要求跨时间一致,这不是产品能控制的;重放只跑确定性部分。
  6. 日志永久保留。 超出申诉窗口的数据没有使用场景,只会增加泄露面与存储成本。

可审计解决的是「事后能查」。但玩家更关心的是「当时就公平」——这需要动作表与数值上的同一套规则。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图