《AI Agent 游戏产品开发》12.2 工具链与评测集

同一个提示词改动,策划觉得更自然,程序觉得更容易越界,争论的根源是缺少共同标准。本节把评测集定义成红线、正常与边界三类用例,给出消消 120 条、方舟 200 条、通过率 95%、红线 100% 的门槛,并说明回归为什么只看上次过这次挂、评测集怎么维护、工具链四件套各管什么。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。评测集规模、通过率门槛与用例分类均为教学设定值。

《潮汐消消》改了一版赛后点评的提示词,策划试玩后说「自然多了」,程序跑了几个用例说「越界风险变高」。两边都没错,但讨论没法收敛,因为双方说的「没问题」不是同一个标准。

这类争论的根源不是判断力,而是缺少共同标准。评测集的作用就是把这个标准固定下来:什么叫通过、什么叫越界、什么叫变差,都写成可重复运行的用例。

这一节讲评测集与工具链:怎么组织用例、怎么设门槛、怎么维护,以及工具链四件套各管什么。

评测集是共同标准,不是测试用例集合

评测集与普通测试用例的区别在于目的:

测试用例评测集
目的验证功能是否符合预期判断模型输出是否可接受
输入确定自然语言,有歧义
输出断言相等按标准评分或分类
失败代码有 bug模型行为退化或越界

评测集的输出不是「相等/不等」,而是「通过/不通过」或一个分数。这决定了它不能只靠断言,还要有人工标注的期望与评分标准。

评测集也不是越多越好。一千条互相重复的用例,不如两百条覆盖红线和典型场景的用例。规模要服务于覆盖,不是服务于安心。

三类用例:红线、正常与边界

评测集按风险分三层:

  • 红线用例。 绝对不能出现的行为:违法内容、未成年人伤害、泄露他人信息、诱导付费。任何一条失败,整批不放行。
  • 正常用例。 日常主要场景:关卡提示、赛后点评、活动引导。按比例通过即可。
  • 边界用例。 容易出错的边缘情况:空输入、超长输入、多语言混写、情绪激烈。用来发现退化。

三类用例的判定方式不同。红线是布尔判断,正常是比例判断,边界是趋势判断——边界用例今天过、明天挂,可能只是模型随机波动,要结合多次运行看。

分类比例要写进评测集规范。消消的评测集是 120 条,方舟是 200 条;方舟更大,因为它的动作空间与剧情分支更多。

每类至少 20 条。某一类太少时,通过率再高也说明不了什么;评测集结构本身也要体检。

门槛:通过率 95%,红线 100%

两个门槛同时生效:

  • 通过率。 全部用例的通过比例不低于 95%。
  • 红线。 红线用例必须 100% 通过。

只看通过率会让一条红线失败被九十九条通过稀释。120 条里挂 1 条红线,通过率是 99.2%,看起来很好;但那条红线可能意味着一次严重的内容事故。

门槛要按产品调。消消的 95% 可以作为起点,方舟的剧情内容可能要求 98%,因为它一旦越界就是大范围传播。

门槛不能只看一次运行。模型有随机性,同一批用例跑三次,结果可能不同;评测要跑多次取稳定值,或者固定随机种子。

门槛之外还要看回归。通过率从 98% 掉到 95%,仍然「达标」,但这是明显退化;只看是否过线会漏掉这种变化。

回归只看上次过、这次挂

回归的定义要窄:上次通过、这次失败的用例,才算回归。

上次就失败的用例不算回归,它属于已知问题;把已知问题算进回归,会让回归列表永远很长,新问题反而被淹没。

回归要能定位到改动。每次评测记录版本、模型、提示词与评测集版本;回归列表按改动分组,才能回答「这次改动导致了哪些退化」。

回归还要区分红线与普通。红线回归立即阻断发布,普通回归进入评审,由所有权人判断是否可接受。

回归数量本身是趋势指标。一个版本出现二十条回归,说明改动影响面过大,即使通过率仍达标,也应该拆分发布。

评测集的三条维护规则

评测集会腐烂,三条规则延缓腐烂:

  1. 版本化。 用例增删改都要记版本,历史结果按版本存档;换了评测集就不能直接与旧结果比较。
  2. 去重。 同一场景只保留最有代表性的一条;重复用例会让某一类场景在通过率里权重过高。
  3. 来源可追溯。 每条用例注明来自线上事故、玩家反馈还是设计推演;来源不明的用例评审时优先删掉。

版本化最重要。评测集一改,通过率就会跳变;不记版本,团队会误以为模型退化了,实际是用例变了。

去重要按语义而不是按文本。两句话字面不同但考的是同一个边界,仍算重复;去重靠人审,不靠字符串匹配。

来源可追溯让评测集与真实世界保持连接。全部用例都来自设计推演的评测集,会逐渐偏离玩家真正会遇到的问题。

工具链四件套

工具链至少包含四件事:

工具作用缺了会怎样
编辑改提示词、配置、阈值改动散落在代码与配置平台,无法审计
评测跑评测集、出报告每次改动靠人试玩,标准不一致
发布灰度、回滚、版本记录上线靠手工,出问题找不到版本
观测线上指标、日志、告警评测通过但线上退化,无法发现

四件套要打通。编辑完能一键评测,评测通过能一键灰度,灰度指标异常能一键回滚;任何一环靠手工,流程就会在那一环断掉。

工具链不必一次建全。先建评测与发布,因为它们直接决定「能不能安全地改」;编辑与观测可以先用现有工具替代。

工具链要按角色设计入口。策划看到的是提示词与评测报告,程序看到的是模型与发布记录,平台看到的是全局成本与阈值;同一个后台给所有人看全部信息,会让每个角色都被无关信息淹没。

评测覆盖不了「好玩」

评测集能判断「有没有变差」,不能判断「有没有变好」。它回答的是下限,不是上限。

「好玩」需要人判断,而且需要玩过足够多局的人判断。评测通过只说明没有明显退化,是否真的更有趣,要靠人审与线上实验。

人审与自动评测的分工是:

  • 自动评测筛掉明确不可接受的输出,保证下限。
  • 人审判断语气、节奏、惊喜感,探索上限。
  • 线上实验判断玩家是否买账,验证真实效果。

三者顺序不能反。先用自动评测保证不越界,再人审挑质量,最后实验验证;直接上实验会让明显有问题的版本影响一半玩家。

把评测门槛写成可运行判定

下面的实现把通过率、红线检查、门槛判定、回归对比与评测集结构体检写成纯函数。

// file: src/org/eval.ts
// tier: L1
// verify: node --test test/org/eval.test.ts

// 评测集是 Agent 的回归测试:红线用例必须全过,普通用例按比例过。
// 只看平均分会让「一条红线失败被九十九条通过稀释掉」。

export type CaseKind = "red" | "normal" | "edge";

export type EvalCase = {
  readonly id: string;
  readonly kind: CaseKind;
  readonly passed: boolean;
};

// 教学设定:通过率 95%,红线用例 100%,每类至少 20 条。
export const PASS_RATE = 0.95;
export const MIN_PER_KIND = 20;

export function passRate(cases: readonly EvalCase[]): number {
  return cases.length === 0 ? 0 : cases.filter((item) => item.passed).length / cases.length;
}

export function redLineClean(cases: readonly EvalCase[]): boolean {
  return cases.filter((item) => item.kind === "red").every((item) => item.passed);
}

export type GateResult = {
  readonly ok: boolean;
  readonly reasons: readonly string[];
};

// 门槛按「通过率 + 红线」两条同时判,任一不过就不放行。
export function gate(cases: readonly EvalCase[], minRate: number = PASS_RATE): GateResult {
  const reasons: string[] = [];
  if (cases.length === 0) reasons.push("empty");
  if (passRate(cases) < minRate) reasons.push("pass-rate");
  if (!redLineClean(cases)) reasons.push("red-line");
  return { ok: reasons.length === 0, reasons };
}

// 回归只看「上次过、这次挂」的用例:上次就挂的不算回归,避免噪声掩盖新问题。
export function regressions(
  before: readonly EvalCase[],
  after: readonly EvalCase[],
): string[] {
  const passedBefore = new Set(before.filter((item) => item.passed).map((item) => item.id));
  return after
    .filter((item) => passedBefore.has(item.id) && !item.passed)
    .map((item) => item.id)
    .sort();
}

// 评测集结构也要体检:某一类样本太少时,通过率再高也说明不了什么。
export function setHealth(
  cases: readonly EvalCase[],
  minPerKind: number = MIN_PER_KIND,
): { ok: boolean; missing: CaseKind[] } {
  const kinds: CaseKind[] = ["red", "normal", "edge"];
  const missing = kinds.filter(
    (kind) => cases.filter((item) => item.kind === kind).length < minPerKind,
  );
  return { ok: missing.length === 0, missing };
}

passRate 在空集时返回 0,而不是 1。空评测集不能算「全部通过」,否则删光用例就能让门槛永远通过。

redLineClean 用 every 判断,红线为空时返回 true。红线为空本身是评测集结构问题,由 setHealth 负责报出,不在这个函数里重复判断。

gate 同时检查通过率与红线,并把原因列成数组。返回原因而不是布尔值,是为了让发布工具能显示「因为红线失败被拦下」,而不是只显示「失败」。

门槛判断用 <,等于 95% 算通过。边界值取「不低于」,与「通过率 95%」的文字表述一致。

regressions 先建「上次通过」的集合,再找「这次失败」的交集。它不关心上次失败的用例,这正是回归的窄定义。

setHealth 检查每类用例是否达到最小数量。它不检查总数,因为总数达标但某一类为空,仍然是结构缺陷。

PASS_RATE 与 MIN_PER_KIND 写成常量,便于评测集规范与代码保持一致;改门槛时只改一处。

方舟的对照:实时评测

《潮汐方舟》的评测不能只跑文本,还要跑实时性。它的评测集包含三类额外用例:

  • 延迟用例。 给定战斗状态,测量从请求到可用输出的时间,超过 800ms 记为失败。
  • 公平用例。 检查 AI 对手的动作是否在玩家可执行的动作集合内。
  • 回滚用例。 模拟异常信号,验证刹车能否在预期时间内降档。

三类用例无法用文本比对,需要模拟器与回放。方舟的工具链因此比消消重,但门槛逻辑相同:通过率加红线,红线优先。

两个案例的共同点是:评测集要覆盖产品的主要风险。消消的主要风险是内容,方舟的主要风险是延迟与公平;评测集的重心跟着风险走。

小结

  • 评测集是共同标准,回答「什么叫可接受」,不是普通测试用例的集合。
  • 三类用例:红线、正常、边界;红线一票否决,正常按比例,边界看趋势。
  • 消消 120 条、方舟 200 条,每类至少 20 条,结构本身要体检。
  • 门槛通过率 95%、红线 100%,两个同时生效。
  • 模型有随机性,评测要跑多次或固定种子。
  • 回归只看上次过、这次挂;上次就挂的属于已知问题。
  • 评测集要版本化、去重、来源可追溯,否则会腐烂。
  • 工具链四件套:编辑、评测、发布、观测,要打通且按角色设计入口。
  • 评测保证下限,人审探索上限,实验验证玩家是否买账。
  • 方舟的评测还要覆盖延迟、公平与回滚,重心跟主要风险走。

阅读导航:上一节:12.1 Agent 归谁拥有:策划、程序还是平台 · 下一节:12.3 供应商与自建的边界 。

常见错误与边界

  1. 把评测集当测试用例。 用断言判断自然语言输出,评测很快退化成过拟合。
  2. 只看通过率。 一条红线失败被九十九条通过稀释,事故仍然上线。
  3. 评测集不版本化。 用例一改通过率跳变,团队误判模型退化。
  4. 回归范围过宽。 把已知问题算进回归,列表越来越长,新问题被淹没。
  5. 工具链只建一半。 能评测不能灰度,或能灰度不能回滚,流程在断点处靠手工。
  6. 用评测证明好玩。 评测只保证下限,上限要靠人审与实验。

组织与标准解决「怎么一起做」。最后还有一个绕不开的取舍:模型、工具与平台能力,哪些买、哪些自建。

下一节用调用量与保本点算这笔账,并说明退出成本为什么必须进入决策。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图