《AI Agent 游戏产品开发》3.1 一次思考的延迟预算

800ms 不是拍出来的,而是从状态装配、首 token、生成、后处理与余量五段拆出来的。本节给出方舟的预算表与 30 token 的换算,说明单段超额为什么要单独点名,超时后模型、缓存、脚本三条路径各自让玩家看到什么,并用可运行代码把预算、降级与缓存路径写成可复算的判断函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。本节引用的延迟与调用量来自附录 B 双案例唯一事实表 。

「响应要快」是一句正确的废话。快多少、在哪一段快、慢了之后怎么办,才是产品要回答的问题。潮汐方舟给出的数字是 800ms:对手的一次思考必须在 800ms 内完成,超过就降级。这个数字不是行情,也不是模型能力,而是从玩法节奏倒推出来的预算,再拆到五个环节。

拆开之后会发现,预算表真正的作用不是限制模型,而是逼产品提前决定超时后玩家看到什么。没有预算表的产品,超时由工程临时兜底,玩家看到的是一个卡住的对手或者一句「网络异常」;有预算表的产品,超时是一条被设计过的路径。

预算要拆成段,不能只有一个总数

方舟的 800ms 拆成五段,每段有独立的口径:

环节预算说明
状态装配100ms从战斗状态与记忆中取数,禁止同步远程调用
首 token200ms模型排队加首 token 返回
生成300ms30 token,按 100 token/s 计
后处理与审核50ms规则过滤与语气、长度检查
余量150ms抖动与一次重试

这张表里最容易引起争议的是余量。有人会说 150ms 太多,应该让给生成。但余量不是浪费,它买的是「一次重试的机会」:首 token 抖一下、审核规则多查一条,都能从余量里出,而不必立刻降级。没有余量的预算表,第一次抖动就会把玩家推到脚本路径。

第二个争议点是状态装配。100ms 看起来宽裕,前提是状态已经在本地或内存里。如果装配阶段调了一次远程存档服务,100ms 立刻不够,整个预算表作废。预算表的第一条纪律是不许在预算路径上加同步远程调用,而不是「尽量快」。

预算从哪来:从玩法节奏倒推

800ms 不是技术上限,而是节奏上限。方舟一场 8–12 分钟,关键节点的决策间隔大约 1.5 秒;对手的思考如果超过这个间隔的一半,玩家会开始怀疑「它是不是卡了」。800ms 就是从这里来的,不是从模型跑分来的。

倒推的顺序是固定的:

  1. 先定玩家能接受的停顿。 方舟是 800ms;消消的赛后点评可以到 2,000ms,因为它不在操作路径上。
  2. 扣掉不可压缩的两段。 状态装配与后处理属于产品自己的逻辑,先按实现定死。
  3. 剩下的才是模型可用时间。 首 token 与生成共享这部分,模型变快只会让生成段能多写几个 token,不会抬高节奏上限。

这个顺序有一个重要推论:换模型不能直接改总预算。新模型更快,正确的做法是把省下的时间放进余量或让生成段多说两句,而不是把 800ms 降到 600ms 去「提升体验」。玩家的节奏感受没有变,压低总预算只会让降级更频繁。

预算算的是路径,不是平均值

只用平均值衡量延迟,会得到一个好看但没用的数字。方舟的对手每场调用 3 次,分布在开场、关键节点与赛后;三次调用里只要有一次超时,玩家感知到的就是那一次。

所以预算验收要看三件事:

  1. 每条路径的总时长,而不是全部调用的平均。
  2. 单段是否超额,即使总时长还没超。
  3. 超时之后走哪条路,以及那条路玩家能不能感知。

第二件事常被忽略。状态装配用了 120ms、生成只用了 250ms,总时长仍然在 800ms 内,但状态段已经超了 20ms。如果状态段的超时意味着读到了旧数据,总时长合格也没有意义。预算表按段验收,就是为了在总时长掩盖问题之前把它找出来。

第三件事是产品问题,不是工程问题。同样一次超时,对手在战斗中停顿一秒,玩家会认为游戏卡了;同伴在赛后少说一句点评,玩家不会察觉。超时路径的设计必须按形态区分,不能统一写一句「降级处理」。

分段数据从哪里来

预算表要能验收,前提是五段各自可测。打点位置必须和预算表的定义一一对应,否则测出来的数字无法与预算比较。

段打点位置采样
状态装配请求进入到状态快照生成完成全量计数,1% 记录明细
首 token请求发出到第一个流式片段到达同上
生成第一个片段到最后一个片段同上
后处理最后一个片段到过滤完成同上
余量不测量,由总预算减各段得出—

两条工程纪律值得单独提。第一,跨端不要相减:客户端与服务端的时钟即使同步过,也会因为 NTP 调整产生跳变;每一段都在同一端内用单调时钟计算,跨端只传分段结果,不传时间戳。第二,P95 需要足够的样本:方舟日均调用 135 万次,按 1% 抽样也有 1.35 万个样本,足够看长尾;如果产品调用量只有几千次一天,就必须全量记录,否则 P95 只是几个偶然值。

打点还有一个容易忽略的成本:记录本身会占用预算路径的时间。明细记录要异步写出,不能在思考路径上同步落盘,否则测出来的延迟里包含了测量工具的开销。

超时之后走哪条路

方舟定义了三条路径,按成本和玩家感知排序:

路径触发条件玩家看到什么代价
模型预算内完成正常回应单次调用成本
缓存超时且命中候选回复与昨晚或上一场相似的回应预生成成本与缓存维护
脚本超时且无缓存写好的策略或台词体验一致但内容重复

三条路径不是「优先级」,而是三种产品承诺。走脚本路径时,玩家仍然能打完这一局,只是对手的行为更可预测;走缓存路径时,回应仍然像模像样,但可能与当前局势轻微脱节。产品要提前接受这两种不完美,而不是在事故后解释。

三条路径还必须在监控里可区分。如果日志只记「成功/失败」,就分不清玩家看到的是模型回应还是脚本兜底;方舟按路径打标签,周报里同时看模型占比、缓存命中率与脚本占比。脚本占比上升通常意味着上游延迟恶化或缓存失效,而不是玩法本身出了问题——这个区分决定了值班的人该去查哪一层。

缓存路径值得单独说。长对话不适合现场生成,方舟的做法是预生成候选回复,按局势标签缓存;命中时只做状态装配与后处理,耗时降到 150ms 左右。这条路径把「实时」问题转化成了「缓存命中率」问题,命中率成为新的产品指标。

缓存要真正可用,有三条约束必须在设计时就接受:

  • 候选要按局势标签分组。 同一个「劣势」局面下的候选回复可以互换,跨标签复用就会说出与局势无关的话。标签越粗,命中率越高,相关性越差。
  • 标签定义要版本化。 标签规则一改,旧缓存就与新规则不对应,必须整体标记过期。没有版本号的标签,升级一次就会让缓存悄悄失真。
  • 模型或提示词升级后,旧缓存要主动淘汰。 新旧风格混在一起,玩家会感到角色「忽冷忽热」,这种不一致比延迟更难解释。

三条约束合起来说明一件事:缓存不是免费的加速,它把实时问题换成了内容一致性问题。命中率、标签粒度与淘汰策略,都要有人负责。

把预算写成可运行的计算

下面的模型把五段预算、分段超额检查、降级路径与缓存路径写成可复算的函数。输入每一段的实测或估算耗时,输出总时长、是否超预算、哪些段超额,以及应该走哪条路径。

// file: src/realtime/latency-budget.ts
// tier: L1
// verify: node --test test/realtime/latency-budget.test.ts

// 一次「思考」的延迟预算。
// 方舟的口径是 800ms:超过就降级为脚本策略,而不是让玩家等。

export type BudgetStage = {
  readonly name: string;
  readonly budgetMs: number;
  readonly note: string;
};

export const ARK_TOTAL_BUDGET_MS = 800;

// 预算是拆出来的,不是拍出来的:每一段都要能单独测量。
export const ARK_STAGES: readonly BudgetStage[] = [
  { name: "state", budgetMs: 100, note: "assemble combat state and memory" },
  { name: "first-token", budgetMs: 200, note: "queue plus first token" },
  { name: "generation", budgetMs: 300, note: "30 tokens at 100 tokens per second" },
  { name: "post-process", budgetMs: 50, note: "rule filter and tone check" },
  { name: "margin", budgetMs: 150, note: "jitter and one retry" },
];

export type BudgetInput = {
  readonly stageMs: Readonly<Record<string, number>>;
  readonly totalBudgetMs?: number;
};

export type BudgetVerdict = {
  readonly totalMs: number;
  readonly budgetMs: number;
  readonly overBudget: boolean;
  readonly remainingMs: number;
  readonly exceeded: readonly string[];
};

export function generationMs(tokens: number, tokensPerSecond: number): number {
  if (tokensPerSecond <= 0) throw new Error("tokensPerSecond must be positive");
  return Math.ceil((tokens / tokensPerSecond) * 1000);
}

export function evaluateBudget(input: BudgetInput): BudgetVerdict {
  const budgetMs = input.totalBudgetMs ?? ARK_TOTAL_BUDGET_MS;
  const totalMs = Object.values(input.stageMs).reduce((sum, ms) => sum + ms, 0);
  const exceeded = Object.entries(input.stageMs)
    .filter(([name, ms]) => {
      const stage = ARK_STAGES.find((s) => s.name === name);
      return stage !== undefined && ms > stage.budgetMs;
    })
    .map(([name]) => name);
  return {
    totalMs,
    budgetMs,
    overBudget: totalMs > budgetMs,
    remainingMs: budgetMs - totalMs,
    exceeded,
  };
}

export type Path = "model" | "cached" | "script";

// 降级路径是产品决定,不是工程兜底:玩家看到什么,必须在写代码前定好。
export function decidePath(
  verdict: BudgetVerdict,
  options: { readonly cacheHit: boolean },
): Path {
  if (!verdict.overBudget) return "model";
  if (options.cacheHit) return "cached";
  return "script";
}

// 长对话不走实时预算:候选回复预生成,命中缓存时只剩装配与后处理。
export function cachedPathMs(stateMs: number, postProcessMs: number): number {
  return stateMs + postProcessMs;
}

generationMs 把 token 数换算成毫秒,30 token 按 100 token/s 是 300ms;输出翻到 60 token,生成段变成 600ms,总时长 950ms,直接超预算。这个换算让「让模型多说两句」变成一个可以被否决的请求,而不是一句感觉。

evaluateBudget 同时返回总时长和超额段。它不把两者合成一个分数,因为两者的处理方式不同:总时长超了要降级,单段超了要回去查那一段的实现。把两种问题压成一个「延迟偏高」的结论,排期时就会被含糊处理。

decidePath 把「超时后走哪条路」写成显式函数。缓存是否命中由调用方传入,函数只负责按顺序裁决。这样做的目的是让降级路径出现在代码评审里,而不是藏在异常处理里。

方舟与消消的预算不能互引

潮汐消消的陪伴型 Agent 单次思考允许 2,000ms,因为它出现在赛后结算,不占用对战路径。把方舟的 800ms 直接搬过去,会逼工程做无收益的优化;把消消的 2,000ms 搬给方舟,对手会在战斗中停住。

两款产品的延迟预算只共享一种方法:按路径拆段、按段验收、超时定路径。数字必须各自设定。这条规则可以推广到任何游戏:先问「这次思考占不占用玩家的操作路径」,再决定预算,而不是先问模型有多快。

预算表只适用于玩家正在等待的路径。赛季剧情预生成、活动文案批量生产、关卡内容离线生成,这些任务不在玩家的操作路径上,用 800ms 去要求它们只会得到错误的优化方向:它们真正要管的是吞吐、成本与产出质量,延迟只要「在活动上线前跑完」即可。

两类任务的指标不能混在一张报表里。把离线批量任务的 P95 拉进实时预算看板,会让实时路径的长尾被平均掉;反过来,用离线任务的成本口径去要求实时调用,会逼着实时路径牺牲余量。判断标准只有一条:这一次调用发生时,玩家里有没有人在等。

延迟预算还与帧预算相邻但不同。帧预算管的是每帧渲染多久,《移动游戏产品的架构》的帧预算一节 把 16.7ms 与 33.3ms 的口径讲清楚了;本节管的是决策多久。两者会争抢同一条主线程,但验收对象不同:帧预算看 Jank,决策预算看玩法是否被打断。

换模型时预算怎么重算

预算表不是一次性文档。下面三类变化会让它失效,各自的处理方式不同:

变化影响哪一段处理
换模型或换供应商首 token、生成重测两段的 P50 与 P95,重算 token/s
审核规则增加后处理确认后处理段是否仍能压进 50ms
玩法节奏调整总预算按新的决策间隔倒推,不能沿用旧数

换模型是最常见的一类。首 token 与 token/s 都是模型属性,不能用上一家供应商的实测值套算;重算时必须用同一段提示词、同一输出长度,否则两家的数字不可比。审核规则增加则相反,它挤占的是产品自己的后处理段,模型再好也帮不上忙。

重算的触发条件最好写进发布检查单:模型变更、审核规则变更、玩法节奏变更,三项任一命中就重跑一次预算,并把结果写进当次发布记录。没有这张检查单,预算表会在两次迭代后变成一份没人维护的历史文档。

一次预算评审至少要能回答五个问题:

  1. 总预算从哪条节奏倒推而来,谁对这个数字负责。
  2. 五段是否都有对应的打点,打点是否在预算路径之外。
  3. 余量是否仍然存在,是否被历次优化吃掉。
  4. 三条降级路径是否都已实现,玩家能感知到哪一条。
  5. 换模型与换审核规则时,谁负责重算。

小结

  • 延迟预算是从玩法节奏倒推的,不是模型能力的行情。
  • 800ms 拆成状态装配、首 token、生成、后处理与余量五段,每段单独验收。
  • 余量买的是重试机会,取消余量等于把第一次抖动直接变成降级。
  • 平均值不能代替路径验收;单段超额即使总时长合格也要点名。
  • 超时后有三条路径:模型、缓存、脚本,各自对应不同的玩家感知与代价。
  • 缓存路径把实时问题转化为命中率问题,命中率因此成为产品指标。
  • 消消的 2,000ms 与方舟的 800ms 只能共享方法,不能共享数字。
  • 帧预算管渲染,决策预算管玩法,两者相邻但不能混用。

阅读导航:上一节:2.3 破坏体验的五类错误 · 下一节:3.2 把非实时部分挪出关键路径 。

常见错误与边界

  1. 只定一个总延迟。 没有分段就无法定位,超时只能整体降级,优化也不知道从哪一段开始。
  2. 用平均值验收。 平均值掩盖长尾,而玩家感知到的恰恰是长尾那一次。
  3. 把余量当成浪费。 余量是重试预算;取消它等于取消抖动容忍,第一次波动就降级。
  4. 在预算路径上加同步远程调用。 状态装配一旦跨网络,100ms 的预算立刻失效,整张表作废。
  5. 降级路径写在异常处理里。 玩家看到什么必须在设计阶段决定,代码评审要能看到三条路径。
  6. 直接搬用其他产品的预算。 2,000ms 与 800ms 来自不同路径与不同形态,换产品必须重算。

预算解决的是「多久」,接下来的问题是「来不及的时候,能不能先把不重要的部分挪走」。这是异步与预生成要处理的事。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图