《AI Agent 产品开发·组织、平台与规模化》7.2 换模型对产品意味着什么

换模型不是改一行配置,而是同时重算提示、评测、成本、行为四本账。本节给出切换清单,用 B Quill 的 12–20 页长报告说明上下文、审改分布与事实错误率为什么会一起变,并解释为什么任何模型切换都必须经过影子、小流量、放量三个阶段,不能一次全量。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

上一节画完依赖地图,接下来最常见的动作是「换一家更便宜或更强的模型试试」。工程侧看起来只是改一个端点,产品侧却要回答四个问题:提示还成立吗、评测还作数吗、成本真的降了吗、用户会发现什么变化。四个问题里任何一个没答完,切换都不算完成。

这一节把换模型拆成四本账,并用 B Quill 的长文本生成做例子。结论先给:换模型不是改代码,是重建评测集与用户预期。代码改动可能只有一天,评测与预期的重建通常以周计。

四本账,缺一本都不能上线

账本要重算什么常见误判
提示系统提示、工具调用格式、输出结构、截断策略「换个模型名就行」
评测评测集覆盖、通过线、分档标准、事实核对「旧评测集还能用」
成本单任务 token 结构、单价、缓存命中、重试与返工「单价降了就是降本」
行为输出长度、语气、拒答边界、错误类型、审改时长「能力更强就不会更差」

四本账里,提示最显眼,评测最容易被跳过,成本最容易被算错,行为最容易被低估。团队通常会在切换前跑一遍旧评测集,看到分数差不多就放行;但旧评测集是按旧模型的失败模式建的,新模型可能在新地方出错。

一个可操作的顺序是:先改提示并冻结版本,再用同一批样本跑新旧对照,然后按单任务重算成本,最后用真实用户的小流量验证行为。顺序不能反:先看成本会诱导团队忽略行为差异,先看行为又容易在没有基线的情况下凭感觉判断。

B Quill 的长文本为什么更难

B Quill 月报告量 606 份,单份是 12–20 页的初稿,输入约 45,000 token,输出约 4,200 token。生成耗时 11 分钟,人审改 1.6 小时。它的质量分布是三档:一次采纳 63%、小改 28%、返工 9%;审改时发现的事实错误率是 4.6%。

短任务换模型,差异通常表现为「这句话写得不一样」;长报告换模型,差异会沿三个方向放大:

  1. 上下文使用方式变了。45,000 token 的输入在新模型里可能被截断、被重排优先级,或者对长距离引用的处理不同。报告前几页的结论和后几页的数据对不上,往往不是事实错误,而是上下文没接住。
  2. 章节间一致性变了。12–20 页的报告要求同一组数字在全篇口径一致。旧模型可能靠提示词勉强维持,新模型可能每章各自发挥,审改的人要在全文里找矛盾。
  3. 审改分布变了。一次采纳率从 63% 掉到 60%,看起来只差 3 个百分点,但返工率从 9% 升到 12%,意味着每 100 份报告多出 3 份要按 3.0 小时重做。按 606 份计算,这不是小数。

所以 B 的切换不能用「抽几条看看」验收,必须用覆盖三档的历史报告回放,分别看一次采纳、小改、返工的比例有没有移动。评测集也要按这三档组织,而不是只存一批「好报告」。

成本账要按单算,不要按月看

B 的单份模型调用是 0.198 美元:45,000 input token 按 3 美元每百万、4,200 output token 按 15 美元每百万。基础设施分摊 0.122 美元,系统成本合计 0.32 美元一份,月系统成本 193.92 美元。月维护摊销 2,400 美元,是系统成本的十倍以上。

这组数字说明两件事。第一,模型单价的变化对总成本影响很小:即使模型调用减半,B 的月总成本也只从 31,681.92 美元降到约 31,600 美元量级,节省率几乎不动。第二,换模型真正的成本在评测与返工:如果新模型让返工率上升,多出来的人工小时会立刻超过模型省下的钱。

A Relay 和 C Runner 也是同样的结构。A 的单任务模型调用约 0.011 美元,C 约 0.024 美元;两家的系统成本占原人工分别只有 0.97% 和 0.80%。把注意力全放在单价上,等于盯着成本结构里最小的一块。

切换必须灰度

任何模型切换都要经过三个阶段,缺一个都不算完成:

阶段流量看什么退出条件
影子真实流量的副本,不对外新旧输出差异、评测分档、成本差异可解释,评测不低于基线
小流量5%–10% 真实任务审改时长、返工率、事实错误率三档分布没有实质性移动
放量逐步扩大到全量每周复盘,保留回退开关连续多个周期稳定

影子的价值不是「跑通」,而是让差异可见。把同一批历史输入同时喂给新旧模型,按三档审改结果分类,才能知道新模型是「更敢写」还是「更会编」。小流量阶段则要盯住人:审改的人是否要多花时间、是否开始不信任草稿、是否绕过产品直接手写。

放量阶段必须保留回退开关,而且回退要能在小时级完成。B 的退出恢复估算是 2 周,那是换供应商的级别;同一个供应商内换模型版本,回退应该快得多。两者不能混为一谈:换版本是配置回退,换供应商是依赖重建。灰度切换在工程侧落到路由与流量分配,维度与权重怎么切,可对照 路由维度 ;本节只讨论产品要不要换、什么时候算换成功。

把切换条件写成可执行检查

下面的模型把四本账做成四个布尔项,缺一项就不允许切换;成本按 token 结构重算;行为差异用三档分布判断,任何一档移动达到 3 个百分点就阻断放量。

// file: src/scale/07-2-model-switch.ts
// tier: L2
// verify: node --test test/scale/07-2-model-switch.test.ts

// 换模型不是改一行配置:提示、评测、成本、行为四本账要一起重算。
// 本文件只算「切换是否就绪」和「成本差多少」,不判断新模型是否更强。

export type SwitchArea = "prompt" | "eval" | "cost" | "behavior";

export const AREAS: readonly SwitchArea[] = [
  "prompt",
  "eval",
  "cost",
  "behavior",
];

export const AREA_LABEL: Record<SwitchArea, string> = {
  prompt: "提示与工具调用格式",
  eval: "评测集与通过线",
  cost: "单位成本与总量",
  behavior: "行为差异与用户预期",
};

export type SwitchReadiness = Record<SwitchArea, boolean>;

export type SwitchVerdict = {
  readonly ready: boolean;
  readonly missing: readonly SwitchArea[];
  // 行为差异不可能为零,所以任何模型切换都必须灰度。
  readonly canaryRequired: boolean;
};

export function checkSwitch(readiness: SwitchReadiness): SwitchVerdict {
  const missing = AREAS.filter((area) => !readiness[area]);
  return {
    ready: missing.length === 0,
    missing,
    canaryRequired: true,
  };
}

// 单位成本:输入与输出分别按每百万 token 计价,结果以美分计,保留一位小数。
export function modelCostCents(
  inputTokens: number,
  outputTokens: number,
  inputPerMillion: number,
  outputPerMillion: number,
): number {
  const raw =
    (inputTokens * inputPerMillion + outputTokens * outputPerMillion) / 10_000;
  return Math.round(raw * 10) / 10;
}

export type TokenUsage = {
  readonly inputTokens: number;
  readonly outputTokens: number;
};

// 三案例的单次 token 用量与公开价目口径(3 美元 / 15 美元每百万)。
export const TOKEN_USAGE: Record<"A" | "B" | "C", TokenUsage> = {
  A: { inputTokens: 2_800, outputTokens: 180 },
  B: { inputTokens: 45_000, outputTokens: 4_200 },
  C: { inputTokens: 6_000, outputTokens: 400 },
};

export const INPUT_PRICE_PER_MILLION = 3;
export const OUTPUT_PRICE_PER_MILLION = 15;

export function caseModelCostCents(key: "A" | "B" | "C"): number {
  const usage = TOKEN_USAGE[key];
  return modelCostCents(
    usage.inputTokens,
    usage.outputTokens,
    INPUT_PRICE_PER_MILLION,
    OUTPUT_PRICE_PER_MILLION,
  );
}

export function costDeltaCents(oldCents: number, newCents: number): number {
  return Math.round((newCents - oldCents) * 10) / 10;
}

// 长文本任务的第一个硬约束不是价格,是上下文窗口。
export type ContextFit = {
  readonly fits: boolean;
  readonly usageRatio: number;
  readonly headroomTokens: number;
};

export function contextFit(
  inputTokens: number,
  windowTokens: number,
): ContextFit {
  if (windowTokens <= 0) {
    return { fits: false, usageRatio: Number.POSITIVE_INFINITY, headroomTokens: 0 };
  }
  return {
    fits: inputTokens <= windowTokens,
    usageRatio: inputTokens / windowTokens,
    headroomTokens: Math.max(0, windowTokens - inputTokens),
  };
}

export type QualityBuckets = {
  /** 一次采纳率,百分比 */
  readonly firstPass: number;
  /** 小改率,百分比 */
  readonly minor: number;
  /** 返工率,百分比 */
  readonly rework: number;
};

// B Quill 的三档审改分布:63 / 28 / 9,合计 100。
export const QUILL_QUALITY: QualityBuckets = {
  firstPass: 63,
  minor: 28,
  rework: 9,
};

export type Drift = {
  readonly firstPassDelta: number;
  readonly reworkDelta: number;
  /** 任一档变动达到 3 个百分点,就视为需要重新谈判验收线。 */
  readonly material: boolean;
};

export function drift(
  previous: QualityBuckets,
  next: QualityBuckets,
): Drift {
  const firstPassDelta = next.firstPass - previous.firstPass;
  const reworkDelta = next.rework - previous.rework;
  return {
    firstPassDelta,
    reworkDelta,
    material:
      Math.abs(firstPassDelta) >= 3 || Math.abs(reworkDelta) >= 3,
  };
}

// 切换顺序:先在影子流量上跑评测,再放小比例真实流量。
export type SwitchPhase = "shadow" | "canary" | "ramp";

export const PHASE_ORDER: readonly SwitchPhase[] = [
  "shadow",
  "canary",
  "ramp",
];

export function nextPhase(current: SwitchPhase): SwitchPhase | null {
  const index = PHASE_ORDER.indexOf(current);
  if (index === -1 || index === PHASE_ORDER.length - 1) return null;
  return PHASE_ORDER[index + 1];
}

export function canRamp(d: Drift, evalPassed: boolean): boolean {
  return evalPassed && !d.material;
}

checkSwitch 不判断新模型是否更强,只判断四本账有没有都更新。canaryRequired 恒为 true,因为行为差异不可能为零;把「是否需要灰度」做成可配置项,最后一定会被关掉。

modelCostCents 按输入与输出分别计价,算出来 A 约 1.1 美分、B 19.8 美分、C 2.4 美分,与事实表一致。contextFit 把长文本的硬约束显式化:45,000 token 的输入放进 32,000 token 的窗口就是放不下,必须分段或换窗口,而不是靠提示词「压缩一下」。

drift 只比较一次采纳与返工两档,因为这两档直接对应人的时间。小改率的变化会同时反映在这两档里,不必单独判断。nextPhase 固定影子、小流量、放量的顺序,canRamp 要求评测通过且行为没有实质性移动。

小结

  • 换模型要同时重算四本账:提示、评测、成本、行为;缺一本都不能上线。
  • 旧评测集是按旧模型的失败模式建的,换模型后必须补充新失败模式的样本。
  • B Quill 的长报告会放大上下文、章节一致性与审改分布三类差异,不能靠抽样验收。
  • 模型单价对总成本影响很小;返工率上升带来的人工小时才是大头。
  • 切换必须经过影子、小流量、放量三个阶段,并保留小时级回退开关。
  • 换版本是配置回退,换供应商是依赖重建;两者的恢复时间不在一个量级。
  • 灰度不是流程装饰,它是把「行为差异」从不可见变成可比较的唯一手段。

阅读导航:上一节:7.1 依赖地图 · 下一节:7.3 锁定成本与退出演练 。

常见错误与边界

  1. 把换模型当成换端点。 提示、工具调用格式、截断策略都可能要改;只换端点会把问题推到用户侧。
  2. 直接复用旧评测集。 旧评测集覆盖的是旧模型的错误类型,新模型的新错误不会被它抓到。
  3. 只看单价不看返工。 B 的模型调用只占系统成本的一部分;返工率上升会让人工成本迅速吃掉单价优势。
  4. 跳过影子直接小流量。 没有新旧对照,小流量阶段的异常无法判断是模型问题还是样本波动。
  5. 把「更强」当成「更适合」。 更强的模型可能更敢写、更长、更难审;B 要的是可审改的草稿,不是更漂亮的文章。
  6. 没有回退开关。 放量后发现问题却只能再切一次,等于把一次切换变成两次事故。

换模型是可控的,因为供应还在。真正难的是供应明天不在了:没有备选、没有演练、没有恢复时间。下一节把锁定成本拆开,并给出一套每年至少做一次的退出演练。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图