《AI Agent 产品开发·组织、平台与规模化》10.2 发布节奏与提示词发布

提示词也是可发布的配置,要有版本、灰度与回滚。本节给发布流程的五个状态与四类变更的风险分级,用 B Quill 的模板更新说明 12% 灰度、6 周观察、73 份月报与回滚目标怎么落地,并给出一段可运行的发布门禁与 TypeScript 判定函数。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

在很多团队里,提示词是最后才被当成「发布物」的东西。代码要走 CI、要灰度、要回滚;提示词改一句话,直接在生产环境保存,第二天看效果。这个做法的隐含假设是:提示词只是文案,改错了影响不大。

但提示词决定 Agent 怎么理解任务、怎么调用工具、怎么组织输出。它改的是行为,不是措辞。行为一变,采纳率、错误率、返工率都会跟着变;在草稿档与执行档,它还会改变责任边界。提示词不是文案,是配置;配置就该有版本、有灰度、有回滚。

提示词不是文案,是配置

把提示词当配置,意味着四件事:

  1. 可版本化:每一次变更都有编号、有 diff、有作者、有发布记录。
  2. 可灰度:先在一小部分任务上跑,拿到证据再扩大。
  3. 可观察:灰度期要看的是任务指标,不是「感觉变好了」。
  4. 可回滚:出问题时能切回上一版,而不是现场改回去。

四件事里最容易缺的是回滚。很多团队有版本号,但没有「上一版还能不能跑」的验证;真出事时,回滚目标已经跟着其它变更一起失效,只能硬着头皮修。

发布流程的五个状态

一个可执行的发布流程至少要有五个状态。每个状态都有进入条件与退出条件,不能靠口头约定。

状态进入条件退出条件
草稿变更说明、diff、负责人齐全通过离线评测与人工抽检
灰度回滚目标可用、观察指标已定义灰度期指标达到门槛
观察灰度任务已跑满约定周数连续达标,无未解释异常
扩大观察期通过覆盖到下一阶段,指标仍达标
回滚任一门槛被击穿回到上一版并复盘

五个状态里,「回滚」不是异常分支,而是正式状态。它要有人负责、有验证、有复盘;否则回滚只是一次慌忙的现场操作。

变更风险分级

不是所有变更都需要同样的灰度。风险由三件事决定:影响面、可逆性、是否动审计。

变更类型影响面可逆性默认风险
提示词与模板取决于灰度范围可切回上一版中
模型或供应商全量任务切回旧模型有成本高
工具与权限取决于工具被多少任务调用可撤权限中
审计与回滚规则全量责任链改回规则不等于改回历史高

提示词变更默认是「中」,不是「低」,因为它改变行为;如果提示词同时改了审计口径,就直接升为「高」。模型切换默认「高」,因为它会同时改变所有任务的输出分布,而且旧模型的可用性不由你控制。

风险分级的目的不是多设审批,而是决定灰度范围与观察周数。低风险可以小流量快跑,高风险必须小流量慢跑,且回滚目标要提前验证。

B Quill 的模板更新怎么发

B Quill 月报告量 606 份,模板更新会影响每一份初稿的结构与措辞。它的发布可以这样排。

第一步,定灰度范围。 先给 2 个客户组,约 12% 的报告,折算约 73 份/月。这个范围来自 B 的试点设计,不是拍脑袋;它足够暴露模板问题,又不至于让全部客户一起承担。

第二步,定观察周数。 试点期是 6 周。模板问题往往不是第一份报告就暴露,而是跨客户、跨数据包重复出现;6 周覆盖至少一个完整月度周期,能看见「同一客户第二份报告」的连续性。

第三步,定门槛。 试点期看两个指标:返工率 ≤ 15.0%,事实错误 ≤ 7.0%。这两个门槛来自 B 的试点退出条件;如果灰度期就击穿,直接回滚,不进入扩大。

第四步,定扩大条件。 试点通过后扩到 6 个客户组(约 45%),观察 8 周,门槛收紧到返工率 ≤ 12.0%、事实错误 ≤ 5.0%。全量前还要连续 8 周达标。

第五步,定回滚目标。 回滚到上一版模板 quill-template-2026.10,并保留灰度期的报告与审改记录,供复盘使用。

这五步里,最容易被忽略的是「观察什么」。B 的审改时长是 1.6 小时,但它是三档加权出来的:63% 一次采纳 1.25 小时、28% 小改 1.95 小时、9% 返工 3.0 小时,加权结果 1.6035 小时。模板更新如果只让「一次采纳」变多、却让「返工」变贵,平均审改时长可能不降反升。所以灰度期不能只看采纳率,要同时看返工率与事实错误率。

回滚不是撤销发布,是切回上一版

回滚经常被误解成「把这次发布撤销」。但发布一旦发生,灰度期产生的报告、客户看到的初稿、顾问做过的审改,都已经存在。回滚能做的,是让后续任务回到上一版行为,不是让已经发生的事消失。

所以回滚要提前回答三个问题:

  1. 上一版还能不能跑?依赖的模型、工具、数据格式是否仍然兼容?
  2. 已经产生的输出怎么处理?是保留、重跑,还是人工复核?
  3. 回滚后谁负责复盘?是发布人、模板 owner,还是审计负责人?

这三个问题答不上来,回滚就只是一次更快的再次发布,问题会在下一版重演。

把发布门禁写成函数

下面的模型把变更风险、灰度门禁、B 的模板更新与审改时长写进同一个文件。它不替代发布评审,只把「能不能发」变成一组可检查的条件。

// file: src/scale/10-2-release-cadence.ts
// tier: L2
// verify: node --test test/scale/10-2-release-cadence.test.ts

// 提示词也是可发布的配置:有版本、有灰度、有回滚。
// 发布节奏不是「多久发一次」,而是「每次变更要拿什么证据才能扩大」。

import { QUILL, type Profile } from "../cases.ts";
import { divide } from "../core/rate.ts";
import { fail, ok, type Result } from "../core/result.ts";

export type ChangeKind = "prompt" | "model" | "tool" | "policy";
export type Risk = "low" | "medium" | "high";

export const KIND_LABEL: Record<ChangeKind, string> = {
  prompt: "提示词与模板",
  model: "模型或供应商",
  tool: "工具与权限",
  policy: "审计与回滚规则",
};

export type Change = {
  readonly kind: ChangeKind;
  // 受影响任务占比,单位基点。
  readonly blastBps: number;
  readonly reversible: boolean;
  readonly touchesAudit: boolean;
};

// 风险由三件事决定:影响面、可逆性、是否动审计。
// 模型切换与审计规则变更默认高风险,因为它们改的是责任边界,不是文案。
export function riskOf(change: Change): Risk {
  if (!change.reversible || change.touchesAudit) return "high";
  if (change.kind === "model") return "high";
  if (change.kind === "prompt" && change.blastBps >= 1_200) return "medium";
  if (change.kind === "tool" && change.blastBps >= 4_500) return "medium";
  return "low";
}

export type Release = {
  readonly version: string;
  readonly kind: ChangeKind;
  readonly canaryBps: number;
  readonly observationWeeks: number;
  readonly rollbackTo: string;
  readonly change: Change;
};

export type Gate = {
  readonly canaryMaxBps: number;
  readonly observationWeeks: number;
  readonly reworkMaxBps: number;
  readonly errorMaxBps: number;
};

// 发布门槛沿用各案例的试点与扩大条件,不在发布流程里另设一套。
export const RELEASE_GATES: Record<"A" | "B" | "C", Gate> = {
  A: {
    canaryMaxBps: 1_000,
    observationWeeks: 3,
    reworkMaxBps: 0,
    errorMaxBps: 400,
  },
  B: {
    canaryMaxBps: 1_200,
    observationWeeks: 6,
    reworkMaxBps: 1_500,
    errorMaxBps: 700,
  },
  C: {
    canaryMaxBps: 500,
    observationWeeks: 4,
    reworkMaxBps: 0,
    errorMaxBps: 200,
  },
};

export function checkRelease(
  key: "A" | "B" | "C",
  release: Release,
): Result<Release> {
  if (release.rollbackTo.trim().length === 0) {
    return fail("release has no rollback target");
  }
  if (release.version.trim().length === 0) {
    return fail("release has no version");
  }

  const gate = RELEASE_GATES[key];
  if (release.canaryBps > gate.canaryMaxBps) {
    return fail("canary is wider than the pilot gate");
  }
  if (release.observationWeeks < gate.observationWeeks) {
    return fail("observation window is shorter than the pilot gate");
  }
  if (riskOf(release.change) === "high" && release.change.reversible === false) {
    return fail("high-risk irreversible change needs an owner sign-off");
  }
  return ok(release);
}

// B Quill 的模板更新:先给 2 个客户组(约 12%)看 6 周,
// 过了试点门槛再扩到 6 个客户组(约 45%),期间任何一版都可回退。
export const QUILL_TEMPLATE_RELEASE: Release = {
  version: "quill-template-2026.11",
  kind: "prompt",
  canaryBps: 1_200,
  observationWeeks: 6,
  rollbackTo: "quill-template-2026.10",
  change: {
    kind: "prompt",
    blastBps: 1_200,
    reversible: true,
    touchesAudit: false,
  },
};

export const QUILL_PROFILE: Profile = QUILL;

// 灰度期覆盖的月报告量:606 × 12% ≈ 73 份。
export function canaryReports(monthlyTasks: number, canaryBps: number): number {
  return Math.round((monthlyTasks * canaryBps) / 10_000);
}

// B 的审改时长必须能被 63/28/9 三档加权复算:
// 0.63×1.25 + 0.28×1.95 + 0.09×3.0 = 1.6035 小时。
export function weightedReviewHours(): number {
  return 0.63 * 1.25 + 0.28 * 1.95 + 0.09 * 3.0;
}

// 提示词变更的风险等级:影响面越大、越接近审计,越不能「直接上线」。
export function promptRisk(blastBps: number, touchesAudit: boolean): Risk {
  return riskOf({
    kind: "prompt",
    blastBps,
    reversible: true,
    touchesAudit,
  });
}

export function bpsOf(part: number, whole: number): number {
  return divide(part, whole);
}

代码里的 riskOf 先看可逆性与审计,再看变更类型与影响面:不可逆或动审计直接判高,模型切换判高,提示词在 12% 影响面上判中。checkRelease 检查四件事:版本、回滚目标、灰度不宽于试点、观察不短于试点。任何一项不满足,发布就不该进入扩大。

weightedReviewHours 把 B 的三档审改时长重新算了一遍,结果是 1.6035 小时。这个函数存在的意义不是算一个已知数,而是提醒评审:只要改动其中一档的比例或时长,平均值就会变;不要拿一个静态的「1.6 小时」去评估模板更新的收益。

canaryReports 把 606 份/月与 12% 灰度折算成约 73 份。这个数字让「灰度」从一句口号变成一个可核对的量:你让多少客户先承担了新模板的风险。

小结

  • 提示词不是文案,是配置;它改变行为与责任,必须有版本、灰度、观察与回滚。
  • 发布流程至少五个状态:草稿、灰度、观察、扩大、回滚;回滚是正式状态,不是异常分支。
  • 变更风险看三件事:影响面、可逆性、是否动审计;提示词默认中风险,动审计或不可逆直接高风险。
  • B Quill 的模板更新先给 2 个客户组(约 12%、约 73 份/月),观察 6 周,试点门槛是返工率 ≤ 15.0%、事实错误 ≤ 7.0%。
  • 扩大期覆盖 6 个客户组(约 45%),观察 8 周,门槛收紧到 ≤ 12.0% 与 ≤ 5.0%;全量前连续 8 周达标。
  • B 的审改时长 1.6035 小时由 63% × 1.25 + 28% × 1.95 + 9% × 3.0 加权得出;只看采纳率会误判模板更新的收益。
  • 回滚是让后续任务回到上一版,不是让已经发生的输出消失;回滚目标、存量处理与复盘责任要提前定。

阅读导航:上一节:10.1 能力路线图 · 下一节:10.3 能力下线与迁移 。

常见错误与边界

  1. 把提示词当文案直接改生产。 提示词改的是行为,不是措辞;没有版本、灰度与回滚,等于让全部客户一起做实验。
  2. 只设灰度比例,不设观察周数。 模板问题常常跨客户、跨数据包重复出现;B 的试点要 6 周,扩大要 8 周,不是跑一天看感觉。
  3. 只看采纳率,不看返工率与错误率。 一次采纳变多但返工变贵,平均审改时长可能上升;三档指标要一起看。
  4. 把回滚当撤销发布。 已经产生的报告与审改不会消失;回滚要回答存量怎么处理、谁复盘。
  5. 模型切换按提示词的风险处理。 模型切换影响全部任务的输出分布,默认高风险;旧模型是否仍可用也不由你控制。
  6. 回滚目标没有提前验证。 版本号还在,不代表上一版还能跑;依赖的模型、工具、数据格式都可能已经变了。

发布解决的是「怎么把新能力放出去」,但产品还有另一半:旧能力怎么收回来。下一节讲下线与迁移。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图