《AI Agent 产品开发·组织、平台与规模化》11.3 复盘怎么写才有用

多数复盘写成了过程记录,读完只知道发生了什么,不知道下次该怎么改。本节给出假设、证据、决策、后果四段模板,用 B Quill 的 15.0% 试点线与 12.0% 放量线做一次失败放量推演,并说明什么样的复盘能被下一个团队直接复用、怎样把一次事故变成下一轮放量的检查项。

以下人物、公司与数字均为教学假设,不构成对任何真实产品的评价。

复盘最常见的失败,是把它写成一份更详细的过程记录:几月几号谁说了什么、哪个版本改了什么、大家如何加班修复。这类文档在事故当下有用,因为它能还原现场;但对下一个团队几乎没有价值,因为它没有回答「当时为什么相信这个决定」。

有用的复盘只写四件事:当时的假设是什么、什么证据支持它、做了什么决策、后果是什么。过程可以删,决策不能删。因为下一个团队不会遇到一模一样的过程,但会遇到结构相似的决策。

复盘不是过程记录

过程记录回答「发生了什么」,决策复盘回答「为什么会这样决定」。两者的差别在读完之后:前者让你知道这次很忙,后者让你知道下次在哪一步应该停下来。

Agent 产品的复盘尤其容易滑向过程记录,因为它的失败往往跨很多环节:输入数据、提示词、模型版本、工具权限、人工审核、放量节奏。每个环节都能写出一段故事,合起来就是一篇很长的过程记录。但真正需要复用的,通常只有一两个决策,比如「为什么在返工率还高于放量线时决定扩大」「为什么在没有回滚演练时决定开放写权限」。

把过程删掉不是不尊重事实,而是强迫作者回答更难的问题:当时你相信什么?这个信念被哪条证据支持?如果证据不成立,决策会不会不同?这三个问题答不出来,过程写得再细也没有用。

四段模板:假设、证据、决策、后果

一份可复用的复盘,至少包含四段。每一段都要能被下一团队独立读懂,不依赖当时的会议纪要。

段落要回答的问题不合格的写法合格的写法
假设当时相信什么会成立我们判断效果不错如果返工率低于 15.0%,扩大后也会低于 12.0%
证据哪条数据支持这个假设试点反馈积极试点返工率 9.0%,低于试点线 15.0%
决策基于证据做了什么决定继续推进按试点线放量,未检查扩大线
后果决策带来了什么出现了一些问题第二个客户组整章重写,审改升到 3.0 小时

假设要写成可被推翻的句子。「效果不错」不能被推翻,因为它没有边界;「返工率低于 15.0% 就会低于 12.0%」可以被推翻,只要扩大后返工率超过 12.0%。可推翻不是苛求,而是让复盘有资格进入下一轮决策。

证据要带口径。同一个「返工率 9.0%」,是按整份报告算,还是按章节算;是试点客户组,还是全部客户;是模型生成后立即统计,还是人工审改后统计。口径不同的两个 9.0% 不能互相支持。Agent 产品的证据尤其容易在口径上失真,因为中间多了模型、工具和人工三层。

决策要写「没做什么」。很多失败不是因为做了什么,而是因为漏了一个检查。B Quill 的放量线是返工率不高于 12.0%、事实错误率不高于 5.0%;如果决策记录只写「达到试点线,决定扩大」,没有写「未检查扩大线」,下一个团队就无法知道漏在哪。

后果要区分「直接后果」和「延迟后果」。直接后果是当周能看到的,比如返工、投诉、回滚;延迟后果是续约、信任、团队意愿,通常几周后才出现。Agent 产品的延迟后果往往更贵,因为一次不可回滚的动作会让用户主动降回人工。

一次失败放量:把试点线当放量线

用 B Quill 的门槛做一次推演。B 的试点退出条件是返工率不高于 15.0%,扩大退出条件是返工率不高于 12.0%。两条线之间差 3.0 个百分点,这不是小数点后的细节,而是一个必须跨过的台阶。

假设试点结束时返工率刚好是 15.0%,团队看到「试点达标」,决定进入扩大。这个决策在试点口径下是对的,在扩大口径下是错的:15.0% 高于 12.0%,扩大条件根本没有满足。后果不是「效果差一点」,而是扩大后的客户组出现整章重写,审改时间从 1.6 小时升到 3.0 小时,原本按 1.6 小时排的交付计划全部失效。

这个例子里最值得复用的不是「15.0% 太高」,而是「用错了门」。试点线和放量线经常被当成同一条线,因为它们在同一个放量文档里,看起来只差一个数字。复盘要把它写成一条明确的检查项:进入扩大前,逐条确认使用的是扩大线,不是试点线。

B 的当前质量是:一次采纳率 63%、小改率 28%、返工率 9%、事实错误率 4.6%,审改 1.6 小时。三档比例相加是 100%,说明这套口径是完整的。复盘时如果只写「返工率 9.0%」,不写另外两档,读者无法判断 9.0% 是「多数一次过」还是「多数小改后过」。三档必须同时出现,缺一档就无法复算。

什么叫能被下一个团队复用

可复用不是「写得更通用」,而是「下一个团队能在自己的数字上重新跑一遍」。具体有三个判据。

第一,假设里有条件和结论。条件是「返工率低于 15.0%」,结论是「扩大后低于 12.0%」。下一个团队可以把自己的返工率代进去,判断假设是否成立。没有条件的假设,只能靠猜。

第二,证据里有口径和来源。是试点客户组还是全部客户,是模型输出还是人工审改后,统计窗口是周还是月。口径写清,下一个团队才能判断自己的数据能不能类比。

第三,决策里有替代方案。复盘要写「当时还可以做什么,为什么没做」。比如「可以推迟两周扩大,先补事实核查」,或者「可以先扩到两个客户组,不直接到六个」。没有替代方案,复盘就变成事后解释,而不是决策记录。

这三条合起来,就是「下一个团队能复用」的最低标准。它不要求文笔好,也不要求篇幅长,只要求结构完整、口径清楚、替代方案可见。

把复盘写成可校验的结构

下面这个模型把四段模板做成可校验的结构:缺假设、缺两条证据、缺决策、缺后果、缺复用说明,都会返回失败;满分 10 分,80% 通过线与全书 45 项评审的 72/90 一致。

// file: src/scale/11-3-postmortem.ts
// tier: L2
// verify: node --test test/scale/11-3-postmortem.test.ts

// 复盘只写四件事:假设、证据、决策、后果;再加一条「下个团队怎么复用」。
// 过程叙述再长,也不能替代一条可被推翻的假设。

import { QUILL } from "../cases.ts";
import { FULL, formatBps } from "../core/rate.ts";
import { fail, ok, type Result } from "../core/result.ts";

export type Section =
  | "hypothesis"
  | "evidence"
  | "decision"
  | "consequence"
  | "reuse";

export const SECTION_ORDER: readonly Section[] = [
  "hypothesis",
  "evidence",
  "decision",
  "consequence",
  "reuse",
];

export const SECTION_LABEL: Record<Section, string> = {
  hypothesis: "假设",
  evidence: "证据",
  decision: "决策",
  consequence: "后果",
  reuse: "复用",
};

export type Postmortem = {
  readonly title: string;
  readonly hypothesis: string;
  readonly evidence: readonly string[];
  readonly decision: string;
  readonly consequence: string;
  readonly reuse: string;
  readonly owner: string;
};

// 这些词不是内容,是过程叙述的占位符。
export const PLACEHOLDERS: readonly string[] = [
  "沟通不畅",
  "加强协作",
  "提高意识",
  "后续优化",
];

export function isPlaceholder(text: string): boolean {
  const trimmed = text.trim();
  if (trimmed.length === 0) return true;
  return PLACEHOLDERS.some((word) => trimmed.includes(word));
}

export function validate(postmortem: Postmortem): Result<Postmortem> {
  if (isPlaceholder(postmortem.hypothesis)) {
    return fail("hypothesis is missing or generic");
  }
  if (postmortem.evidence.length < 2) {
    return fail("at least two pieces of evidence are required");
  }
  if (postmortem.evidence.some((item) => isPlaceholder(item))) {
    return fail("evidence contains a placeholder");
  }
  if (isPlaceholder(postmortem.decision)) {
    return fail("decision is missing");
  }
  if (isPlaceholder(postmortem.consequence)) {
    return fail("consequence is missing");
  }
  if (isPlaceholder(postmortem.reuse)) {
    return fail("reuse is missing");
  }
  if (postmortem.owner.trim().length === 0) {
    return fail("owner is missing");
  }
  return ok(postmortem);
}

function isConditional(text: string): boolean {
  return text.includes("如果") || text.includes("当") || text.includes("条件");
}

export const MAX_SCORE = 10;

// 80%,与 45 项评审 72/90 同一条通过线。
export const PASS_BPS = 8_000;

export function score(postmortem: Postmortem): number {
  let total = 0;
  if (!isPlaceholder(postmortem.hypothesis)) total += 2;
  const usable = postmortem.evidence.filter((item) => !isPlaceholder(item));
  total += usable.length >= 2 ? 2 : usable.length;
  if (!isPlaceholder(postmortem.decision)) total += 2;
  if (!isPlaceholder(postmortem.consequence)) total += 2;
  if (!isPlaceholder(postmortem.reuse)) {
    total += isConditional(postmortem.reuse) ? 2 : 1;
  }
  return total;
}

export function scoreBps(postmortem: Postmortem): number {
  return Math.round((score(postmortem) / MAX_SCORE) * FULL);
}

export function reusable(postmortem: Postmortem): boolean {
  return scoreBps(postmortem) >= PASS_BPS;
}

// 试点线和放量线不是同一条线。用试点线决定放量,等于跳过一个台阶。
export type GatePair = {
  readonly id: string;
  readonly pilotBps: number;
  readonly expansionBps: number;
  readonly atMost: boolean;
};

export const QUILL_GATES: Record<"rework" | "fact-error", GatePair> = {
  rework: {
    id: "rework",
    pilotBps: 1_500,
    expansionBps: 1_200,
    atMost: true,
  },
  "fact-error": {
    id: "fact-error",
    pilotBps: 700,
    expansionBps: 500,
    atMost: true,
  },
};

export function passesThreshold(
  valueBps: number,
  thresholdBps: number,
  atMost: boolean,
): boolean {
  return atMost ? valueBps <= thresholdBps : valueBps >= thresholdBps;
}

export function gateGapBps(pair: GatePair): number {
  return Math.abs(pair.pilotBps - pair.expansionBps);
}

export type WrongGateExample = {
  readonly id: string;
  readonly measuredBps: number;
  readonly passesPilot: boolean;
  readonly passesExpansion: boolean;
  readonly gapBps: number;
};

// 失败放量例:试点收在 15.0%,团队拿试点线当放量依据;
// 扩大的线是 12.0%,两者差 3.0 个百分点。
export function wrongGateExample(): WrongGateExample {
  const pair = QUILL_GATES.rework;
  return {
    id: pair.id,
    measuredBps: pair.pilotBps,
    passesPilot: passesThreshold(pair.pilotBps, pair.pilotBps, pair.atMost),
    passesExpansion: passesThreshold(
      pair.pilotBps,
      pair.expansionBps,
      pair.atMost,
    ),
    gapBps: gateGapBps(pair),
  };
}

export function wrongGateSummary(): string {
  const example = wrongGateExample();
  return `${formatBps(example.measuredBps)} 过试点线,未过放量线 ${formatBps(
    QUILL_GATES.rework.expansionBps,
  )},差 ${formatBps(example.gapBps)}`;
}

export function caseReviewNote(): string {
  return `${QUILL.name} 的一次释放复盘:返工率 9.0%,事实错误率 4.6%,审改 1.6 小时。`;
}

validate 先检查结构,再检查内容。它把「沟通不畅」「加强协作」这类词当成占位符,不是因为它们一定错,而是因为它们没有回答「当时相信什么」。score 按五段给分:假设、证据、决策、后果、复用,每段最多 2 分。reusable 用 80% 作为通过线,和全书评审同一条线。

QUILL_GATES 把 B 的试点线与扩大线写成同一结构,wrongGateExample 用试点线本身作为测量值,演示「过试点、不过扩大」的边界情况。它没有另造一个失败数字:15.0% 就是试点线,12.0% 就是扩大线,差 3.0 个百分点。wrongGateSummary 把这条差距写成一句话,方便直接放进复盘模板。

模型不能判断复盘写得是否诚实,只能判断结构是否完整。诚实要靠评审:证据是否来自真实记录,决策是否写了替代方案,后果是否区分了直接与延迟。结构模型的作用,是让不完整的复盘无法轻易通过。

复盘的边界

第一条边界:复盘不是追责。追责会让当事人隐藏证据,而复盘需要的是完整证据。责任归属可以另开一份文档,但复盘本身要先保证信息完整。

第二条边界:复盘不能替代事前设计。很多失败在放量前就能通过门槛检查避免;复盘的价值是让下一个团队少踩一次,不是让当前团队免责。

第三条边界:复盘要有时效。事故后拖得越久,记忆越容易被后来的叙事覆盖。比较稳的做法是在一个放量周期内完成初稿,先写假设和证据,再补后果和复用。

小结

  • 复盘写决策,不写过程;过程记录回答发生了什么,决策复盘回答为什么这样决定。
  • 四段模板:假设、证据、决策、后果;假设必须可被推翻。
  • 证据要带口径,Agent 产品的证据尤其容易被模型、工具、人工三层稀释。
  • 决策要写「没做什么」,漏掉的检查往往比做错的动作更致命。
  • B Quill 的试点线是返工率 15.0%,放量线是 12.0%,差 3.0 个百分点;用错门就是一次失败放量。
  • 可复用的判据:假设有条件、证据有口径、决策有替代方案。
  • 满分 10 分,80% 通过线与 45 项评审的 72/90 一致;结构完整不等于内容诚实。

阅读导航:上一节:11.2 早期信号 · 下一节:12.1 PM、设计、工程、领域专家各自管什么 。

常见错误与边界

  1. 把过程记录当复盘。 时间线再详细,也回答不了「当时相信什么」;没有假设,下一个团队无法复用。
  2. 假设写成结论。 「效果不错」「用户反馈积极」不可被推翻;要写成「如果 X 低于 Y,那么 Z 会成立」。
  3. 证据不带口径。 试点客户组和全部客户、模型输出和人工审改后,是两个不同的分母;口径不清的 9.0% 不能支持决策。
  4. 决策不写替代方案。 只写「决定推进」,读者无法判断当时是否有更稳的选项;替代方案是复盘与事后解释的分界线。
  5. 把试点线当放量线。 B 的 15.0% 与 12.0% 是两个台阶;用试点线决定扩大,等于跳过了一次质量检查。
  6. 复盘写成追责材料。 追责会让证据消失;先保证信息完整,再另开文档讨论责任归属。

这一节回答「事后怎么写得有用」。下一章换一个更靠前的视角:团队需要哪些角色,谁拍板,招人看什么。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图