本附录是卷三的评审工具,同时是全书 45 项评审的汇总表。
评审规则与前两卷一致:每项 0/1/2 分,单卷满分 30,全书满分 90,通过线 72。
一、怎么打
- 需要外部视角:由不直接负责该产品的产品负责人、领域专家、工程负责人各一人独立打分。
- 卷三的很多项涉及组织事实(谁负责、谁审批、谁兜底),打分前先把这些事实写下来,不要凭印象。
- “不适用"按 0 分计。单一产品没有产品组合,不等于这一项自动通过——缺席本身就是规模化阶段的缺口。
- 任何 0 分项都必须给出责任人与期限。
二、15 项
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 31 | 产品组合 | 多个产品互不相干 | 有组合但边界靠感觉 | 边界按责任划且写了交接点 |
| 32 | 能力复用 | 每个产品重写 | 复用了代码没复用承诺 | 能力目录含 SLA、责任人、评测集 |
| 33 | 平台边界 | 没有平台 | 平台什么都做 | 平台与业务职责各有书面边界 |
| 34 | 多 Agent 逻辑 | 为多而多 | 多 Agent 但用户不理解 | 三条判据成立且用户能理解分工 |
| 35 | 流程改造 | 只加了一步 AI | 替换了步骤但没改交接 | 按能力重排流程并配套培训 |
| 36 | 岗位影响 | 没想过 | 知道岗位会变没说怎么变 | 角色、技能、考核三者都改 |
| 37 | 采购决策 | 只看价格 | 有判据但没有退出路径 | 核心性、数据、退出、路线四项都评 |
| 38 | 供应商依赖 | 单一来源且无备份 | 有备份但没演练 | 依赖地图 + 切换演练 + 恢复时长 |
| 39 | 责任边界 | 出事没人认 | 有责任人但没有兜底 | 四类事件的责任人写清 |
| 40 | 审计要求 | 日志不可用 | 有日志但不可核对 | 可导出、可核对、可重建 |
| 41 | 披露义务 | 从不说明是 AI | 全场景都加免责声明 | 按三条判据决定何时必须说 |
| 42 | 成本结构 | 只算模型调用 | 系统与人工分开但缺维护 | 三项齐全且按月核算 |
| 43 | 价值计量 | 按调用次数计费 | 有计费点但不对应价值 | 计费点落在价值单位上 |
| 44 | 竞争定位 | 卖点是"更聪明” | 有差异但不可持续 | 差异化来自四源之一 |
| 45 | 成熟度自评 | 没有定级 | 有级别没有依据 | 有级别、依据与下一步 |
三、三案例逐项得分
| # | 项 | A Relay | B Quill | C Runner |
|---|---|---|---|---|
| 31 | 产品组合 | 2 | 2 | 2 |
| 32 | 能力复用 | 0 | 1 | 2 |
| 33 | 平台边界 | 0 | 0 | 0 |
| 34 | 多 Agent 逻辑 | 0 | 0 | 2 |
| 35 | 流程改造 | 2 | 1 | 1 |
| 36 | 岗位影响 | 0 | 0 | 1 |
| 37 | 采购决策 | 2 | 2 | 2 |
| 38 | 供应商依赖 | 0 | 0 | 0 |
| 39 | 责任边界 | 1 | 1 | 2 |
| 40 | 审计要求 | 1 | 1 | 1 |
| 41 | 披露义务 | 1 | 0 | 2 |
| 42 | 成本结构 | 2 | 1 | 2 |
| 43 | 价值计量 | 0 | 0 | 0 |
| 44 | 竞争定位 | 0 | 1 | 1 |
| 45 | 成熟度自评 | 1 | 0 | 2 |
| 合计 | 12/30 | 10/30 | 20/30 |
四、逐项解读
第 33 项(平台边界)三家都是 0 分。 A 与 B 根本没有平台;C 有内部平台,但边界没有写成文档。C 的平台之所以还能运转,是因为团队小、靠人记得边界——这正是规模化阶段最先失效的东西。
第 38 项(供应商依赖)三家都是 0 分。 A 与 B 是单一模型供应商且从未演练过切换;C 有主备两家,但依赖是采购部门推动的,产品团队没有依赖地图,也没有恢复时长承诺。附录 B 里 C 的"4 小时"是估计值,不是演练结果。
第 43 项(价值计量)三家都是 0 分。 三家都按席位或按调用量计费,没有把计费点落在"一个工单分对了"“一份报告能发了"“一个商品保住了"这类价值单位上。这是全书最普遍、也最难补的一项。
第 41 项(披露义务)B 是 0 分。 B 的客户报告不提 AI 参与,理由是"客户不关心”。但报告涉及事实结论与对外承诺,按卷三 6.3 的三条判据,这类产出必须披露。
第 36 项(岗位影响)A 与 B 是 0 分。 两家都改变了工作内容,却没有改变考核。A 的考核仍是处理量,B 的考核仍是交付数量,结果都是人被推着在"闭眼通过"和"自己重做"之间选。
第 44 项(竞争定位)A 是 0 分。 A 的对外说法是"AI 驱动的智能分诊”,这是一句会被下一版模型抹平的话。
第 40 项(审计要求)三家都只有 1 分。 三家都有日志,但都不能完整核对:A 只记录建议不记录采纳理由,B 只记录生成不记录改动,C 有审计日志但不可导出。
五、三卷汇总
| 卷 | A Relay | B Quill | C Runner |
|---|---|---|---|
| 卷一(1–15,任务定义) | 22 | 18 | 26 |
| 卷二(16–30,交互与上线) | 18 | 16 | 24 |
| 卷三(31–45,组织与规模化) | 12 | 10 | 20 |
| 合计 | 52/90 | 44/90 | 70/90 |
通过线 72。三家全部未通过:C 差 2 分,A 差 20 分,B 差 28 分。
这个结果不是设计成"让人沮丧",而是为了让补分路径看得见:越往组织层走,分数越低,因为攒结构能力比做功能慢得多。
六、补分路径
| 案例 | 卷一 | 卷二 | 卷三 | 合计 | 距离 72 |
|---|---|---|---|---|---|
| A Relay | 22 | 18 | 12 | 52 | 20 |
| B Quill | 18 | 16 | 10 | 44 | 28 |
| C Runner | 26 | 24 | 20 | 70 | 2 |
卷内可补分 = 30 − 卷得分:A 8/12/18,B 12/14/20,C 4/6/10。
C 只需要 2 分就能过线,优先补第 33 项(把平台边界写成一页文档)与第 40 项(让审计日志可导出核对),两项都是文书工作,一周内可完成。补完之后它仍然是 L3,不会自动升到 L4——过线不等于成熟。
A 与 B 的差距主要在卷三,但它们的卷三低分不是"组织能力差",而是"还没有到需要组织能力的阶段"。对这两家来说,正确的动作不是补分,而是先把第二、第三个产品做出来,再回来打分。
七、五级成熟度模型
| 级别 | 名称 | 判据 | 典型特征 |
|---|---|---|---|
| L1 | 单点可用 | 一个任务跑通,指标靠人工观察 | 有 Demo 与早期用户,无放量曲线 |
| L2 | 可上线 | 有放量曲线、回滚演练、质量节奏 | 生产可用,但每上新能力都要重来 |
| L3 | 可复制 | 第二个产品复用能力目录与评测集 | 平台雏形,边界开始写成文档 |
| L4 | 平台化 | 新团队做第十个产品的周期不超过第一个 | 能力目录、评测集、责任边界可交接 |
| L5 | 组织能力 | 组合、责任、成本、路线图进入常规治理 | 决策有固定场所,成本有固定口径 |
三案例定级:
| 案例 | 级别 | 依据 | 下一步 |
|---|---|---|---|
| A Relay | L2 | 有放量曲线与质量节奏;无能力目录、无平台、无第二个产品 | 做第二个产品,验证复用 |
| B Quill | L2 | 有两个产品,但复用靠人记;无平台、无评测集 | 把模板与格式沉淀成能力目录 |
| C Runner | L3 | 有平台、能力目录、一次退出演练;边界未成文 | 边界成文,补审计可导出 |
定级要由外部人做。自己给自己定级,通常高一到两级——这不是谦虚问题,是信息问题:内部人看不到自己依赖的那些"没人写下来但大家都记得"的东西。
八、使用建议
- 45 项一次打完,不要分卷打——分卷打会让人倾向于给本卷打分。
- 先看 0 分项数量,再看总分。0 分项数量比总分更能预测下一次事故。
- 成熟度定级与评审分数不要混用:分数衡量"做得多全",级别衡量"能不能复制"。
- 这张表每半年重打一次,存档对比。分数上升但 0 分项没减少,说明是在补容易的项。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。