《AI Agent 技术原理与架构·模型、推理与能力边界》附录 C 评审清单

卷一使用的能力模型评审清单:六项(能力卡、失败模式、评测集、成本模型、回放计划、人工升级)每项给出 0/1/2 三档的判断锚点,三项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,阻断项优先于总分,可直接拿来做一次能力评审。

本附录是卷一的评审工具:六项清单,每项 0/1/2 分;三项阻断项单独判定,不参与总分掩盖。

全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。

一、怎么打

  • 由三人独立打分再对齐:模型负责人、应用负责人、安全/运维负责人。一人打分不算评审。
  • 每项只回答"有没有",不回答"好不好"。好不好已经在 2 分的定义里了。
  • 0 分表示"完全没有",不是"做得差"。差但有,给 1 分。
  • 打完先看有没有 0 分项——0 分项必须在上线前解决,不参与补分权衡。
  • 阻断项(第 1、3、6 项)未满足,无论总分多高,结论都是 blocked。

二、六项清单

#项0 分1 分2 分
1*能力卡没有边界文档有边界描述,不成表一页能力卡:能/不能/成本/延迟/回放
2失败模式只说"会出错"列出两三种分类(事实/引用/执行)且各有防线
3*评测集没有评测有评测无脚本分层、可复现、有基线的评测集
4成本模型不算成本知道单价单请求成本与 TCO 都可算
5回放计划失败不可查有日志记录、回放或审计方案可执行
6*人工升级错误无出口有升级概念高风险/不确定时能转人工

带 * 的是阻断项:不满足就不能上线,无论总分多高。

三、结论判定

输入输出
任一阻断项未满足blocked
阻断项全满足,通过率 ≥ 0.8pass
阻断项全满足,通过率 < 0.8revise

总分衡量完备度,阻断项衡量底线。一个清单 5/6 通过、但有阻断项未满足,结论是 blocked 而不是"83 分可上线"。

四、三负载逐项示例

#项W1 检索问答W2 代码修复W3 运维处置
1*能力卡222
2失败模式212
3*评测集221
4成本模型212
5回放计划221
6*人工升级112
合计11/129/1210/12

五、逐项解读

第 2 项(失败模式)W2 只有 1 分。 代码修复的失败不只是"测试没过",还有"修复引入了新 bug"与"修了无关的部分",这两类容易被漏掉。

第 3 项(评测集)W3 只有 1 分。 运维处置的评测集要含故障注入(重启后仍失败、扩容未生效),这类可复现用例难造,容易退化成"健康检查过了就算通过"。

第 5 项(回放计划)W3 只有 1 分。 不可逆动作的回放不是重放副作用,而是重放决策过程——“为什么执行了这个动作”,这是审批链上的记录,不是日志。

第 6 项(人工升级)W1/W2 只有 1 分。 两家都有"转人工"的概念,但都没写明"什么信号触发升级、升给谁、等多久"。

六、共同短板

第 6 项(人工升级)三家都没有拿满 2 分,说明这是能力模型最普遍的缺口:升级路径写得进文档,但"触发条件 + 责任人 + 时限"三件套很少齐全。

七、补分路径

可补分 = 12 − 卷得分:

负载得分可补分优先补哪几项
W1111第 6 项补到 2 分:写清触发条件与责任人
W293第 2 项补失败细分、第 4/6 项各补一档
W3102第 3/5 项各补一档:故障注入 + 决策重放

补分不是均匀发力。先补 0 分项,再补"补一档就能到 2 分"的项。三家的 0 分项都已清零,下一步把 1 分项逐项推到 2 分。

八、与全书 18 项的关系

  • 卷一第 1–6 项检查"能力模型":能力卡、失败、评测、成本、回放、升级;
  • 卷二第 7–12 项检查"决策与记忆":策略、终止、记忆、检索、工具、学习;
  • 卷三第 13–18 项检查"运行时与治理":状态、隔离、容错、观测、安全、决策记录。

三卷合计 36 分,通过线 28。W1/W2/W3 当前得分 11 / 9 / 10,合计 30/36,刚好过线——但阻断项的判定比总分更关键。

九、使用建议

  1. 第一次打分不要追求准确,先看有没有 0 分项。
  2. 阻断项不满足,直接定 blocked,别用总分掩盖。
  3. 评分表要存档,下一次评审对比变化,而不是重新打一遍。
  4. 不要把这张表当 KPI。它的用途是找缺口,不是排名。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图