本附录是卷二的评审工具:六项清单,每项 0/1/2 分;两项阻断项单独判定。
全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。
一、怎么打
- 由三人独立打分再对齐:Agent 工程师、应用负责人、安全/运维负责人。
- 每项只回答"有没有",不回答"好不好"。
- 0 分表示"完全没有",不是"做得差"。
- 打完先看有没有 0 分项——0 分项必须在上线前解决。
- 阻断项(第 8、12 项)未满足,无论总分多高,结论都是 blocked。
二、六项清单
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 7 | 形式模型 | 没有状态/观测/策略定义 | 有部分,不成体系 | POMDP 六件套齐,能算 |
| 8* | 终止条件 | 没有终止机制 | 有提示词要求 | 运行时终止条件 + 超时 + 预算 |
| 9 | 轨迹可验证 | 轨迹不可重放 | 有日志 | 轨迹可审计、可重放、可对比 |
| 10 | 记忆策略 | 没有记忆 | 有记忆无策略 | 读/写/遗忘三件齐,TTL 有规则 |
| 11 | 检索质量 | 没有检索 | 有召回无重排 | 召回/重排/注入位置都可调 |
| 12* | 学习闭环 | 改了就上线 | 有评测无门 | 回归门 + 预注册 + 负对照 |
带 * 的是阻断项:不满足就不能上线。
三、结论判定
| 输入 | 输出 |
|---|---|
| 任一阻断项未满足 | blocked |
| 阻断项全满足,通过率 ≥ 0.8 | pass |
| 阻断项全满足,通过率 < 0.8 | revise |
四、三负载逐项示例
| # | 项 | W1 检索问答 | W2 代码修复 | W3 运维处置 |
|---|---|---|---|---|
| 7 | 形式模型 | 2 | 2 | 1 |
| 8* | 终止条件 | 2 | 2 | 2 |
| 9 | 轨迹可验证 | 2 | 2 | 1 |
| 10 | 记忆策略 | 2 | 1 | 1 |
| 11 | 检索质量 | 2 | 1 | 1 |
| 12* | 学习闭环 | 1 | 2 | 1 |
| 合计 | 11/12 | 10/12 | 7/12 |
五、逐项解读
第 7 项(形式模型)W3 只有 1 分。 运维处置的"策略"容易被写成固定脚本,没有显式的状态与观测定义——但不可逆动作最需要形式模型,因为每一步都要能审计。
第 10 项(记忆策略)W2/W3 只有 1 分。 两家都有记忆,但没定义"什么该记、什么时候记、什么时候忘"。W2 尤其需要跨任务记忆(类似 bug 的模式),没有策略就只能靠上下文。
第 11 项(检索质量)W2/W3 只有 1 分。 两家有召回,但重排与注入位置没有调参依据。W2 的测试输出、W3 的健康检查结果都是检索对象,重排规则值得显式设计。
第 12 项(学习闭环)W1/W3 只有 1 分。 两家有评测,但回归门的样本量没算。W3 的不可逆动作尤其需要严格的门——放错一个变更代价很高。
六、共同短板
第 10 项(记忆策略)与第 12 项(学习闭环) 是三家最普遍的缺口。记忆不是"有就行",要有读写遗忘三件套;学习不是"改了再看",要预先算好样本量、预注册阈值。
七、补分路径
可补分 = 12 − 卷得分:
| 负载 | 得分 | 可补分 | 优先补哪几项 |
|---|---|---|---|
| W1 | 11 | 1 | 第 12 项补回归门样本量 |
| W2 | 10 | 2 | 第 10/11 项各补一档 |
| W3 | 7 | 5 | 第 7/10/11 项补一档,第 12 项补到 2 分 |
W3 是差距最大的一条负载——不可逆任务对形式模型、记忆与学习的要求最高,值得优先投入。
八、与全书 18 项的关系
- 卷一第 1–6 项:能力模型(能力卡、失败、评测、成本、回放、升级);
- 卷二第 7–12 项:决策与记忆(形式、终止、轨迹、记忆、检索、学习);
- 卷三第 13–18 项:运行时与治理(状态、隔离、容错、观测、安全、决策记录)。
三卷合计 36 分,通过线 28。W1/W2/W3 当前得分 11 / 10 / 7,合计 28/36,正好在线上——阻断项全满足,但可补分空间很大。
九、使用建议
- 第一次打分先看有没有 0 分项,别追求准确。
- 阻断项不满足直接 blocked,别用总分掩盖。
- 评分表要存档,下一次评审对比变化。
- 不要把这张表当 KPI,它的用途是找缺口。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。