本附录是卷三的评审工具:六项清单,每项 0/1/2 分;两项阻断项单独判定。
全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。
一、怎么打
- 由三人独立打分再对齐:运行时工程师、应用负责人、安全/运维负责人。
- 每项只回答"有没有",不回答"好不好"。
- 0 分表示"完全没有",不是"做得差"。
- 打完先看有没有 0 分项——0 分项必须在上线前解决。
- 阻断项(第 13、17 项)未满足,无论总分多高,结论都是 blocked。
二、六项清单
| # | 项 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|---|
| 13* | 状态 | 没有状态机 | 有状态记录 | 状态机 + 事件日志 + 幂等键齐 |
| 14 | 隔离 | 没有隔离 | 有进程隔离 | 沙箱 + 最小权限 + 逃逸面审计 |
| 15 | 容错 | 无限重试 | 有重试无熔断 | 熔断 + 部分结果 + 补偿 |
| 16 | 观测 | 没有追踪 | 有日志 | 追踪 + token 成本归因 + 确定性评估 |
| 17* | 安全 | 没有威胁建模 | 有清单检查 | STRIDE 建模 + 纵深防御 + 失效假设 |
| 18 | 决策记录 | 没有记录 | 有会议纪要 | ADR 四段式,演进可追溯 |
带 * 的是阻断项:不满足就不能上线。
三、结论判定
| 输入 | 输出 |
|---|---|
| 任一阻断项未满足 | blocked |
| 阻断项全满足,通过率 ≥ 0.8 | pass |
| 阻断项全满足,通过率 < 0.8 | revise |
四、三负载逐项示例
| # | 项 | W1 检索问答 | W2 代码修复 | W3 运维处置 |
|---|---|---|---|---|
| 13* | 状态 | 2 | 2 | 2 |
| 14 | 隔离 | 2 | 1 | 2 |
| 15 | 容错 | 1 | 2 | 2 |
| 16 | 观测 | 2 | 2 | 2 |
| 17* | 安全 | 1 | 1 | 2 |
| 18 | 决策记录 | 1 | 1 | 1 |
| 合计 | 9/12 | 9/12 | 11/12 |
五、逐项解读
第 14 项(隔离)W2 只有 1 分。 代码修复任务经常把 Agent 放进有写权限的进程里,没有独立沙箱——一次错误的写操作就污染分支。隔离不是"有进程"就行,要有最小权限与逃逸面审计。
第 15 项(容错)W1 只有 1 分。 只读任务最容易被当成"不会出问题",于是重试没有窗口。无熔断的重试在检索下游变慢时会放大故障,把单次超时变成雪崩。
第 17 项(安全)W1/W2 只有 1 分。 两家有安全清单检查,但没做威胁建模。清单检查查"列出来的项",威胁建模列"可能的威胁"——跳过建模的检查是查了个寂寞。
第 18 项(决策记录)三家都只有 1 分。 架构决定有会议纪要,但没有 ADR 四段式:背景、方案、备选、结论。没有 ADR 的演进不可追溯,下一次同样的问题重新吵一遍。
六、共同短板
第 17 项(安全)与第 18 项(决策记录) 是最普遍的缺口。安全不是"检查过",是"按威胁建模防御过、且每层失效假设明确";治理不是"记过决定",是"决定可追溯、备选可复盘"。
七、补分路径
可补分 = 12 − 卷得分:
| 负载 | 得分 | 可补分 | 优先补哪几项 |
|---|---|---|---|
| W1 | 9 | 3 | 第 15/17/18 项各补一档 |
| W2 | 9 | 3 | 第 14/17/18 项各补一档 |
| W3 | 11 | 1 | 第 18 项补到 2 分 |
W1/W2 是差距最大的两条负载——只读与可回滚任务容易让人忽略隔离、安全与治理,但查询任务也可能打爆资源、写分支任务可能污染数据。不可逆的 W3 反而逼出了最深的隔离与容错,只差决策记录。
八、与全书 18 项的关系
- 卷一第 1–6 项:能力模型(能力卡、失败、评测、成本、回放、升级);
- 卷二第 7–12 项:决策与记忆(形式、终止、轨迹、记忆、检索、学习);
- 卷三第 13–18 项:运行时与治理(状态、隔离、容错、观测、安全、决策记录)。
三卷合计 36 分,通过线 28。本卷 W1/W2/W3 当前得分 9 / 9 / 11,合计 29/36,在通过线上——阻断项全满足,但可补分空间很大。三卷全部按 18 项走一遍,才能得到"Agent 系统是否可上线"的完整结论。
九、使用建议
- 第一次打分先看有没有 0 分项,别追求准确。
- 阻断项不满足直接 blocked,别用总分掩盖。
- 评分表要存档,下一次评审对比变化。
- 不要把这张表当 KPI,它的用途是找缺口。
- 与卷一、卷二清单连着用:能力边界不清、决策不可终止、运行时不可恢复,三者任何一个出问题都不能上线。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。