《AI Agent 技术原理与架构·决策、记忆与学习》附录 C 评审清单

卷二使用的决策与记忆评审清单:六项(形式模型、终止条件、轨迹可验证、记忆策略、检索质量、学习闭环)每项给出 0/1/2 三档的判断锚点,两项阻断项单独判定,并给出 W1/W2/W3 三条负载的逐项得分与共同短板;0 分项必须在上线前解决,可直接拿来做一次决策评审。

本附录是卷二的评审工具:六项清单,每项 0/1/2 分;两项阻断项单独判定。

全书的评审共三卷。卷一用第 1–6 项(能力模型),卷二用第 7–12 项(决策与记忆),卷三用第 13–18 项(运行时与治理)。

一、怎么打

  • 由三人独立打分再对齐:Agent 工程师、应用负责人、安全/运维负责人。
  • 每项只回答"有没有",不回答"好不好"。
  • 0 分表示"完全没有",不是"做得差"。
  • 打完先看有没有 0 分项——0 分项必须在上线前解决。
  • 阻断项(第 8、12 项)未满足,无论总分多高,结论都是 blocked。

二、六项清单

#项0 分1 分2 分
7形式模型没有状态/观测/策略定义有部分,不成体系POMDP 六件套齐,能算
8*终止条件没有终止机制有提示词要求运行时终止条件 + 超时 + 预算
9轨迹可验证轨迹不可重放有日志轨迹可审计、可重放、可对比
10记忆策略没有记忆有记忆无策略读/写/遗忘三件齐,TTL 有规则
11检索质量没有检索有召回无重排召回/重排/注入位置都可调
12*学习闭环改了就上线有评测无门回归门 + 预注册 + 负对照

带 * 的是阻断项:不满足就不能上线。

三、结论判定

输入输出
任一阻断项未满足blocked
阻断项全满足,通过率 ≥ 0.8pass
阻断项全满足,通过率 < 0.8revise

四、三负载逐项示例

#项W1 检索问答W2 代码修复W3 运维处置
7形式模型221
8*终止条件222
9轨迹可验证221
10记忆策略211
11检索质量211
12*学习闭环121
合计11/1210/127/12

五、逐项解读

第 7 项(形式模型)W3 只有 1 分。 运维处置的"策略"容易被写成固定脚本,没有显式的状态与观测定义——但不可逆动作最需要形式模型,因为每一步都要能审计。

第 10 项(记忆策略)W2/W3 只有 1 分。 两家都有记忆,但没定义"什么该记、什么时候记、什么时候忘"。W2 尤其需要跨任务记忆(类似 bug 的模式),没有策略就只能靠上下文。

第 11 项(检索质量)W2/W3 只有 1 分。 两家有召回,但重排与注入位置没有调参依据。W2 的测试输出、W3 的健康检查结果都是检索对象,重排规则值得显式设计。

第 12 项(学习闭环)W1/W3 只有 1 分。 两家有评测,但回归门的样本量没算。W3 的不可逆动作尤其需要严格的门——放错一个变更代价很高。

六、共同短板

第 10 项(记忆策略)与第 12 项(学习闭环) 是三家最普遍的缺口。记忆不是"有就行",要有读写遗忘三件套;学习不是"改了再看",要预先算好样本量、预注册阈值。

七、补分路径

可补分 = 12 − 卷得分:

负载得分可补分优先补哪几项
W1111第 12 项补回归门样本量
W2102第 10/11 项各补一档
W375第 7/10/11 项补一档,第 12 项补到 2 分

W3 是差距最大的一条负载——不可逆任务对形式模型、记忆与学习的要求最高,值得优先投入。

八、与全书 18 项的关系

  • 卷一第 1–6 项:能力模型(能力卡、失败、评测、成本、回放、升级);
  • 卷二第 7–12 项:决策与记忆(形式、终止、轨迹、记忆、检索、学习);
  • 卷三第 13–18 项:运行时与治理(状态、隔离、容错、观测、安全、决策记录)。

三卷合计 36 分,通过线 28。W1/W2/W3 当前得分 11 / 10 / 7,合计 28/36,正好在线上——阻断项全满足,但可补分空间很大。

九、使用建议

  1. 第一次打分先看有没有 0 分项,别追求准确。
  2. 阻断项不满足直接 blocked,别用总分掩盖。
  3. 评分表要存档,下一次评审对比变化。
  4. 不要把这张表当 KPI,它的用途是找缺口。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图