《AI Agent 技术原理与架构·模型、推理与能力边界》13.3 卷一收口:能力模型评审

卷一讨论模型能做什么、不能做什么、边界在哪里。收口时需要的不是再讲一个概念,而是一张评审清单:能力卡、失败模式、评测集、成本模型、回放计划、人工升级。本节用清单评分、阻断项和结论实验,说明为什么阻断项优先于总分、卷一如何走向卷二,以及评审记录应该留下什么。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

卷一从 Function Calling 讲到选型矩阵,核心问题只有一个:模型能做什么、不能做什么、边界在哪里。 这些章节不是孤立的知识点,而是一套判断能力边界的方法:把任务拆成可验证的步骤,用证据而不是感觉评估,给不确定性留出口,给失败留退路。

收口时最容易犯的错误是“再补一个概念”。真正需要的是一个评审动作:拿一张清单,逐项检查能力模型是否准备好进入下一阶段。清单不追求覆盖所有细节,它追求的是“关键项不能漏”。

评审清单

一个能力模型评审至少包含六项:

项目问题产出
capability_card模型边界是否写成可比较的文档一页能力卡
failure_modes主要失败模式是否分类并有防线失败模式表
eval_sets是否有分层、可复现的评测集评测集与脚本
cost_model单请求成本与 TCO 是否清楚成本模型
replay_plan失败能否记录、回放或审计记录方案
human_escalation高风险/不确定时能否转人工升级路径

这六项覆盖了“知道边界、验证边界、承担边界”三个层面。缺任何一项,能力模型都不完整:没有能力卡,选型靠感觉;没有评测集,改进无法验证;没有升级路径,错误没有出口。

阻断项与总分

评审通常有两类结论:

  • 阻断项:不满足就不能上线,无论总分多高;
  • 总分:反映整体完备度,用于排序和改进。

两者的关系是“阻断优先”。一个清单 5/6 通过、但有 1 个阻断项未满足,结论应该是“阻断”,而不是“83 分,可以上线”。反过来,一个清单 4/6 通过、但所有阻断项都满足,结论可能是“通过但需改进”。

这个设计是故意的:总分容易被“刷”,阻断项不能。合规、评测集、人工升级这类项,不能用其他项的高分来抵消。

最小实验:评分、阻断与结论

下面的实验用六项清单计算通过率,检查三个阻断项,并给出 pass/revise/blocked 三种结论。

# file: agp_lab/review.py | write
# tier: 3
# verify: python3 -m unittest tests.test_review
"""卷一收口:能力模型评审的清单、阻断项与结论。"""
from __future__ import annotations

CHECKLIST = {
    "capability_card": True,
    "failure_modes": True,
    "eval_sets": True,
    "cost_model": True,
    "replay_plan": False,
    "human_escalation": True,
}
BLOCKING = ("capability_card", "eval_sets", "human_escalation")


def score(checklist: dict[str, bool]) -> float:
    if not checklist:
        return 0.0
    return sum(1 for value in checklist.values() if value) / len(checklist)


def blockers(checklist: dict[str, bool]) -> list[str]:
    return [name for name in BLOCKING if not checklist.get(name, False)]


def verdict(checklist: dict[str, bool], threshold: float = 0.8) -> str:
    if not 0 <= threshold <= 1:
        raise ValueError("阈值必须在 [0, 1] 内")
    if blockers(checklist):
        return "blocked"
    return "pass" if score(checklist) >= threshold else "revise"


if __name__ == "__main__":
    print("score:", f"{score(CHECKLIST):.1%}")
    print("blockers:", blockers(CHECKLIST))
    print("verdict:", verdict(CHECKLIST))
    fixed = dict(CHECKLIST, replay_plan=True)
    print("fixed:", verdict(fixed))
    blocked = dict(CHECKLIST, eval_sets=False)
    print("blocked:", verdict(blocked), blockers(blocked))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.review

输出:

score: 83.3%
blockers: []
verdict: pass
fixed: pass
blocked: blocked ['eval_sets']

清单六项中五项为真,通过率 83.3%。三个阻断项(capability_card、eval_sets、human_escalation)都满足,所以 blockers 为空,结论是 pass。注意 replay_plan 为假,但它不是阻断项,只影响总分,不阻止通过。

fixed: pass 是把 replay_plan 补上后的结果,通过率变为 100%,结论仍是 pass。blocked 是把 eval_sets 设为假:通过率仍有 66.7%,但因为 eval_sets 是阻断项,结论直接变成 blocked。

这三行输出展示了评审的核心逻辑:总分衡量完备度,阻断项衡量底线。 66.7% 的清单可以因为阻断项而失败,83.3% 的清单也可以因为底线满足而通过。

卷一的知识地图

把八章放回一张图:

章主题回答的问题
6工具调用模型如何把语言变成动作
7推理多步推理何时有用、代价多大
8知识与幻觉答案是否可信、如何校准
9上下文证据如何摆放、预算如何分配
10多模态与计算机使用感知如何变成安全动作
11非确定性与回放运行能否复现、边界在哪
12路由、级联、A/B如何用多个模型换质量/成本
13能力卡与选型如何把边界写成决策

这八章的共同线索是“证据”:工具调用要看工具返回,推理要看测试/引用,幻觉要看外部证据,上下文要看有效利用,感知要看跨通道验证,回放要看事件记录,选型要看能力卡。没有证据的能力判断,都是感觉。

能力成熟度

可以用一个简单的成熟度模型自评:

级别特征典型问题
L1 能跑单轮工具调用成功失败无记录
L2 可测有评测集和指标分布变化后失效
L3 可控有路由、预算、升级成本与延迟不可控
L4 可运营有监控、回放、审计组织流程未跟上
L5 可演进有能力卡、A/B、选型机制持续维护成本

大多数团队在 L2–L3 之间。跳到 L5 的愿望很常见,但 L4 的记录、审计和升级路径不能跳过;没有它们,能力卡上的数字无法与线上对应。

跨章的四条原则

卷一反复出现四个原则:

  1. 证据优先。 结论要绑定外部证据,模型自评不算。
  2. 边界显式。 能力、成本、延迟、可回放性都要写明边界。
  3. 失败有出口。 拒答、升级、降级、审计,都是出口。
  4. 取舍可计算。 成本、质量、风险要能放在同一张表上比较。

这四条不是具体技术,而是判断技术方案的标准。任何一个 Agent 设计,都可以用它们检查:证据在哪、边界在哪、失败怎么办、取舍怎么算。

评审怎么开

一次有效的能力模型评审应该:

  • 提前发清单和材料,不搞现场第一次看;
  • 逐项过,阻断项单独标记;
  • 对“通过”的项,要求给出证据位置,而不是口头确认;
  • 对“未通过”的项,明确负责人和截止时间;
  • 记录结论和假设,便于下次复核。

评审不是审批仪式,而是把隐性假设变成显性记录。最有价值的产出往往不是“通过/不通过”,而是“我们原来假设了什么,现在发现它不成立”。

架构含义

卷一收口对架构有四个直接约束:

  1. 能力模型要可评审。 有清单、有证据、有结论。
  2. 阻断项独立于总分。 合规、评测、升级不能被高分抵消。
  3. 失败路径要存在。 拒答、升级、降级、审计都要能执行。
  4. 结论要带假设。 记录当时的评测集、权重和边界条件。

第 4 条决定结论能否被后续复用。没有假设记录的“通过”,在半年后无法判断是否仍然成立;有了假设,团队知道什么时候需要重新评审。

架构判据

判据合格的样子不合格的样子
清单完整六项都有材料只讲模型效果
阻断优先阻断项单独判定用总分掩盖
证据可查每项有出处口头确认
失败有路径拒答/升级/审计只考虑成功
假设有记录评测集/权重/日期结论无上下文

这些判据里,“阻断优先”是评审能否守住底线的关键。一旦允许“总分高就可以忽略阻断项”,清单就会退化成打分游戏,底线也就消失了。

评审记录应该留下什么

一次评审的结论可能只有“通过”两个字,但支撑它的记录应该包括:

  • 清单每一项的证据位置(能力卡链接、评测报告、成本表);
  • 阻断项的判定依据;
  • 未通过项的风险说明和改进计划;
  • 评审时的假设(模型版本、评测集版本、权重);
  • 下次复核的触发条件(模型升级、数据分布变化、事故)。

没有这些记录,评审就只是一次会议;有了它们,半年后的人才能判断结论是否仍然成立。

记录不需要很长,但必须可追溯。最有价值的一条往往是“当时我们假设了什么”,因为假设失效是能力模型过期的主要原因。

记录还应该指明“谁负责更新”。没有责任人的文档,通常在下一次模型升级时被遗忘。

从卷一走向卷二

卷一回答“模型层能做什么”。接下来的卷二会进入编排层:计划、工具组合、多步执行、状态管理、错误恢复。卷一的结论会成为卷二的输入:

  • 能力卡决定哪些步骤可以交给模型;
  • 失败模式决定编排需要哪些检查点;
  • 回放边界决定哪些执行可以重试;
  • 成本模型决定路由和级联策略;
  • 升级路径决定人在回路的位置。

如果卷一的能力模型没有收口,卷二会不断遇到“这个模型到底行不行”的问题;收口之后,卷二可以把精力放在编排本身。

小结

  • 卷一的核心是能力边界:能做什么、不能做什么、如何证明。
  • 评审清单至少覆盖能力卡、失败模式、评测集、成本、回放、人工升级。
  • 阻断项优先于总分;高分不能抵消合规、评测或升级路径的缺失。
  • 八章的共同线索是证据:工具返回、测试、引用、事件记录、能力卡。
  • 成熟度从能跑、可测、可控、可运营到可演进,不能跳级。
  • 评审的价值在于把隐性假设变成显性记录,而不只是给一个结论。

阅读导航:上一节:13.2 选型矩阵与敏感度 · 下一节:目录与学习路径 。

常见错误与边界

  1. 用总分掩盖阻断项。 83 分但有合规缺口,结论仍应是阻断。
  2. 清单没有证据。 每项都“口头通过”,评审就失去了意义。
  3. 只评审成功路径。 拒答、升级、审计没有验证,失败时无路可走。
  4. 结论不带假设。 不记录评测集、权重和日期,半年后无法复核。
  5. 跳过 L4 直接谈 L5。 没有监控、回放和审计,能力卡数字无法与线上对应。
  6. 把收口当终点。 能力模型会随模型、数据和业务变化,评审需要定期重做。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图