以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
卷一从 Function Calling 讲到选型矩阵,核心问题只有一个:模型能做什么、不能做什么、边界在哪里。 这些章节不是孤立的知识点,而是一套判断能力边界的方法:把任务拆成可验证的步骤,用证据而不是感觉评估,给不确定性留出口,给失败留退路。
收口时最容易犯的错误是“再补一个概念”。真正需要的是一个评审动作:拿一张清单,逐项检查能力模型是否准备好进入下一阶段。清单不追求覆盖所有细节,它追求的是“关键项不能漏”。
评审清单
一个能力模型评审至少包含六项:
| 项目 | 问题 | 产出 |
|---|---|---|
| capability_card | 模型边界是否写成可比较的文档 | 一页能力卡 |
| failure_modes | 主要失败模式是否分类并有防线 | 失败模式表 |
| eval_sets | 是否有分层、可复现的评测集 | 评测集与脚本 |
| cost_model | 单请求成本与 TCO 是否清楚 | 成本模型 |
| replay_plan | 失败能否记录、回放或审计 | 记录方案 |
| human_escalation | 高风险/不确定时能否转人工 | 升级路径 |
这六项覆盖了“知道边界、验证边界、承担边界”三个层面。缺任何一项,能力模型都不完整:没有能力卡,选型靠感觉;没有评测集,改进无法验证;没有升级路径,错误没有出口。
阻断项与总分
评审通常有两类结论:
- 阻断项:不满足就不能上线,无论总分多高;
- 总分:反映整体完备度,用于排序和改进。
两者的关系是“阻断优先”。一个清单 5/6 通过、但有 1 个阻断项未满足,结论应该是“阻断”,而不是“83 分,可以上线”。反过来,一个清单 4/6 通过、但所有阻断项都满足,结论可能是“通过但需改进”。
这个设计是故意的:总分容易被“刷”,阻断项不能。合规、评测集、人工升级这类项,不能用其他项的高分来抵消。
最小实验:评分、阻断与结论
下面的实验用六项清单计算通过率,检查三个阻断项,并给出 pass/revise/blocked 三种结论。
# file: agp_lab/review.py | write
# tier: 3
# verify: python3 -m unittest tests.test_review
"""卷一收口:能力模型评审的清单、阻断项与结论。"""
from __future__ import annotations
CHECKLIST = {
"capability_card": True,
"failure_modes": True,
"eval_sets": True,
"cost_model": True,
"replay_plan": False,
"human_escalation": True,
}
BLOCKING = ("capability_card", "eval_sets", "human_escalation")
def score(checklist: dict[str, bool]) -> float:
if not checklist:
return 0.0
return sum(1 for value in checklist.values() if value) / len(checklist)
def blockers(checklist: dict[str, bool]) -> list[str]:
return [name for name in BLOCKING if not checklist.get(name, False)]
def verdict(checklist: dict[str, bool], threshold: float = 0.8) -> str:
if not 0 <= threshold <= 1:
raise ValueError("阈值必须在 [0, 1] 内")
if blockers(checklist):
return "blocked"
return "pass" if score(checklist) >= threshold else "revise"
if __name__ == "__main__":
print("score:", f"{score(CHECKLIST):.1%}")
print("blockers:", blockers(CHECKLIST))
print("verdict:", verdict(CHECKLIST))
fixed = dict(CHECKLIST, replay_plan=True)
print("fixed:", verdict(fixed))
blocked = dict(CHECKLIST, eval_sets=False)
print("blocked:", verdict(blocked), blockers(blocked))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.review
输出:
score: 83.3%
blockers: []
verdict: pass
fixed: pass
blocked: blocked ['eval_sets']
清单六项中五项为真,通过率 83.3%。三个阻断项(capability_card、eval_sets、human_escalation)都满足,所以 blockers 为空,结论是 pass。注意 replay_plan 为假,但它不是阻断项,只影响总分,不阻止通过。
fixed: pass 是把 replay_plan 补上后的结果,通过率变为 100%,结论仍是 pass。blocked 是把 eval_sets 设为假:通过率仍有 66.7%,但因为 eval_sets 是阻断项,结论直接变成 blocked。
这三行输出展示了评审的核心逻辑:总分衡量完备度,阻断项衡量底线。 66.7% 的清单可以因为阻断项而失败,83.3% 的清单也可以因为底线满足而通过。
卷一的知识地图
把八章放回一张图:
| 章 | 主题 | 回答的问题 |
|---|---|---|
| 6 | 工具调用 | 模型如何把语言变成动作 |
| 7 | 推理 | 多步推理何时有用、代价多大 |
| 8 | 知识与幻觉 | 答案是否可信、如何校准 |
| 9 | 上下文 | 证据如何摆放、预算如何分配 |
| 10 | 多模态与计算机使用 | 感知如何变成安全动作 |
| 11 | 非确定性与回放 | 运行能否复现、边界在哪 |
| 12 | 路由、级联、A/B | 如何用多个模型换质量/成本 |
| 13 | 能力卡与选型 | 如何把边界写成决策 |
这八章的共同线索是“证据”:工具调用要看工具返回,推理要看测试/引用,幻觉要看外部证据,上下文要看有效利用,感知要看跨通道验证,回放要看事件记录,选型要看能力卡。没有证据的能力判断,都是感觉。
能力成熟度
可以用一个简单的成熟度模型自评:
| 级别 | 特征 | 典型问题 |
|---|---|---|
| L1 能跑 | 单轮工具调用成功 | 失败无记录 |
| L2 可测 | 有评测集和指标 | 分布变化后失效 |
| L3 可控 | 有路由、预算、升级 | 成本与延迟不可控 |
| L4 可运营 | 有监控、回放、审计 | 组织流程未跟上 |
| L5 可演进 | 有能力卡、A/B、选型机制 | 持续维护成本 |
大多数团队在 L2–L3 之间。跳到 L5 的愿望很常见,但 L4 的记录、审计和升级路径不能跳过;没有它们,能力卡上的数字无法与线上对应。
跨章的四条原则
卷一反复出现四个原则:
- 证据优先。 结论要绑定外部证据,模型自评不算。
- 边界显式。 能力、成本、延迟、可回放性都要写明边界。
- 失败有出口。 拒答、升级、降级、审计,都是出口。
- 取舍可计算。 成本、质量、风险要能放在同一张表上比较。
这四条不是具体技术,而是判断技术方案的标准。任何一个 Agent 设计,都可以用它们检查:证据在哪、边界在哪、失败怎么办、取舍怎么算。
评审怎么开
一次有效的能力模型评审应该:
- 提前发清单和材料,不搞现场第一次看;
- 逐项过,阻断项单独标记;
- 对“通过”的项,要求给出证据位置,而不是口头确认;
- 对“未通过”的项,明确负责人和截止时间;
- 记录结论和假设,便于下次复核。
评审不是审批仪式,而是把隐性假设变成显性记录。最有价值的产出往往不是“通过/不通过”,而是“我们原来假设了什么,现在发现它不成立”。
架构含义
卷一收口对架构有四个直接约束:
- 能力模型要可评审。 有清单、有证据、有结论。
- 阻断项独立于总分。 合规、评测、升级不能被高分抵消。
- 失败路径要存在。 拒答、升级、降级、审计都要能执行。
- 结论要带假设。 记录当时的评测集、权重和边界条件。
第 4 条决定结论能否被后续复用。没有假设记录的“通过”,在半年后无法判断是否仍然成立;有了假设,团队知道什么时候需要重新评审。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 清单完整 | 六项都有材料 | 只讲模型效果 |
| 阻断优先 | 阻断项单独判定 | 用总分掩盖 |
| 证据可查 | 每项有出处 | 口头确认 |
| 失败有路径 | 拒答/升级/审计 | 只考虑成功 |
| 假设有记录 | 评测集/权重/日期 | 结论无上下文 |
这些判据里,“阻断优先”是评审能否守住底线的关键。一旦允许“总分高就可以忽略阻断项”,清单就会退化成打分游戏,底线也就消失了。
评审记录应该留下什么
一次评审的结论可能只有“通过”两个字,但支撑它的记录应该包括:
- 清单每一项的证据位置(能力卡链接、评测报告、成本表);
- 阻断项的判定依据;
- 未通过项的风险说明和改进计划;
- 评审时的假设(模型版本、评测集版本、权重);
- 下次复核的触发条件(模型升级、数据分布变化、事故)。
没有这些记录,评审就只是一次会议;有了它们,半年后的人才能判断结论是否仍然成立。
记录不需要很长,但必须可追溯。最有价值的一条往往是“当时我们假设了什么”,因为假设失效是能力模型过期的主要原因。
记录还应该指明“谁负责更新”。没有责任人的文档,通常在下一次模型升级时被遗忘。
从卷一走向卷二
卷一回答“模型层能做什么”。接下来的卷二会进入编排层:计划、工具组合、多步执行、状态管理、错误恢复。卷一的结论会成为卷二的输入:
- 能力卡决定哪些步骤可以交给模型;
- 失败模式决定编排需要哪些检查点;
- 回放边界决定哪些执行可以重试;
- 成本模型决定路由和级联策略;
- 升级路径决定人在回路的位置。
如果卷一的能力模型没有收口,卷二会不断遇到“这个模型到底行不行”的问题;收口之后,卷二可以把精力放在编排本身。
小结
- 卷一的核心是能力边界:能做什么、不能做什么、如何证明。
- 评审清单至少覆盖能力卡、失败模式、评测集、成本、回放、人工升级。
- 阻断项优先于总分;高分不能抵消合规、评测或升级路径的缺失。
- 八章的共同线索是证据:工具返回、测试、引用、事件记录、能力卡。
- 成熟度从能跑、可测、可控、可运营到可演进,不能跳级。
- 评审的价值在于把隐性假设变成显性记录,而不只是给一个结论。
阅读导航:上一节:13.2 选型矩阵与敏感度 · 下一节:目录与学习路径 。
常见错误与边界
- 用总分掩盖阻断项。 83 分但有合规缺口,结论仍应是阻断。
- 清单没有证据。 每项都“口头通过”,评审就失去了意义。
- 只评审成功路径。 拒答、升级、审计没有验证,失败时无路可走。
- 结论不带假设。 不记录评测集、权重和日期,半年后无法复核。
- 跳过 L4 直接谈 L5。 没有监控、回放和审计,能力卡数字无法与线上对应。
- 把收口当终点。 能力模型会随模型、数据和业务变化,评审需要定期重做。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。