以下断言与阈值均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“断言要可复现、输出要逐项可比"这两条不变,具体断言集按任务线设计。
12.1 讲了怎么看见系统,这一节讲怎么评估输出。模型输出是自由文本,没法逐字比对,但可以变成断言:命中关键词、满足格式、长度在界内。评估的目标是每个断言可复现——同一个输出,任何时候重跑,结果一致。
生成式输出的评估困局
模型输出不能像传统程序那样断言"等于预期”。但也不该退到"让另一个模型打 1 到 5 分"——打分会漂移、不可复现。确定性评估的中间路线:把输出切成一个个可断言的检查项。
| 方式 | 可复现 | 覆盖 |
|---|---|---|
| 逐字比对 | 高 | 只覆盖死板输出 |
| 确定性断言 | 高 | 覆盖结构、关键词、格式 |
| 模型打分 | 低 | 覆盖语义但漂移 |
断言的类型
断言是可复现的检查项,常见四类:
| 断言类型 | 例子 | 价值 |
|---|---|---|
| 命中关键词 | 输出含"14:05" | 关键事实在场 |
| 格式满足 | 不以 # 开头 | 不破坏下游渲染 |
| 长度在界 | 10 ≤ 长度 ≤ 120 | 简洁度 |
| 结构满足 | JSON 可解析 | 可机读 |
断言是"必须满足"而不是"最好满足"。 输出含出发时间、不含 Markdown 标题、长度适中——每一条都是硬性要求,过了才叫通过。断言的集合就是这条任务的验收标准。
最小实验:检查清单与汇总
实验提供 EvalCase(一个样例 + 一组检查)与 run_checks/summary:逐项断言输出通过与否,汇总通过数与比例。
# file: agp_lab/deterministic_eval.py | write
# tier: 3
# verify: python3 -m unittest tests.test_deterministic_eval
"""确定性评估:把模型自由文本输出变成可断言的检查清单。
生成式输出难以逐字比对,评估的目标是让每个断言可复现:
命中关键词、满足格式、长度在界内。本模块把一组检查套在一个
样例上跑一遍,输出逐项通过/失败与汇总。
"""
from __future__ import annotations
from dataclasses import dataclass
from typing import Any, Callable
Check = Callable[[str], bool]
@dataclass
class EvalCase:
name: str
output: str
checks: dict[str, Check]
note: str = ""
def run_checks(case: EvalCase) -> dict[str, bool]:
return {name: check(case.output) for name, check in case.checks.items()}
def summary(results: dict[str, bool]) -> dict[str, Any]:
passed = sum(1 for ok in results.values() if ok)
return {
"passed": passed,
"total": len(results),
"ratio": round(passed / len(results), 2) if results else 1.0,
}
def demo() -> dict[str, Any]:
case = EvalCase(
name="travel_plan",
output="建议 14:05 出发的航班,用时 90 分钟,预计 15:35 到达。",
checks={
"contains_departure": lambda o: "14:05" in o,
"contains_duration": lambda o: "90" in o,
"no_markdown_header": lambda o: not o.startswith("#"),
"length_in_range": lambda o: 10 <= len(o) <= 120,
},
)
results = run_checks(case)
return {
"travel_plan_checks": results,
"travel_plan_summary": summary(results),
}
if __name__ == "__main__":
for key, value in demo().items():
print(f"{key}: {value}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.deterministic_eval
输出:
travel_plan_checks: {'contains_departure': True, 'contains_duration': True, 'no_markdown_header': True, 'length_in_range': True}
travel_plan_summary: {'passed': 4, 'total': 4, 'ratio': 1.0}
两条输出对应两件事:
- travel_plan_checks:四项断言全过——含出发时间、含时长、无 Markdown 标题、长度在界。每条断言独立判定,逐项列出,哪条不过一目了然。
- travel_plan_summary:4/4 通过,比例 1.0。汇总把逐项结果压成决策信号——一次运行 1.0 说明这个输出满足全部验收标准。
一个值得点破的细节:travel_plan_checks 里 length_in_range: True——长度断言是生成式输出最容易漏的检查。模型爱啰嗦,输出超长就拉低信噪比。把长度写进断言,等于把"简洁"变成硬性验收,而不是"希望它别啰嗦"。而 ratio: 1.0 是这次运行的结论——1.0 不代表永远 1.0,下一次运行模型可能变卦,所以要反复跑(12.3 讲样本量)。
断言的边界
断言不是万能的。命中关键词不等于答案正确——输出含"14:05"但出发时间可能写在错误的句子里;格式满足不等于语义对——JSON 可解析但内容可能是错的。确定性断言覆盖"结构正确",语义正确要配合 12.3 的统计评估和人工抽检。
| 断言能确认 | 断言确认不了 |
|---|---|
| 关键事实在场 | 事实是否真正确 |
| 格式可消费 | 内容是否合理 |
| 长度适中 | 语气是否得体 |
断言与回归
确定性断言最大的价值是回归。改了一个 prompt、换了一个模型,跑同一组断言——通过率掉没掉,一眼看出。断言的集合是任务的基线:新版本输出必须守住这条基线,才能上线。断言是变更的守门员。
断言与 12.1、12.3 的接口
确定性评估与其他评估配合。12.1 的追踪记录每次评估的通过率——通过率随时间的变化是质量趋势;12.3 的统计有效性告诉你要跑多少样本才有把握——断言 1.0 跑一次不够,要按样本量反复跑。断言是评估的"及格线",统计是评估的"样本量"——两者合起来,评估才既确定又可信。
断言集的维护
断言集要随任务演进。任务规格变了,旧断言过时——过时断言要么误报(要求不再适用)要么漏报(新要求没覆盖)。断言集维护要跟任务变更同步:任务变,断言集评审一次,去掉过时项、加上新要求。
| 变更 | 断言动作 |
|---|---|
| 新要求 | 加断言 |
| 要求废弃 | 删断言 |
| 口径调整 | 改断言 |
断言集是活文档,不是一次交付。 它与 13.3 的 ADR 呼应——任务规格变化记一条 ADR,断言集随 ADR 变更。断言集没人维护,就是一堆过期代码,误报漏报一起上。
断言与人工抽检
确定性断言覆盖不了语义。断言之外要配人工抽检——抽样看输出,判断语义是否合理。人工抽检的样本量按 12.3 的统计算:断言全过 + 人工抽检通过,才是完整验收。断言是自动门,人工是语义关,两者互补。
| 检查 | 自动 | 人工 |
|---|---|---|
| 结构 | 断言 | — |
| 关键词 | 断言 | — |
| 语义 | — | 抽检 |
抽检的结果要回流到断言集。 人工抽检发现"断言全过但语义差",说明断言不够——补一条断言把语义问题变成可复现检查。断言集在一次次的抽检反馈中变强。
语义断言的边界
语义断言要谨慎。“输出是否合理"很难写成可复现断言——用关键词、规则逼近语义,但永远有缺口。语义断言的两个边界:同义改写(关键词命中失败)与反例(关键词命中但语义错误)。边界存在不是坏事,但要承认——断言覆盖结构,语义靠人工与统计。
| 边界 | 例子 |
|---|---|
| 同义改写 | “出发时间"vs"起飞时刻” |
| 反例 | 含关键词但语义错 |
边界决定断言设计的取舍。 已知的同义改写,加同义词断言;已知的反例,加排除断言。断言设计是对"能复现覆盖什么"的清醒判断——不追求覆盖全部语义,追求覆盖能复现的关键结构。
断言的粒度
断言粒度要平衡。太细(每句话一个断言)维护成本高,太粗(只查有无输出)漏覆盖。常用分层:核心断言(必须的几条)+ 完整断言(覆盖全部要求)。核心断言跑每次,完整断言跑回归。
| 粒度 | 跑法 | 用途 |
|---|---|---|
| 核心 | 每次 | 快速门 |
| 完整 | 回归 | 全量验收 |
| 分层 | 按场景 | 平衡 |
粒度分层与 12.3 的样本量配套。 核心断言跑得快,可以频繁跑(小样本也够);完整断言贵,按回归节奏跑(样本量先算)。断言的成本也是预算。
断言的优先级
断言失败要分轻重。关键事实缺失是 P0,格式瑕疵是 P2——失败分级让修复有轻重缓急。全部断言同等重要,等于没有优先级——修一个 P2 拖住 P0,问题越积越多。
| 级别 | 例子 | 处理 |
|---|---|---|
| P0 | 关键事实缺失 | 阻断发布 |
| P1 | 结构错误 | 尽快修 |
| P2 | 格式瑕疵 | 有空修 |
优先级与 11.1 的失败分类呼应——断言失败也可以分类:可修复(改 prompt)、需重跑(样本不足)、结构性(要重设计)。断言优先级是评估侧的"分类表”。
断言与失败修复
断言失败要有闭环。断言失败 → 定位 → 修复 → 回归——不能只"报失败"不"改"。定位靠 12.1 的追踪(这次运行的调用链,哪段输出没过),修复改 prompt 或逻辑,回归重跑断言集确认通过。
| 环节 | 工具 |
|---|---|
| 定位 | 追踪(12.1) |
| 修复 | prompt/逻辑 |
| 回归 | 断言集 |
闭环让断言从"告警"变成"改进引擎"。 每次失败都驱动一次修复,断言集在闭环中变强。没有闭环,断言失败只是噪音,过一段时间大家就不看了。
架构判据
确定性评估是否合格,用五条判据检查:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 断言可复现 | 同输出同结果 | 断言结果漂移 |
| 逐项可判 | 每项独立列出 | 只给总分 |
| 断言是硬要求 | 不过即失败 | 建议性检查 |
| 有基线守门 | 变更守住通过率 | 断言悬空不用 |
| 与统计配套 | 样本量有据可依 | 跑一次就下结论 |
判据第一条是"断言必须可复现",判据第三条才是关键:断言是硬性验收不是软性建议——过了才叫通过。判据第五条是 12.2 与 12.3 的接缝——断言 1.0 跑一次不够,样本量说了算。
小结
- 生成式输出评估走中间路线:确定性断言,不逐字也不打漂移分。
- 断言四类:关键词、格式、长度、结构,都是硬性要求。
- 逐项判定、独立列出,哪条不过一目了然。
- 断言集合是任务基线,变更的守门员。
- 断言是及格线,统计是样本量,两者配套才可信。
阅读导航:上一节:12.1 调用链追踪与 token 成本 · 下一节:12.3 统计有效性:样本量与显著性 。
常见错误与边界
- 断言结果漂移。 同输出不同结果,断言不可复现等于没断言。
- 只给总分。 逐项列不出,哪条不过看不见,无从修。
- 断言当建议。 软性检查过了也没意义,必须硬性验收。
- 跑一次就下结论。 1.0 一次不代表稳定,样本量说了算。
- 断言悬空。 建了断言不当基线用,变更悄悄掉分没人守门。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。