《AI Agent 技术原理与架构·运行时、协议与系统架构》12.2 确定性评估:把输出变断言

模型输出是自由文本,没法逐字比对,但可以变成可复现的断言:命中关键词、满足格式、长度在界内。确定性评估把一组检查套在一个样例上,输出逐项通过与汇总比例。实验用旅行规划样例演示四项断言全过、比例 1.0,说明评估的目标是每个断言可复现——同一输出任何时候重跑结果一致。

以下断言与阈值均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。“断言要可复现、输出要逐项可比"这两条不变,具体断言集按任务线设计。

12.1 讲了怎么看见系统,这一节讲怎么评估输出。模型输出是自由文本,没法逐字比对,但可以变成断言:命中关键词、满足格式、长度在界内。评估的目标是每个断言可复现——同一个输出,任何时候重跑,结果一致。

生成式输出的评估困局

模型输出不能像传统程序那样断言"等于预期”。但也不该退到"让另一个模型打 1 到 5 分"——打分会漂移、不可复现。确定性评估的中间路线:把输出切成一个个可断言的检查项。

方式可复现覆盖
逐字比对高只覆盖死板输出
确定性断言高覆盖结构、关键词、格式
模型打分低覆盖语义但漂移

断言的类型

断言是可复现的检查项,常见四类:

断言类型例子价值
命中关键词输出含"14:05"关键事实在场
格式满足不以 # 开头不破坏下游渲染
长度在界10 ≤ 长度 ≤ 120简洁度
结构满足JSON 可解析可机读

断言是"必须满足"而不是"最好满足"。 输出含出发时间、不含 Markdown 标题、长度适中——每一条都是硬性要求,过了才叫通过。断言的集合就是这条任务的验收标准。

最小实验:检查清单与汇总

实验提供 EvalCase(一个样例 + 一组检查)与 run_checks/summary:逐项断言输出通过与否,汇总通过数与比例。

# file: agp_lab/deterministic_eval.py | write
# tier: 3
# verify: python3 -m unittest tests.test_deterministic_eval
"""确定性评估:把模型自由文本输出变成可断言的检查清单。

生成式输出难以逐字比对,评估的目标是让每个断言可复现:
命中关键词、满足格式、长度在界内。本模块把一组检查套在一个
样例上跑一遍,输出逐项通过/失败与汇总。
"""
from __future__ import annotations

from dataclasses import dataclass
from typing import Any, Callable

Check = Callable[[str], bool]


@dataclass
class EvalCase:
    name: str
    output: str
    checks: dict[str, Check]
    note: str = ""


def run_checks(case: EvalCase) -> dict[str, bool]:
    return {name: check(case.output) for name, check in case.checks.items()}


def summary(results: dict[str, bool]) -> dict[str, Any]:
    passed = sum(1 for ok in results.values() if ok)
    return {
        "passed": passed,
        "total": len(results),
        "ratio": round(passed / len(results), 2) if results else 1.0,
    }


def demo() -> dict[str, Any]:
    case = EvalCase(
        name="travel_plan",
        output="建议 14:05 出发的航班,用时 90 分钟,预计 15:35 到达。",
        checks={
            "contains_departure": lambda o: "14:05" in o,
            "contains_duration": lambda o: "90" in o,
            "no_markdown_header": lambda o: not o.startswith("#"),
            "length_in_range": lambda o: 10 <= len(o) <= 120,
        },
    )
    results = run_checks(case)
    return {
        "travel_plan_checks": results,
        "travel_plan_summary": summary(results),
    }


if __name__ == "__main__":
    for key, value in demo().items():
        print(f"{key}: {value}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.deterministic_eval

输出:

travel_plan_checks: {'contains_departure': True, 'contains_duration': True, 'no_markdown_header': True, 'length_in_range': True}
travel_plan_summary: {'passed': 4, 'total': 4, 'ratio': 1.0}

两条输出对应两件事:

  1. travel_plan_checks:四项断言全过——含出发时间、含时长、无 Markdown 标题、长度在界。每条断言独立判定,逐项列出,哪条不过一目了然。
  2. travel_plan_summary:4/4 通过,比例 1.0。汇总把逐项结果压成决策信号——一次运行 1.0 说明这个输出满足全部验收标准。

一个值得点破的细节:travel_plan_checks 里 length_in_range: True——长度断言是生成式输出最容易漏的检查。模型爱啰嗦,输出超长就拉低信噪比。把长度写进断言,等于把"简洁"变成硬性验收,而不是"希望它别啰嗦"。而 ratio: 1.0 是这次运行的结论——1.0 不代表永远 1.0,下一次运行模型可能变卦,所以要反复跑(12.3 讲样本量)。

断言的边界

断言不是万能的。命中关键词不等于答案正确——输出含"14:05"但出发时间可能写在错误的句子里;格式满足不等于语义对——JSON 可解析但内容可能是错的。确定性断言覆盖"结构正确",语义正确要配合 12.3 的统计评估和人工抽检。

断言能确认断言确认不了
关键事实在场事实是否真正确
格式可消费内容是否合理
长度适中语气是否得体

断言与回归

确定性断言最大的价值是回归。改了一个 prompt、换了一个模型,跑同一组断言——通过率掉没掉,一眼看出。断言的集合是任务的基线:新版本输出必须守住这条基线,才能上线。断言是变更的守门员。

断言与 12.1、12.3 的接口

确定性评估与其他评估配合。12.1 的追踪记录每次评估的通过率——通过率随时间的变化是质量趋势;12.3 的统计有效性告诉你要跑多少样本才有把握——断言 1.0 跑一次不够,要按样本量反复跑。断言是评估的"及格线",统计是评估的"样本量"——两者合起来,评估才既确定又可信。

断言集的维护

断言集要随任务演进。任务规格变了,旧断言过时——过时断言要么误报(要求不再适用)要么漏报(新要求没覆盖)。断言集维护要跟任务变更同步:任务变,断言集评审一次,去掉过时项、加上新要求。

变更断言动作
新要求加断言
要求废弃删断言
口径调整改断言

断言集是活文档,不是一次交付。 它与 13.3 的 ADR 呼应——任务规格变化记一条 ADR,断言集随 ADR 变更。断言集没人维护,就是一堆过期代码,误报漏报一起上。

断言与人工抽检

确定性断言覆盖不了语义。断言之外要配人工抽检——抽样看输出,判断语义是否合理。人工抽检的样本量按 12.3 的统计算:断言全过 + 人工抽检通过,才是完整验收。断言是自动门,人工是语义关,两者互补。

检查自动人工
结构断言—
关键词断言—
语义—抽检

抽检的结果要回流到断言集。 人工抽检发现"断言全过但语义差",说明断言不够——补一条断言把语义问题变成可复现检查。断言集在一次次的抽检反馈中变强。

语义断言的边界

语义断言要谨慎。“输出是否合理"很难写成可复现断言——用关键词、规则逼近语义,但永远有缺口。语义断言的两个边界:同义改写(关键词命中失败)与反例(关键词命中但语义错误)。边界存在不是坏事,但要承认——断言覆盖结构,语义靠人工与统计。

边界例子
同义改写“出发时间"vs"起飞时刻”
反例含关键词但语义错

边界决定断言设计的取舍。 已知的同义改写,加同义词断言;已知的反例,加排除断言。断言设计是对"能复现覆盖什么"的清醒判断——不追求覆盖全部语义,追求覆盖能复现的关键结构。

断言的粒度

断言粒度要平衡。太细(每句话一个断言)维护成本高,太粗(只查有无输出)漏覆盖。常用分层:核心断言(必须的几条)+ 完整断言(覆盖全部要求)。核心断言跑每次,完整断言跑回归。

粒度跑法用途
核心每次快速门
完整回归全量验收
分层按场景平衡

粒度分层与 12.3 的样本量配套。 核心断言跑得快,可以频繁跑(小样本也够);完整断言贵,按回归节奏跑(样本量先算)。断言的成本也是预算。

断言的优先级

断言失败要分轻重。关键事实缺失是 P0,格式瑕疵是 P2——失败分级让修复有轻重缓急。全部断言同等重要,等于没有优先级——修一个 P2 拖住 P0,问题越积越多。

级别例子处理
P0关键事实缺失阻断发布
P1结构错误尽快修
P2格式瑕疵有空修

优先级与 11.1 的失败分类呼应——断言失败也可以分类:可修复(改 prompt)、需重跑(样本不足)、结构性(要重设计)。断言优先级是评估侧的"分类表”。

断言与失败修复

断言失败要有闭环。断言失败 → 定位 → 修复 → 回归——不能只"报失败"不"改"。定位靠 12.1 的追踪(这次运行的调用链,哪段输出没过),修复改 prompt 或逻辑,回归重跑断言集确认通过。

环节工具
定位追踪(12.1)
修复prompt/逻辑
回归断言集

闭环让断言从"告警"变成"改进引擎"。 每次失败都驱动一次修复,断言集在闭环中变强。没有闭环,断言失败只是噪音,过一段时间大家就不看了。

架构判据

确定性评估是否合格,用五条判据检查:

判据合格的样子不合格的样子
断言可复现同输出同结果断言结果漂移
逐项可判每项独立列出只给总分
断言是硬要求不过即失败建议性检查
有基线守门变更守住通过率断言悬空不用
与统计配套样本量有据可依跑一次就下结论

判据第一条是"断言必须可复现",判据第三条才是关键:断言是硬性验收不是软性建议——过了才叫通过。判据第五条是 12.2 与 12.3 的接缝——断言 1.0 跑一次不够,样本量说了算。

小结

  • 生成式输出评估走中间路线:确定性断言,不逐字也不打漂移分。
  • 断言四类:关键词、格式、长度、结构,都是硬性要求。
  • 逐项判定、独立列出,哪条不过一目了然。
  • 断言集合是任务基线,变更的守门员。
  • 断言是及格线,统计是样本量,两者配套才可信。

阅读导航:上一节:12.1 调用链追踪与 token 成本 · 下一节:12.3 统计有效性:样本量与显著性 。

常见错误与边界

  1. 断言结果漂移。 同输出不同结果,断言不可复现等于没断言。
  2. 只给总分。 逐项列不出,哪条不过看不见,无从修。
  3. 断言当建议。 软性检查过了也没意义,必须硬性验收。
  4. 跑一次就下结论。 1.0 一次不代表稳定,样本量说了算。
  5. 断言悬空。 建了断言不当基线用,变更悄悄掉分没人守门。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图