《AI Agent 技术原理与架构·决策、记忆与学习》10.3 放弃与澄清:什么时候不该调用

Agent 不是每件事都该调用工具。本节把“调不调”建模成三个动作的期望效用:调用、澄清、放弃。以 p 表示无需澄清即可正确执行的概率,对三类负载扫描 p 得到动作边界。实验展示不可逆动作的门槛远高于只读动作,以及没有澄清通道时 W3 只能放弃,说明“不调用”与“澄清”是必需的动作空间成员。

以下数字为教学示例,不构成对任何真实系统或供应商的承诺。

“能用工具就不要空谈"是 Agent 设计里的一句口号,但它是错的。有些情况下直接调用是亏的:参数不确定时,调用可能失败并付出损失;损失太大时,甚至澄清都显得贵。正确的姿势是给 Agent 三个动作——调用、澄清、放弃——让期望效用而不是"能用工具就用"决定选哪个。

这一节把"调不调"建模成期望效用。设 p 为"当前参数可以直接正确执行"的概率,三个动作各有一个效用函数。对三类负载扫描 p,就能看到各自的动作边界。

三个动作的期望效用

动作收益成本/风险
调用p·收益(1−p)·失败损失 + 调用成本
澄清澄清后更可能成功澄清成本 + 澄清成功率打折
放弃0机会成本,但无损失

调用在 p 高时最优,澄清在 p 中低且有澄清通道时最优,放弃在 p 很低、失败损失极大时最优。三个动作的选择不是风格,是效用的算术结果。

损失决定门槛

“要不要直接调用"的门槛主要由失败损失决定。公式里的关键量是 loss:调用错误付出多少。损失越大,直接调用越不划算,越该先澄清或放弃。

这就是 W1 与 W3 的差别所在:

  • W1 只读问答失败损失小(0.1),p=0.8 左右就值得直接调用;
  • W3 运维处置失败损失大(10),p 要超过 0.958 才值得直接调用——比 W1 高了近 0.18。

不可逆动作的调用门槛必须高,这不是保守主义,是把失败代价写进效用后的算术结论。

没有澄清通道时只能放弃

W3n 和 W3 参数完全相同,唯一区别是 clarify_success=0.0——澄清永远不成功。结果是它的动作边界和 W3 完全不同:低 p 时直接 abstain,而不是 clarify。

这说明澄清通道不是"锦上添花”,而是动作空间的组成部分。没有有效的澄清,Agent 面对不确定参数时的选择只剩两个:冒险调用,或直接放弃。前者把不可逆操作交给噪声,后者把可挽救的任务白白扔掉。澄清能力缺失,会让"放弃"成为唯一的安全选择。

最小实验:三个动作的边界

下面的实验对 W1、W2、W3 以及一个澄清失效的 W3n 扫描 p 从 0.50 到 1.00,输出每个 p 下的最优动作。

# file: agp_lab/abstain_clarify.py | write
# tier: 3
# verify: python3 -m unittest tests.test_abstain_clarify
"""调用、澄清与放弃:三者的期望效用。

设 p 为“当前参数可以直接正确执行”的概率。调用有成功收益、失败损失和
调用成本;澄清有成本,成功后才调用;放弃收益为零。对三类负载扫描 p,
得到各自的动作边界,并说明为什么不可逆动作的门槛远高于只读动作。
"""
from __future__ import annotations

from dataclasses import dataclass


@dataclass(frozen=True)
class Workload:
    name: str
    gain: float
    loss: float
    call_cost: float = 0.05
    clarify_cost: float = 0.10
    clarify_success: float = 0.85


WORKLOADS = (
    Workload("W1", gain=1.0, loss=0.1),
    Workload("W2", gain=2.0, loss=1.0),
    Workload("W3", gain=3.0, loss=10.0),
    Workload("W3n", gain=3.0, loss=10.0, clarify_success=0.0),
)

ACTIONS = ("call", "clarify", "abstain")
SAFETY_ORDER = {"call": 0, "clarify": 1, "abstain": 2}


def expected_utility(action: str, p: float, workload: Workload) -> float:
    """p 是无需澄清即可正确执行的概率。"""
    if not 0.0 <= p <= 1.0:
        raise ValueError("p 必须在 [0, 1] 内")
    if action == "call":
        return p * workload.gain - (1.0 - p) * workload.loss - workload.call_cost
    if action == "clarify":
        return -workload.clarify_cost + workload.clarify_success * (
            workload.gain - workload.call_cost
        )
    if action == "abstain":
        return 0.0
    raise ValueError(f"未知动作: {action}")


def decide(p: float, workload: Workload) -> str:
    """返回期望效用最高的动作;并列时偏向更保守的动作。"""
    scored = [(expected_utility(action, p, workload), SAFETY_ORDER[action], action)
              for action in ACTIONS]
    return max(scored)[2]


def call_threshold(workload: Workload) -> float:
    """调用首次优于澄清(或无澄清时优于放弃)的 p 下界。"""
    numerator = (
        workload.loss
        + workload.call_cost
        - workload.clarify_cost
        + workload.clarify_success * (workload.gain - workload.call_cost)
    )
    versus_clarify = numerator / (workload.gain + workload.loss)
    versus_abstain = (workload.loss + workload.call_cost) / (workload.gain + workload.loss)
    return min(1.0, max(0.0, versus_clarify, versus_abstain))


def sweep(workloads: tuple[Workload, ...] = WORKLOADS,
          ps: tuple[float, ...] = tuple(round(0.50 + 0.05 * i, 2) for i in range(11))) -> list[tuple[float, list[str]]]:
    rows = []
    for p in ps:
        rows.append((p, [decide(p, workload) for workload in workloads]))
    return rows


if __name__ == "__main__":
    print("workload  call_threshold")
    for workload in WORKLOADS:
        print(f"{workload.name:<9} {call_threshold(workload):>8.3f}")
    print()
    print(f"{'p':<6}" + "".join(f"{workload.name:<10}" for workload in WORKLOADS))
    for p, decisions in sweep():
        print(f"{p:<6.2f}" + "".join(f"{action:<10}" for action in decisions))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.abstain_clarify

输出:

workload  call_threshold
W1           0.780
W2           0.869
W3           0.958
W3n          0.773

p     W1        W2        W3        W3n       
0.50  clarify   clarify   clarify   abstain   
0.55  clarify   clarify   clarify   abstain   
0.60  clarify   clarify   clarify   abstain   
0.65  clarify   clarify   clarify   abstain   
0.70  clarify   clarify   clarify   abstain   
0.75  clarify   clarify   clarify   abstain   
0.80  call      clarify   clarify   call      
0.85  call      clarify   clarify   call      
0.90  call      call      clarify   call      
0.95  call      call      clarify   call      
1.00  call      call      call      call      

这张表是动作边界的完整图景。

门槛按负载严格排列。 call_threshold 从小到大:W1 0.780 < W3n 0.773?——注意 W3n 0.773 是因为它没有澄清,直接对比的是"调用 vs 放弃"而不是"调用 vs 澄清”,所以门槛反而低了。真正有澄清通道的负载里,W1 0.780 < W2 0.869 < W3 0.958:越不可逆,越要等到更有把握才调用。

W3 到 p=0.95 还在澄清。 即使有 95% 的把握参数正确,W3 仍然选择先澄清——因为失败损失 10 太大,5% 的失败期望损失 0.5,比澄清成本 0.10 高得多。对不可逆操作,“再确认一次"不是多疑,是算术要求。

W3n 的低 p 区间全是放弃。 p 从 0.50 到 0.75,W3n 一律 abstain;W3 到 p=0.75 还在 clarify。澄清通道的存在把"直接放弃"推迟到了更低的 p。没有澄清,Agent 就没有"挽回"的选项,只能在冒险和放弃之间选。

“不调用"也是动作

动作空间必须包含"不调用”。三个理由:

  1. 不是所有请求都该触发工具。 参数不足时调用是赌博,不是尽责。
  2. 澄清是动作,不是失败。 “问用户"应该被当作一次合法的动作记录,而不是"没完成”。
  3. 放弃要能表达。 当调用期望效用为负时,明确拒绝比勉强调用更安全,也比编一个失败记录诚实。

很多 Agent 把这三个状态都当成"异常"来处理,于是系统倾向是"无论如何都调用”。这正好和效用结论相反:该做的是让三个动作都成为一等公民,由效用决定选哪个。

效用参数的来源

动作边界的计算依赖四个参数:成功概率 p、调用收益、失败损失、澄清成功率与成本。它们从哪来,决定了边界是否可信:

参数来源不可靠的来源
p(参数正确的概率)历史调用的成功率统计模型自评"我有把握"
调用收益任务价值声明拍脑袋设一个
失败损失不可逆性评估 + 修复成本一律按最小值
澄清成功率澄清通道的实测假设"问了就能答"

四条里最容易虚标的是失败损失。W3 之所以门槛到 0.958,不是因为它"看起来危险",而是它的 loss=10 写进了公式;如果实现时把 loss 填成 1,门槛立刻回到 W1 水平,不可逆操作就被交给低把握的调用。效用的精度决定动作的质量,参数来源不透明,边界算得再准也是建立在流沙上。

p 的来源同样要小心:模型自评的"把握"是校准问题的输入,不是事实。9.x 讨论过校准,这里再强调一次——用模型自报置信度当 p,等于把效用计算交给同一个会错的模型。p 应该来自真实调用结果的统计,至少要有定期校准。

架构含义

放弃与澄清对架构有三个直接约束:

  1. 动作空间包含不调用。 澄清与放弃是显式动作,有触发条件与记录。
  2. 失败损失要声明。 每个工具要带上"调用错误损失"的估计,效用才有输入。
  3. 澄清要有效。 澄清通道必须真实可用(能问、能收到回答),否则系统只能放弃。

第 2 条是容易被跳过的:不做失败损失的标注,就无法算门槛,动作选择就回到"凭感觉"。

架构判据

判据合格的样子不合格的样子
三动作齐全调用/澄清/放弃都有只有"调用或报错"
损失有数工具带失败损失估计损失是隐式的
门槛可算边界由效用导出靠提示词叮嘱
澄清有效问得到答、答能进状态澄清是装饰
放弃可记录放弃是合法动作放弃=系统故障

“放弃可记录"很重要:把放弃当成合法结果而不是错误,系统才能审计"多少次没敢调用"以及"为什么”。这是动作空间质量的一面镜子。

小结

  • “能用工具就用"是错的:调用、澄清、放弃三者的选择要由期望效用决定。
  • 失败损失决定调用门槛:越不可逆,越要等到更有把握才调用。
  • W3 在 p=0.95 仍该澄清,不是多疑,是失败损失 10 的算术要求。
  • 澄清通道缺失,低 p 区间只剩放弃:澄清是动作空间的一部分,不是装饰。
  • “不调用"也是动作:澄清与放弃要作为一等公民记录。
  • 每个工具要声明失败损失,否则门槛算不出来。

阅读导航:上一节:10.2 参数构造:从意图到调用 · 下一节:11.1 轨迹奖励与过程奖励 。

常见错误与边界

  1. 把澄清当失败。 “问用户"是合法动作;当成异常会让系统倾向直接调用。
  2. 没有放弃选项。 调用期望效用为负时,放弃比赌博安全,也比编失败诚实。
  3. 不标失败损失。 门槛算不出来,选择回到凭感觉。
  4. 澄清是装饰。 问了收不到回答,澄清无效,低 p 区间只能放弃。
  5. 对不可逆动作低门槛。 W3 的失败损失高,直接调用的 p 要逼近 0.96。
  6. 把放弃记成故障。 放弃要可审计可归因,否则系统不敢表达"不该调用”。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图