《AI Agent 技术原理与架构·决策、记忆与学习》11.3 信用分配的局限与评测

归因方法再好也有天花板。本节用三步轨迹模型展示三个局限:日志关联不等于因果贡献、增加样本只能消除方差不能消除策略偏差、从不缺席的动作无法识别。实验对比真实效应与日志关联,并用 L1 误差展示样本量增大时误差收敛到非零下限,把归因评测的判据落到实处。

以下数字为教学示例,不构成对任何真实系统或供应商的承诺。

上一节的归因方法给了"功劳怎么分"的答案,但这一节要说清楚它们的天花板。归因不是免费的,它有三个结构性的局限:观测关联不等于因果贡献、样本量消除不了策略偏差、从不缺席的动作无法识别。这不是实现问题,是数据本身的信息量问题——换更大的模型、更多的日志,都越不过去。

这一节用三步轨迹模型把这三点一一演示。

模型:三步轨迹与真实因果

轨迹有三个动作:

动作因果作用出现条件语义
plan无永远计划(只记日志)
act决定成败永远执行
check无只在困难任务复核(只记日志)

任务成功率:容易任务 0.90、困难任务 0.50,各占一半。执行决定成败:act 的干预效应是 0.7。计划对成败没有作用,复核对成败也没有作用,但复核只在困难任务上出现——而困难任务恰好在失败。这就是埋给所有观测方法的陷阱:日志里复核与失败强烈相关,但它不是失败的原因。

最小实验:真实效应与观测方法同台

下面的实验先打印"真实效应"(do 干预)与五种观测/启发式方法的估计值,再打印样本量从 200 到 200000 的采样表。所有数字由二项采样与精确公式算出,没有随机叙事。

# file: agp_lab/credit_limits.py | write
# tier: 3
# verify: python3 -m unittest tests.test_credit_limits
"""信用分配的局限:延迟奖励、策略相关动作与归因误差。

轨迹有三步:计划(无因果作用)、执行(决定成败)、复核(无因果作
用,且只在困难任务上发生)。日志里复核与失败强烈相关,但它不是
失败的原因;执行永远发生,日志无法提供它的反事实。这个模型展示
两件事:观测关联不等于因果贡献,增加样本只能消除方差,不能消除
由策略造成的偏差。
"""
from __future__ import annotations

import random

ACTIONS = ("plan", "act", "check")
# (难度, 概率, 成功率);复核只在 hard 上执行,但对成功率没有影响。
DIFFICULTY = (("easy", 0.5, 0.90), ("hard", 0.5, 0.50))
DEFAULT_SEED = 2026


def sample_episodes(count: int, seed: int = DEFAULT_SEED) -> list[tuple[bool, bool]]:
    """返回 (是否困难, 是否成功) 的日志;行动策略固定为 plan→act→check。"""
    if count <= 0:
        raise ValueError("count 必须为正")
    rng = random.Random(seed)
    episodes: list[tuple[bool, bool]] = []
    for _ in range(count):
        hard = rng.random() < 0.5
        rate = 0.50 if hard else 0.90
        episodes.append((hard, rng.random() < rate))
    return episodes


def _action_present(action: str, hard: bool) -> bool:
    if action == "check":
        return hard
    return True


def log_association(episodes: list[tuple[bool, bool]]) -> list[float]:
    """日志关联:动作出现与不出现时的成功率之差。

    只在日志中出现过两种取值的动作才能估计;从不缺席的动作返回 0,
    这不是“没有作用”,而是“无法识别”。
    """
    if not episodes:
        raise ValueError("日志不能为空")
    effects: list[float] = []
    for action in ACTIONS:
        present = [success for hard, success in episodes if _action_present(action, hard)]
        absent = [success for hard, success in episodes if not _action_present(action, hard)]
        if not present or not absent:
            effects.append(0.0)
            continue
        effects.append(sum(present) / len(present) - sum(absent) / len(absent))
    return effects


def success_probability(forced: dict[str, bool] | None = None) -> float:
    """在难度分布上积分;forced 为空表示按日志策略执行。"""
    forced = forced or {}
    act = forced.get("act", True)
    total = 0.0
    for _, weight, rate in DIFFICULTY:
        total += weight * (rate if act else 0.0)
    return total


def interventional_effects() -> list[float]:
    """do 干预下的真实效应:计划与复核为 0,执行为 0.7。"""
    return [
        success_probability({action: True}) - success_probability({action: False})
        for action in ACTIONS
    ]


def last_step_credit(total: float = 0.7) -> list[float]:
    """末步启发式:延迟奖励全部记到最后一步(这里是复核)。"""
    credits = [0.0] * len(ACTIONS)
    credits[-1] = total
    return credits


def uniform_credit(total: float = 0.7) -> list[float]:
    share = total / len(ACTIONS)
    return [share] * len(ACTIONS)


def recency_credit(total: float = 0.7, decay: float = 0.5) -> list[float]:
    if not 0.0 < decay <= 1.0:
        raise ValueError("decay 必须在 (0, 1] 内")
    count = len(ACTIONS)
    weights = [decay ** (count - 1 - index) for index in range(count)]
    scale = sum(weights)
    return [total * weight / scale for weight in weights]


def l1_error(estimate: list[float], truth: list[float]) -> float:
    if len(estimate) != len(truth):
        raise ValueError("向量长度不一致")
    return sum(abs(left - right) for left, right in zip(estimate, truth))


def sampling_table(sizes: tuple[int, ...] = (200, 2000, 20000, 200000)) -> list[tuple[int, list[float], float]]:
    """样本量增大时,日志关联的误差收敛到由策略偏差决定的非零下限。"""
    truth = interventional_effects()
    rows = []
    for size in sizes:
        estimate = log_association(sample_episodes(size))
        rows.append((size, estimate, l1_error(estimate, truth)))
    return rows


def _print_estimators() -> None:
    truth = interventional_effects()
    variants = (
        ("truth", truth),
        ("log_assoc", log_association(sample_episodes(20000))),
        ("last_step", last_step_credit()),
        ("uniform", uniform_credit()),
        ("recency", recency_credit()),
    )
    print(f"{'method':<12}{'plan':>9}{'act':>9}{'check':>9}{'L1':>9}")
    for name, credits in variants:
        print(
            f"{name:<12}{credits[0]:>9.4f}{credits[1]:>9.4f}"
            f"{credits[2]:>9.4f}{l1_error(credits, truth):>9.4f}"
        )


if __name__ == "__main__":
    _print_estimators()
    print()
    print(f"{'n':>8}{'check_est':>12}{'L1':>9}")
    for size, estimate, error in sampling_table():
        print(f"{size:>8}{estimate[2]:>12.4f}{error:>9.4f}")

运行:

cd private/labs/agp-lab
python3 -m agp_lab.credit_limits

输出:

method           plan      act    check       L1
truth          0.0000   0.7000   0.0000   0.0000
log_assoc      0.0000   0.0000  -0.3984   1.0984
last_step      0.0000   0.0000   0.7000   1.4000
uniform        0.2333   0.2333   0.2333   0.9333
recency        0.1000   0.2000   0.4000   1.0000

       n   check_est       L1
     200     -0.3800   1.0800
    2000     -0.3802   1.0802
   20000     -0.3984   1.0984
  200000     -0.4011   1.1011

局限一:观测关联不等于因果贡献

先看"真实效应"与"日志关联"的差距。真实效应用 do 干预算出来:把 act 强制打开与强制关掉的成功率之差。日志关联则是"动作出现时成功率减不出现时成功率"。

方法planactcheckL1
truth(真实效应)0.00000.70000.00000.0000
log_assoc(日志关联)0.00000.0000-0.39841.0984
last_step(末步)0.00000.00000.70001.4000
uniform(均分)0.23330.23330.23330.9333
recency(近因)0.10000.20000.40001.0000

三个结论从这张表里直接读出来。

log_assoc 把 act 算成 0.0000。 执行永远发生,日志里根本没有"没执行"的样本,“动作出现 vs 不出现"的对比无从谈起,所以算法返回 0——这不是"没有作用”,而是**“无法识别”**。真实效应 0.7 被完全漏掉。这是第一个局限的极端形态:一个永远发生的动作,观测数据对它是失明的。

log_assoc 把 check 算成 -0.3984。 复核确实从不影响成功,但它在困难任务上才出现,而困难任务失败率高——日志关联把"出现在失败场景"读成"导致失败"。负贡献 -0.3984 是完全错误的方向。这是最危险的一类误差:它看起来像个发现(“复核越多的任务越失败”),其实是混淆变量(难度)在作祟。

last_step 也错,且错得更系统。 末步启发式把 0.7 全部记给 check,但 check 的因果作用明明是 0;act 反而得 0。上一节说过末步有"临门一脚"幻觉,这里看得更清楚:启发式不只是精度差,它把功劳分配给了日志里"位置靠后"的动作,而这个动作在因果上可能是最无辜的。

局限二:增加样本消除不了偏差

第一个怀疑自然是"日志不够多,多采样就准了"。这个怀疑对一部分成立——方差会缩小——但对偏差无效。下面的采样表把样本量从 200 一路加到 200000:

       n   check_est       L1
     200     -0.3800   1.0800
    2000     -0.3802   1.0802
   20000     -0.3984   1.0984
  200000     -0.4011   1.1011

看 check_est 一列:n=200 时是 -0.3800,n=200000 时是 -0.4011——样本量放大一千倍,估计值几乎没有变。它稳定在 -0.40 附近,而真实效应是 0。再看 L1 误差:1.0800 到 1.1011,非但没有缩小到 0,还微微涨了。

这就是"方差 vs 偏差"的现场演示:样本量消除的是方差(估计的抖动),消不掉的是偏差(策略造成的数据选择性)。复核只在困难任务上出现——这个选择是策略写死的,采样再多也改不了。日志关联的误差下限由策略决定,不由样本量决定。

局限三:测什么比怎么测更重要

三步轨迹模型给出了一个评测归因的统一框架:

归因方法L1 误差主要错误
均分0.9333给无作用的 plan/check 也记功
近因1.0000按位置加权,与因果无关
日志关联1.0984act 失明、check 记反向功劳
末步1.4000全部功劳给因果最无辜的 check

这张表的排序有个反直觉的结论:最便宜的均分启发式,在这个模型上反而比"看起来更有道理"的日志关联和末步更接近真值。原因正是那两个结构性局限——观测方法在永远发生的动作上失明,在混淆相关的动作上记错方向;而均分至少没有把功劳全押在错误的动作上。

这不是说均分更好,而是说评测必须知道"真值"。如果只比较"谁的轨迹被解释得好",末步在视觉上最"合理"(功劳给了收尾动作);只有对着因果真值算 L1,才能暴露它 1.4 的误差。归因评测的正确姿势是:构造一个因果已知的小模型,让各种方法同台比 L1。

归因评测的判据

判据合格的样子不合格的样子
有真值因果已知的小模型当基准只比"解释得好不好看"
报 L1与真实效应的总误差只报每个动作的估计值
区分方差与偏差采样表展示误差下限以为加样本就准确
暴露失明永远发生的动作标记为不可识别把 0 当"没有作用"
检验混淆无因果动作相关失败能暴露把关联当因果

“把 0 当’没有作用’“是评测里最普遍的误读。log_assoc 给 act 返回 0,正确理解是"数据里无法识别”,不是"act 确实没作用”。归因系统如果把这个 0 直接拿去发奖励,等于告诉 Agent"执行没有功劳"——它会停止执行,任务全灭。

架构含义

信用分配的局限对架构有三个直接约束:

  1. 归因结果要标"可识别性"。 0 的语义要区分"无作用"与"无法识别",不能混为一谈。
  2. 记录策略与归因解耦。 如果日志里某类动作永远缺席(或永远出现),要意识到归因对它是失明的,别用启发式硬凑。
  3. 上线前做因果基准测试。 构造因果已知的小模型,跑一轮 L1 对比,再决定生产用哪种归因。

第 3 条是把"评测"落到架构上的关键一步:归因方法的选型应该是测量的结果,不是口味。

与三条工作负载的关系

  • W1 检索问答:日志关联把"命中引用的回答成功率高"读成"引用导致成功",混淆的是回答本身的质量;W1 用干预式评测更安全。
  • W2 代码修复:act 类动作(真正改代码)永远发生,日志对它是失明的;修复归因要依靠运行结果,不靠动作统计。
  • W3 运维处置:check 类审计动作与失败强相关但无因果作用;用日志关联做 W3 归因会系统性惩罚"做复核"。

W3 是这一节的现实缩影:运维处置里大量动作是记录类、复核类的配角,而处置动作永远出现。对 W3 用日志关联做归因,必然得出"复核导致失败"的错误结论,Agent 会被训练成不做复核。W3 的归因只能以可验证的处置结果为准。

小结

  • 归因有三个结构性局限:关联不等于因果、样本消不掉偏差、永现动作失明。
  • 复核只在困难任务出现,日志里它和失败强相关,但它是混淆,不是原因。
  • 执行永远发生,日志没有它的反事实,观测方法对它失明,算出 0 不代表没作用。
  • 样本量从 200 加到 200000,误差收敛到非零下限:偏差由策略决定。
  • 便宜的均分在本模型上比日志关联更接近真值:评测必须对着因果真值算 L1。
  • 归因选型应该是因果基准测试的结果,不是口味。

阅读导航:上一节:11.2 归因方法:反事实、Shapley 与启发式 · 下一节:12.1 SFT:行为克隆与轨迹数据 。

常见错误与边界

  1. 把 0 当"没有作用"。 永现动作算 0 是"无法识别",拿去发奖励会让 Agent 停止执行。
  2. 用日志关联做归因。 混淆变量会把"出现在失败场景"读成"导致失败"。
  3. 以为加样本就准确。 样本只消方差,策略偏差是误差下限,换数据换不掉。
  4. 末步启发式分配因果。 收尾动作常是因果上最无辜的,末步把功劳全押给它。
  5. 只比"解释得好不好看"。 末步在视觉上最合理,L1 误差却有 1.4。
  6. 忽略可识别性标注。 归因结果不带"可识别/失明"标记,下游就会误读 0。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图