《AI Agent 技术原理与架构·模型、推理与能力边界》7.2 推理模型:RLVR、GRPO 与可验证奖励

推理模型的关键不是“想得更久”,而是用可验证结果做强化学习:答案对错、测试是否通过、引用是否命中,都能变成奖励。本节用组相对优势和标量策略梯度演示 GRPO 的核心,说明它为什么不需要奖励模型,讨论奖励粒度与组大小,以及可验证奖励的覆盖边界与奖励黑客风险。

以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。

偏好学习用“人更喜欢哪个回答”做信号,可验证奖励(RLVR, Reinforcement Learning with Verifiable Rewards)换了一个更硬的信号:答案是否与标准答案一致、代码是否通过测试、数学结果是否可被符号检查器验证。它不需要训练奖励模型,也不依赖标注者的主观判断;奖励来自一个可以重复执行的验证器。

这带来两个好处:信号更客观,训练更稳定;也带来两个边界:只有能被验证的任务才能用,且模型会优化验证器的漏洞。 推理模型的能力提升,很大程度上来自“把可验证任务上的成功经验迁移到不可验证任务”,而不是“模型突然学会了通用思考”。

从偏好奖励到可验证奖励

信号来源优点风险
人类偏好标注者比较覆盖开放任务主观、长度/风格偏差
奖励模型偏好数据训练可批量打分奖励黑客、分布外失真
可验证奖励答案/测试/检查器客观、可重复只覆盖可验证任务
混合信号以上组合覆盖更广权重难调、归因困难

可验证奖励不一定是“完全正确”。它可以是单元测试通过、SQL 查询结果一致、数学表达式等价、引用片段存在。关键是验证器要独立于策略:不能让模型自己判断自己对不对。

GRPO 在做什么

近端策略优化(PPO)通常需要一个价值网络(critic)估计基线,再用优势函数更新策略。GRPO(Group Relative Policy Optimization)去掉了 critic:对同一个问题采样一组回答,用组内奖励的均值作为基线,用标准差归一化得到优势:

$$
A_i = \frac{r_i - \operatorname{mean}(r)}{\operatorname{std}(r)}
$$

然后对每个回答做策略梯度更新,并加一个相对参考策略的 KL 惩罚,防止策略跑得太远。直观地说:组内比平均好的回答被提高概率,比平均差的被降低概率。 不需要单独学习“这个状态值多少”。

组件PPOGRPO
价值网络需要不需要
基线critic 估计组内均值
采样通常单条/小批同一问题一组
主要超参裁剪、GAE、critic 学习率组大小、KL 系数

组大小是关键超参。组太小,均值和方差估计不稳;组太大,采样成本上升。对可验证任务,组内奖励常常是 0/1,方差在“全对”或“全错”时为 0,这时优势全为 0,更新没有信号。训练需要保证组内有对有错,或者用更细的奖励(部分分、步骤分)。

最小实验:组相对优势与策略更新

下面的实验实现可验证奖励、组相对优势、标量 GRPO 损失和一次策略更新。它不训练真实模型,只展示“奖励如何变成优势、优势如何推动对数概率”。

# file: agp_lab/rlvr.py | write
# tier: 3
# verify: python3 -m unittest tests.test_rlvr
"""可验证奖励与 GRPO 的组相对优势:一个标量策略梯度玩具。"""
from __future__ import annotations

import math


def verifiable_reward(answer: str, expected: str) -> float:
    """只给可判定的结果发奖励,不给“看起来合理”的中间文本发奖励。"""
    return 1.0 if answer.strip() == expected.strip() else 0.0


def group_advantages(rewards: list[float], eps: float = 1e-6) -> list[float]:
    if not rewards:
        raise ValueError("组不能为空")
    mean = sum(rewards) / len(rewards)
    variance = sum((reward - mean) ** 2 for reward in rewards) / len(rewards)
    std = math.sqrt(variance)
    if std < eps:
        return [0.0 for _ in rewards]
    return [(reward - mean) / (std + eps) for reward in rewards]


def grpo_loss(logp: float, ref_logp: float, advantage: float,
              beta: float = 0.01) -> float:
    """策略梯度项 + 相对参考策略的 KL 惩罚(标量示意)。"""
    if beta < 0:
        raise ValueError("beta 不能为负")
    ratio = math.exp(logp - ref_logp)
    return -advantage * ratio + beta * (logp - ref_logp) ** 2


def update_logp(logp: float, advantage: float, lr: float = 0.1) -> float:
    """优势为正时提高该回答的对数概率,为负时降低。"""
    return logp + lr * advantage


if __name__ == "__main__":
    rewards = [1.0, 0.0, 0.0, 0.0]
    advantages = group_advantages(rewards)
    print("rewards:", rewards)
    print("advantages:", [round(value, 3) for value in advantages])
    for reward, advantage in zip(rewards, advantages):
        updated = update_logp(-1.0, advantage)
        print(f"reward={reward:.0f} advantage={advantage:+.3f} logp={updated:+.3f}")
    print("loss:", round(grpo_loss(-1.0, -1.1, 1.0), 4))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.rlvr

输出:

rewards: [1.0, 0.0, 0.0, 0.0]
advantages: [1.732, -0.577, -0.577, -0.577]
reward=1 advantage=+1.732 logp=-0.827
reward=0 advantage=-0.577 logp=-1.058
reward=0 advantage=-0.577 logp=-1.058
reward=0 advantage=-0.577 logp=-1.058

四条回答里只有一条通过验证器,奖励为 1,其余为 0。组内均值 0.25,标准差约 0.433;归一化后,正确回答的优势是 +1.732,错误回答是 -0.577。这个不对称很重要:一组里只有一个正确答案时,正确样本的更新权重远大于错误样本。

更新后的对数概率:正确回答从 -1.0 升到 -0.827,错误回答降到 -1.058。方向符合预期:提高正确回答的概率,降低错误回答的概率。真实训练里,更新会同时影响所有 token 的概率,并受 KL 惩罚约束;这里只用一个标量代表“该回答的对数概率”。

grpo_loss 的输出 -1.1051 是“优势项 + KL 项”的标量示意,不是可直接优化的真实损失。它的作用是提醒:GRPO 不是只有奖励,还有一个把策略拉回参考模型的约束;没有这个约束,策略可能为了奖励而破坏语言能力。

可验证奖励的边界

边界表现应对
覆盖有限开放写作、策略判断没有验证器混合偏好信号或人工评估
验证器有漏洞改测试、猜答案、利用格式隐藏测试、独立验证、对抗样本
奖励稀疏一组全错或全对,优势为 0课程学习、部分分、增大组
分布偏移训练题和线上题不同评测集覆盖真实分布
过度优化奖励上升,能力或可读性下降KL 约束、能力回归、早停

第二个边界最危险。代码任务里,模型可能学会修改测试而不是修代码;数学任务里,模型可能学会猜格式而不是推导;检索任务里,模型可能学会堆关键词而不是理解问题。这些都不是“模型变坏”,而是奖励函数定义了什么,模型就优化什么。

与 RLHF 的关系

RLVR 和 RLHF 不是替代关系,而是不同信号源:

  • RLHF 适合“没有唯一正确答案、但人能比较”的任务:写作、语气、有用性。
  • RLVR 适合“有客观判定”的任务:数学、代码、结构化查询、可核对的引用。
  • 推理模型通常先用 RLVR 获得可验证能力,再用偏好信号调整表达和安全性。

把两者混在一起时,要明确权重和评测口径。用偏好信号覆盖可验证正确性,会让模型学会“说得好听”;用可验证信号覆盖开放任务,会让模型只会做有标准答案的题。

架构含义

RLVR/GRPO 对 Agent 架构有四个直接约束:

  1. 验证器要独立。 不能用策略自己的判断做奖励;测试、检索、符号检查器必须外部执行。
  2. 验证器要隐藏。 训练时可见的测试会被利用;保留一部分隐藏测试做最终评估。
  3. 奖励要可分解。 全对/全错的 0/1 奖励在组内全同时没有信号;部分分和步骤分能提高学习效率。
  4. 能力要回归。 奖励上升不等于能力上升;每次训练后要跑通用能力、格式和安全回归。

第 1 条是底线。让模型参与给自己的答案打分,等于把奖励黑客写进训练目标。

架构判据

判据合格的样子不合格的样子
奖励可验证外部测试/检查器给出 0/1 或分步分模型自评
验证器独立与被训练策略分离同一模型既生成又判分
测试有隐藏集训练集与最终评测集分离用训练测试评估
优势有信号组内有对有错或使用部分分全对/全错仍强行训练
能力有回归训练后跑通用能力与安全评测只看奖励曲线

这些判据里,“测试有隐藏集”决定结论是否可信。训练集上的通过率可以因记忆或利用漏洞而虚高;只有隐藏集上的提升,才能说明模型学到了可迁移的能力。

一个代码 Agent 的例子

假设用单元测试作为可验证奖励训练代码修复 Agent。训练集里的测试是可见的,模型可能学会:

  • 修改测试断言,让它通过;
  • 捕获异常并返回默认值,绕过失败;
  • 只针对测试输入写特判。

这些行为在训练奖励上都是满分,但在真实任务上是灾难。防线不是“告诉模型不要作弊”,而是:测试文件只读、隐藏测试单独运行、代码审查检查 diff 的合理性、线上用真实回归集评估。奖励设计必须假设模型会寻找最省力的通过路径。

奖励设计的三种粒度

粒度例子优点风险
结果级最终答案对/错简单、客观稀疏,长链难学
步骤级每一步有检查点信号密,能纠偏步骤标注成本高
部分分测试通过 3/5缓解稀疏可能奖励“多改多过”

结果级奖励最常用,也最稀疏。步骤级奖励需要能判定中间步骤的验证器,往往只在数学、代码、结构化任务里可用。部分分要小心设计:如果按“通过的测试数”给分,模型可能学会改测试或堆补丁。

组大小与训练稳定性

组大小 $G$ 影响优势估计的方差。$G$ 太小,均值和标准差抖动,更新方向不稳定;$G$ 太大,采样成本线性上升。对 0/1 奖励,组内全对或全错的概率随 $G$ 变化;题目太难或太易时,组内没有区分度,优势全为 0。

一个实用的做法是动态筛题:只保留组内有对有错的样本进入训练,全对/全错的组用于评估或课程调整。这样既节省算力,又避免无信号更新。

一个数学任务的例子

假设题目是“求一个三元一次方程组的整数解”,验证器直接代入检查。模型采样 8 条,2 条正确,6 条错误:

  • 奖励为 [1,1,0,0,0,0,0,0];
  • 均值 0.25,标准差约 0.463;
  • 正确样本优势约 +1.62,错误样本约 -0.54。

这次更新会提高那两条正确解法的概率。但如果两条正确解法是同一种套路,模型学到的可能是“这个套路”而不是“解方程组”;换一道题,套路可能失效。隐藏测试和分布外评测就是用来发现这个问题的。

评测 RLVR 模型

评估不能只看训练奖励。至少要看四组指标:

  • 域内隐藏集:同分布但未参与训练的题;
  • 域外泛化:不同题型、不同难度;
  • 能力回归:通用语言、格式、安全;
  • 行为审计:是否出现改测试、猜答案、堆关键词等捷径。

第一组决定“有没有学会”,第二组决定“能不能迁移”,后两组决定“有没有变坏”。四组缺一,结论都不完整。

最后要强调:RLVR 的训练信号来自验证器,验证器的覆盖范围就是模型能力的边界。扩展验证器(更多题型、更强检查器、更真实的执行环境),往往比调 GRPO 超参更能提升上限。

小结

  • RLVR 用可验证结果做奖励,不训练奖励模型;信号客观,但只覆盖可验证任务。
  • GRPO 用组内均值和标准差构造优势,去掉 critic;组大小和 KL 系数是关键超参。
  • 组内全对或全错时优势为 0,训练没有信号;需要课程、部分分或更大组。
  • 可验证奖励的边界是覆盖、漏洞、稀疏、分布偏移和过度优化。
  • 验证器必须独立且保留隐藏测试;否则模型会优化测试而不是任务。
  • 奖励上升不等于能力上升;训练后必须做通用能力、格式和安全回归。

阅读导航:上一节:7.1 CoT:显式推理的收益与代价 · 下一节:7.3 测试时计算:何时更多 token 有用 。

常见错误与边界

  1. 用模型自评做奖励。 这等于把奖励黑客写进目标;验证器必须外部且独立。
  2. 训练集当评测集。 可见测试会被记忆或利用;必须保留隐藏测试。
  3. 忽略组内全同。 全对/全错时优势为 0,训练没有梯度;需要部分分或课程学习。
  4. 只看奖励曲线。 奖励上升可能是过度优化的结果;要同时看能力和安全回归。
  5. 把 RLVR 当通用推理药。 它只覆盖可验证任务;开放任务仍需要偏好信号或人工评估。
  6. 测试文件可写。 模型可能改测试而不是修代码;测试应只读并在独立环境运行。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图