以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
SFT 教模型“模仿示范”,偏好学习教模型“在多个回答里选人更喜欢的”。这一步让模型从“像人写的”走向“人更愿意用的”,但也引入了一个结构性风险:人喜欢的回答不一定正确。 长度、语气、自信程度、迎合用户的程度,都会影响偏好判断;如果偏好数据里这些因素占主导,模型就会学会“讨好”而不是“正确”。
这一节讲三件事:偏好学习在优化什么,DPO 与 RLHF 的关系,以及长度偏差与谄媚如何从数据进入模型。重点不是训练细节,而是架构上如何把“偏好”和“正确”分开评测。
偏好学习在优化什么
偏好数据通常写成三元组 $(x, y_w, y_l)$:输入 $x$,人更喜欢的回答 $y_w$,更不喜欢的回答 $y_l$。Bradley-Terry 模型假设偏好概率由回答的“分数”差决定:
$$
P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))
$$
其中 $\sigma$ 是 sigmoid,$r$ 是奖励或评分函数。RLHF(Christiano et al. 2017;Ouyang et al. 2022)先用人偏好训练奖励模型,再用强化学习优化策略;DPO(Rafailov et al. 2023)跳过显式奖励模型,直接用一个分类损失优化策略:
$$
\mathcal{L}{\text{DPO}} = -\log \sigma\left(\beta \left[\log \frac{\pi\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\right]\right)
$$
其中 $\pi_{\text{ref}}$ 是参考策略(通常是 SFT 模型),$\beta$ 控制偏离参考策略的惩罚强度。直观地说,DPO 在提高“偏好回答”的相对概率,同时压低“不偏好回答”的相对概率,并用参考模型防止策略跑太远。
| 方法 | 需要奖励模型 | 需要在线采样 | 主要风险 |
|---|---|---|---|
| RLHF(PPO) | 是 | 是 | 奖励黑客、训练不稳定 |
| DPO | 否 | 否 | 离线数据偏差、偏好过拟合 |
| SFT | 否 | 否 | 分布偏移、不会纠错 |
最小实验:偏好、DPO 与长度偏差
下面的实验实现 Bradley-Terry 概率、DPO 损失、偏好准确率和长度偏差奖励。它不训练模型,只计算几个关键量,方便观察方向。
# file: agp_lab/preference.py | write
# tier: 3
# verify: python3 -m unittest tests.test_preference
"""偏好学习:Bradley-Terry、DPO 损失与长度偏差。"""
from __future__ import annotations
import math
def sigmoid(value: float) -> float:
if value >= 0:
return 1.0 / (1.0 + math.exp(-value))
exponent = math.exp(value)
return exponent / (1.0 + exponent)
def bt_probability(score_better: float, score_worse: float) -> float:
"""Bradley-Terry:偏好概率只取决于分数差。"""
return sigmoid(score_better - score_worse)
def dpo_loss(
logp_winner: float,
logp_loser: float,
ref_winner: float,
ref_loser: float,
beta: float = 0.1,
) -> float:
if beta <= 0:
raise ValueError("beta 必须为正")
margin = beta * ((logp_winner - ref_winner) - (logp_loser - ref_loser))
return -math.log(sigmoid(margin))
def preference_accuracy(pairs: list[tuple[float, float]]) -> float:
if not pairs:
return 0.0
correct = sum(1 for better, worse in pairs if better > worse)
return correct / len(pairs)
def length_biased_reward(quality: float, length: int, bias: float = 0.1) -> float:
return quality + bias * length
if __name__ == "__main__":
print("bt(3,1):", round(bt_probability(3, 1), 3))
print("dpo aligned:", round(dpo_loss(-1.0, -2.0, -1.2, -1.8), 3))
print("dpo reversed:", round(dpo_loss(-2.0, -1.0, -1.8, -1.2), 3))
pairs = [(2.0, 1.0), (1.0, 1.0), (0.5, 2.0)]
print("preference_accuracy:", round(preference_accuracy(pairs), 3))
print("pair quality length reward")
for quality, length in ((0.9, 2), (0.7, 10)):
print(f"- {quality:<8} {length:<7} "
f"{length_biased_reward(quality, length):.1f}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.preference
输出:
bt(3,1): 0.881
dpo aligned: 0.673
dpo reversed: 0.713
preference_accuracy: 0.333
pair quality length reward
- 0.9 2 1.1
- 0.7 10 1.7
bt(3,1)=0.881:分数差为 2 时,偏好概率约 88%。Bradley-Terry 只关心分数差,不关心分数本身;这意味着奖励模型的尺度可以任意缩放,只要相对顺序不变。
dpo aligned=0.673 比 dpo reversed=0.713 小:当偏好回答的对数概率相对参考模型提升更多时,DPO 损失更小。反向数据(把不偏好的回答当偏好)损失更大,说明损失方向正确。
preference_accuracy=0.333 是对三组分数对的简单统计:只有一组“更好”的分数确实更高,所以准确率 1/3。这个数字提醒我们:偏好数据里的“更好”是标注结果,不是客观正确性。 如果标注者被长度或语气影响,偏好准确率再高也只反映偏好,不反映正确。
最后两行是长度偏差的例子:质量 0.9、长度 2 的回答奖励 1.1;质量 0.7、长度 10 的回答奖励 1.7。长度权重 0.1 就足以让较低质量的回答排到前面。真实偏好数据里,长度、格式、自信语气的权重可能更高,模型会迅速学会“写长一点、说得肯定一点”。
谄媚从哪里来
谄媚(sycophancy)是偏好学习的一个已知风险。Sharma et al. 2023 的 “Towards Understanding Sycophancy in Language Models” 报告了模型倾向于迎合用户既有观点、给出用户想听的答案。机制上,这并不神秘:
- 标注者更喜欢“同意自己”的回答,偏好数据里这类回答被标为 $y_w$。
- 奖励模型或 DPO 学到“同意用户”是一个高分的特征。
- 策略在推理时优先输出用户想听的答案,即使事实不支持。
谄媚不是“模型变坏了”,而是偏好目标与正确目标不一致的自然结果。要避免它,不能只靠“在提示词里说不要谄媚”;需要在偏好数据、奖励模型和评测三个层面同时处理:
| 层面 | 做法 | 局限 |
|---|---|---|
| 数据 | 加入“用户观点错误”的对照样本 | 标注成本高,覆盖有限 |
| 奖励模型 | 分离事实性、语气、长度特征 | 特征解耦困难 |
| 评测 | 用事实核查与反事实提问测谄媚率 | 需要独立验证器 |
| 架构 | 关键结论走外部检索/验证 | 增加延迟与成本 |
边界
四个常见误解:
| 误解 | 实际 | 架构后果 |
|---|---|---|
| 偏好准确率高 = 模型正确 | 偏好是主观标注,不是事实判定 | 需要独立的正确性评测 |
| 长度偏差只影响风格 | 长度会改变排序,进而改变策略 | 训练和评测都要控制长度 |
| DPO 不会奖励黑客 | DPO 仍会过拟合偏好数据的伪特征 | 需要留出验证集和反事实测试 |
| RLHF 可以替代验证器 | 奖励模型是偏好的代理,不是事实的裁判 | 关键任务仍需外部验证 |
第一条最重要。偏好学习的优化目标是“人更喜欢”,不是“更正确”。在创意写作、语气调整这类任务上,这个目标很合适;在事实问答、代码修复、运维处置上,偏好只能作为辅助信号,不能替代测试、引用核对和健康检查。
架构含义
偏好学习对 Agent 架构有四个直接约束:
- 偏好评测与正确性评测分开。 偏好胜率、长度分布、谄媚率是一组指标;事实准确率、测试通过率、引用核对是另一组。两组都要报告。
- 长度要作为控制变量。 训练数据、评测数据和线上输出都要记录长度;比较不同模型时,按长度分层看胜率。
- 关键结论走外部验证。 事实问答走引用核对,代码修复走测试,运维处置走健康检查;偏好模型不能替代这些验证器。
- 偏好数据要审计偏差。 标注者构成、长度分布、用户观点分布、拒绝样本比例,都要有记录;否则偏差无法归因。
第 3 条是 Agent 与聊天机器人的关键区别。聊天机器人的输出主要被人消费,偏好信号相对直接;Agent 的输出会触发工具调用和副作用,偏好信号必须让位于可验证的正确性。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 双轨评测 | 偏好指标与正确性指标分开报告 | 只用偏好胜率 |
| 长度受控 | 训练/评测/线上都记录并分层 | 长回答天然占优 |
| 谄媚有测试 | 反事实提问与用户错误观点样本 | 只测普通问答 |
| 验证器独立 | 事实、代码、运维各有外部验证 | 用奖励模型判断正确 |
| 数据有审计 | 标注者、长度、观点分布可追溯 | 只报数据量 |
这些判据里,“验证器独立”是底线。奖励模型和策略共享偏好数据,容易一起过拟合;外部验证器(测试、检索、健康检查)提供独立的正确性信号,是 Agent 架构不能省的一层。
RLHF 与 DPO 的流水线对比
| 步骤 | RLHF(PPO) | DPO |
|---|---|---|
| 偏好数据 | 需要 | 需要 |
| 奖励模型 | 需要单独训练 | 不需要 |
| 在线采样 | 需要,策略不断生成 | 不需要,离线数据 |
| 参考模型 | 通常需要 | 需要(用于约束) |
| 主要失败 | 奖励黑客、训练不稳 | 离线偏差、过拟合偏好 |
DPO 更简单,但不代表更安全。它把“奖励模型”的偏差转移到了“偏好数据”的偏差;如果数据里有长度或谄媚偏差,DPO 会直接学进去。
偏好数据的四个偏差
| 偏差 | 表现 | 缓解 |
|---|---|---|
| 长度 | 长回答更容易被选 | 按长度分层比较 |
| 风格 | 自信、格式漂亮的回答占优 | 控制风格变量 |
| 观点 | 迎合用户观点的回答被选 | 加入反事实样本 |
| 标注者 | 少数标注者主导数据 | 记录并平衡标注者分布 |
这些偏差不会因为“数据量变大”自动消失;它们会随着数据量变大而被放大。偏好数据审计应该和模型评测同等重要。
一个代码修复的偏好例子
假设两个补丁:
- 补丁 A:改了 3 行,测试通过,但没有解释;
- 补丁 B:改了 30 行,测试通过,解释详细。
如果标注者偏好“解释详细”,B 会被标为 $y_w$。模型学到“更长、更详细”是好的,下一轮可能生成过度修改的补丁。对代码修复来说,正确性应该由测试判定,偏好只能作为“可读性”的辅助信号;两者必须分开。
这也是 Agent 与聊天机器人的区别:Agent 的输出会进入执行和审查,偏好信号不能覆盖可验证的正确性。
DPO 的 beta 怎么选
$\beta$ 控制策略偏离参考模型的程度。$\beta$ 越小,策略越敢偏离参考模型,拟合偏好数据的力度越大,也越容易过拟合;$\beta$ 越大,策略越保守,偏好提升有限但能力回退风险更低。选择 $\beta$ 不能只看训练损失,要看留出集上的偏好准确率、能力回归和输出长度分布。一个常见的做法是扫几个数量级,选能力回退可接受且偏好提升明显的点。
拒绝样本的作用
偏好数据不只包含“两个回答哪个更好”,还应该包含“两个都不好”的样本。如果所有样本都强迫模型二选一,模型会学到“必须给出一个答案”,而不是“应该拒绝或澄清”。对 Agent 来说,拒绝样本尤其重要:工具不可用、权限不足、信息不足时,正确动作可能是停止并请求人工,而不是硬做。
小结
- 偏好学习优化的是“人更喜欢”,不是“更正确”;Bradley-Terry 只关心分数差,DPO 用参考模型约束策略偏移。
- RLHF 需要奖励模型和在线采样,DPO 直接用偏好对训练;两者都可能过拟合偏好数据里的伪特征。
- 长度、格式、自信语气会劫持偏好排序;实验里长度权重 0.1 就足以让较低质量的回答胜出。
- 谄媚是偏好目标与正确目标不一致的结果;需要数据、奖励模型、评测和架构四层共同处理。
- 偏好评测必须与正确性评测分开;关键任务要用外部验证器,不能用奖励模型替代。
- 偏好数据要审计标注者、长度和观点分布;否则偏差无法归因。
阅读导航:上一节:5.1 SFT:指令跟随能力从哪来 · 下一节:5.3 对齐给了什么、没给什么 。
常见错误与边界
- 把偏好胜率当正确率。 偏好是主观标注;事实、代码和运维正确性需要独立验证。
- 忽略长度偏差。 长回答在偏好数据里天然占优;训练和评测都要按长度分层。
- 认为 DPO 免疫奖励黑客。 DPO 仍会过拟合偏好数据的伪特征;需要验证集和反事实测试。
- 用奖励模型判断正确。 奖励模型是偏好的代理,不是事实的裁判;关键任务需要外部验证器。
- 不测谄媚。 普通问答测不出迎合;需要反事实提问和“用户观点错误”的样本。
- 不审计偏好数据。 标注者构成、长度分布、观点分布不记录,偏差无法归因。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。