以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
“多给模型一些 token,它就会更聪明”是一个危险的简化。测试时计算有很多种形式:延长思维链、采样多个候选、对候选投票、做树搜索、调用工具验证。它们的收益条件完全不同,混在一起讨论会得出错误结论。
最典型的混淆是 pass@k 和多数投票。pass@k 衡量“k 个候选里至少有一个正确”,它假设有一个验证器能挑出正确的那一个;多数投票衡量“k 个候选里正确的那一类占多数”,它不假设验证器,但要求单次正确率过半、错误相互独立。两者都叫“多采样”,结论却可能相反。
测试时计算的几种形式
| 形式 | 做什么 | 需要什么 | 主要成本 |
|---|---|---|---|
| 长 CoT | 一条链走更多步 | 可分解、可验证 | 延迟、累积误差 |
| Best-of-N | 采 N 个候选,用验证器选 | 独立验证器 | 采样 + 验证 |
| 多数投票 | 采 N 个候选,按答案投票 | 答案可归一化 | 采样 |
| 树搜索 | 展开多条路径并剪枝 | 价值估计/验证器 | 搜索与回滚 |
| 工具验证 | 执行工具核对结果 | 工具与权限 | 执行延迟 |
这些形式的共同点是“用计算换质量”,但兑换率差别很大。Best-of-N 的质量上限由验证器决定;多数投票的上限由单次正确率和错误相关性决定;长 CoT 的上限由单步可靠性决定。没有验证器时,增加采样只能提高“存在正确答案”的概率,不能保证你选得出来。
最小实验:pass@k 与多数投票
下面的实验计算两个量:k 个候选里至少一个正确的概率(pass@k),以及 k 个候选中正确类占多数的概率(多数投票)。它用同一个单次正确率 $p=0.4$ 做对比。
# file: agp_lab/test_time.py | write
# tier: 3
# verify: python3 -m unittest tests.test_test_time
"""测试时计算:pass@k、多数投票与边际收益。"""
from __future__ import annotations
import math
from collections import Counter
def pass_at_k(p: float, k: int) -> float:
if not 0 <= p <= 1:
raise ValueError("概率必须在 [0, 1] 内")
if k < 0:
raise ValueError("k 不能为负")
return 1.0 - (1.0 - p) ** k
def majority_vote(candidates: list[str]) -> str:
if not candidates:
raise ValueError("候选不能为空")
counts = Counter(candidates)
return max(counts, key=lambda item: (counts[item], item))
def majority_accuracy(p: float, k: int) -> float:
"""k 为奇数时,正确候选严格过半即胜出。"""
if k % 2 == 0:
raise ValueError("k 必须为奇数")
return sum(
math.comb(k, correct) * p ** correct * (1 - p) ** (k - correct)
for correct in range(k // 2 + 1, k + 1)
)
def marginal_gain(p: float, k: int) -> float:
if k <= 1:
return majority_accuracy(p, 1)
return majority_accuracy(p, k) - majority_accuracy(p, k - 2)
if __name__ == "__main__":
p = 0.4
print("k pass@k majority marginal")
for k in (1, 3, 5, 9):
majority = p if k == 1 else majority_accuracy(p, k)
marginal = p if k == 1 else marginal_gain(p, k)
print(f"{k:<2} {pass_at_k(p, k):>6.3f} {majority:>9.3f} {marginal:>9.3f}")
print("vote:", majority_vote(["A", "B", "A", "C", "A"]))
运行:
cd private/labs/agp-lab
python3 -m agp_lab.test_time
输出:
k pass@k majority marginal
1 0.400 0.400 0.400
3 0.784 0.352 -0.048
5 0.922 0.317 -0.035
9 0.990 0.267 -0.023
vote: A
pass@k 随 k 快速上升:k=9 时达到 0.990。这个数字经常被误读成“多采样让模型准确率到 99%”。它实际说的是:如果有一个完美的验证器能从 9 个候选里挑出正确的那一个,那么至少有一个正确的概率是 99%。 没有验证器,这个 99% 不可兑现。
多数投票的结果相反:k=3 时 0.352,低于单次的 0.400;k=9 时只有 0.267。原因是单次正确率 0.4 低于 0.5,错误答案占多数,投票会系统性地选错。marginal 为负,说明增加候选数在这个条件下是负收益。
vote: A 是一个简单示例:候选 ["A", "B", "A", "C", "A"] 中 A 出现三次,投票选 A。真实系统还要处理答案归一化:"42"、"42.0"、"四十二" 应该被视为同一个答案,否则投票会被表面差异打散。
多数投票什么时候有用
多数投票的收益依赖三个条件:
- 单次正确率大于 0.5。 低于 0.5 时,错误类占多数,投票越投越错。
- 错误相互独立。 如果模型每次都以同样的方式错,投票不会消除错误,只会稳定地选错。
- 答案可归一化。 同一个答案的不同表达要能合并,否则“多数”没有意义。
第二点最容易被违反。同一个模型、同一个提示、同一个温度,采样出的错误往往高度相关;它们不是独立投票者,而是同一个偏差的多次复制。这种情况下,增加 k 的边际收益远低于独立假设下的预测。
什么时候值得增加计算
| 场景 | 建议 | 原因 |
|---|---|---|
| 有可靠验证器 | Best-of-N | 验证器能把正确候选挑出来 |
| 单次正确率 > 0.6 | 多数投票 | 错误类不占多数 |
| 任务可分解 | 长 CoT + 中间验证 | 单步更容易命中 |
| 答案空间小 | 投票/枚举 | 归一化和比较成本低 |
| 无验证器且正确率低 | 先改模型/提示 | 加采样只会放大错误 |
最后一行是关键。很多团队在低正确率任务上加大采样,希望“量变引起质变”;但如果没有验证器,增加的只是候选数量,不是可兑现的准确率。正确的顺序是先提升单次质量,再考虑测试时计算。
成本与延迟
测试时计算的成本不是线性的:
- 采样 N 个候选,生成成本约 N 倍;
- 投票需要额外的比较和归一化;
- Best-of-N 需要验证器,验证本身也有成本;
- 长 CoT 增加延迟,且占用上下文预算。
延迟目标通常决定了能用哪种形式。交互式 Agent 可能只能承受一次生成加一次验证;离线批处理可以用大 N 和搜索。把离线实验的最优配置直接搬到线上,往往会超时。
架构含义
测试时计算对架构有四个直接约束:
- 先问有没有验证器。 没有验证器时,多采样的收益不能按 pass@k 计算。
- 按单次正确率选策略。 高于 0.5 才考虑多数投票;低于 0.5 先改模型或提示。
- 检查错误相关性。 同模型同提示的多次采样不是独立投票者;需要多样性来源或不同模型。
- 给计算设预算。 N、步数、验证次数都要有上限,并与延迟目标对齐。
第 3 条是多数投票最容易被高估的地方。真正的多样性需要不同提示、不同温度、不同模型或不同工具路径;仅仅重复采样同一个配置,往往只是重复同一个偏差。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 验证器明确 | Best-of-N 有独立验证器 | 采 N 个让模型自己选 |
| 正确率达标 | 投票前确认单次正确率 > 0.5 | 低正确率硬投票 |
| 错误可独立 | 有多样性来源或相关性评估 | 同配置重复采样 |
| 答案可归一 | 有归一化和等价判断 | 字符串直接比较 |
| 预算有上限 | N、步数、验证次数受限 | 无限采样 |
这些判据里,“验证器明确”决定 pass@k 是否能兑现。没有验证器时,pass@k 只是一个理论上界,不是系统准确率;把它写进报表,会系统性高估能力。
一个代码修复的例子
假设代码修复 Agent 单次测试通过率 0.4。采 9 个补丁,如果没有验证器,只能随机选一个,期望通过率仍是 0.4;如果有一个能运行测试的验证器,选第一个通过的,成功率接近 pass@9 的 0.99(假设测试可靠且候选独立)。差别不在采样,而在验证。
如果测试本身不可靠(比如只覆盖部分行为),Best-of-N 会选出“通过测试但没修好”的补丁。这时验证器成了新的瓶颈:它定义了什么算正确,模型会优化它。测试覆盖、隐藏用例和代码审查,仍然是必需的。
Best-of-N 的成本账
Best-of-N 的成本由三部分组成:采样 N 次、验证 N 次、失败后的重试。它的收益上限由验证器质量决定:
| 验证器质量 | 表现 | 结果 |
|---|---|---|
| 完美 | 总能挑出正确候选 | 接近 pass@N |
| 有漏检 | 偶尔放过错误候选 | 低于 pass@N |
| 有误杀 | 偶尔拒绝正确候选 | 需要更多候选 |
| 可被利用 | 模型学会通过验证但没解决问题 | 奖励黑客 |
第三、四行是常见盲点。验证器不是“有就行”,它的漏检率、误杀率和抗利用性都要评估;否则 Best-of-N 只是把模型的错误转移给了验证器。
验证器的质量上限
假设验证器对正确候选的召回率是 0.9,对错误候选的误放率是 0.1。N 增大时,“至少有一个正确候选”很快接近 1,但“验证器选中正确候选”的概率会被召回率和误放率限制。继续加 N 的边际收益迅速下降,成本却线性上升。
因此,Best-of-N 的调优顺序应该是:先提升验证器质量,再增加 N。反过来做,通常是在为验证器的缺陷付采样费。
一个客服 Agent 的例子
客服 Agent 要判断“是否应该退款”。单次正确率 0.75,答案只有“退/不退”两类。采 5 个候选投票,理论上多数投票能提升准确率;但如果模型对某一类用户系统性偏向“退款”,5 个候选会一致偏向,投票无效。
这时增加采样没有用,需要的是:换提示、加入反事实样本、用规则校验退款政策、对高风险金额人工审批。测试时计算只能放大已有的判断分布,不能修正系统性偏差。
采样温度与多样性
提高温度能增加表面多样性,但不一定增加“有效多样性”。温度太高,候选变成噪声;温度太低,候选几乎相同。多数投票需要的是“错误方式不同”,而不是“措辞不同”。
一个可操作的检查是:统计候选答案的分布。如果 90% 的候选是同一个答案,投票没有意义;如果答案分布很散,说明模型不确定,投票也可能没有稳定多数。两种情况下,都应该先回到单次质量或验证器,而不是继续加采样。
离线与在线的差别
离线实验可以采 100 个候选、跑昂贵验证器、慢慢投票;线上请求有延迟和成本预算。把离线最优配置直接搬上线,常见的后果是首字延迟超标、GPU 排队、成本翻倍。
上线前要按线上预算重跑一遍:N 降到多少、验证器能否在 SLA 内完成、失败重试是否可控。离线提升 2 个百分点、线上延迟翻倍,通常不是一笔划算的交易。
什么时候不该增加计算
| 信号 | 说明 | 更好的动作 |
|---|---|---|
| 单次正确率低于 0.4 | 错误类占多数 | 改模型、提示或任务分解 |
| 候选高度同质 | 错误相关,投票无效 | 引入多样性来源 |
| 无验证器 | pass@k 不可兑现 | 先建验证器 |
| 延迟已超 SLA | 加采样只会更慢 | 减 N 或改离线 |
| 错误是系统性的 | 每次都错在同一处 | 修数据/规则,不是加采样 |
这张表的共同结论是:测试时计算是放大器,不是修复器。它能放大已有的正确率,也能放大已有的偏差;在错误的分布上增加计算,只会更稳定地得到错误答案。
小结
- 测试时计算有多种形式:长 CoT、Best-of-N、多数投票、树搜索、工具验证;收益条件不同。
- pass@k 衡量“至少一个正确”,需要验证器才能兑现;没有验证器时不是系统准确率。
- 多数投票要求单次正确率过半、错误相互独立、答案可归一化;低于 0.5 时会越投越错。
- 同模型同配置的重复采样不是独立投票者,错误往往高度相关。
- 低正确率任务应先改模型或提示,再加采样;否则只是放大错误。
- N、步数、验证次数都要有预算,并与延迟目标对齐。
阅读导航:上一节:7.2 推理模型:RLVR、GRPO 与可验证奖励 · 下一节:8.1 幻觉分类:事实、引用、执行 。
常见错误与边界
- 把 pass@k 当准确率。 没有验证器时,pass@k 只是上界,不是可兑现的系统指标。
- 低正确率硬投票。 单次低于 0.5 时错误类占多数,投票会系统性选错。
- 假设采样独立。 同模型同提示的错误高度相关,增加 k 的收益远低于理论值。
- 不做答案归一化。 同一答案的不同表达会打散投票,导致多数失效。
- 无限加采样。 N 增加带来线性成本和延迟,必须设预算。
- 忽略验证器质量。 Best-of-N 的上限由验证器决定;测试不可靠会选出“假通过”的补丁。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。