《AI Agent 技术原理与架构·模型、推理与能力边界》2.2 温度、top-p 与策略多样性

温度调的是分布的陡峭程度,top-p 调的是保留多少尾部;两者都不会给模型增加知识。本节用熵、nucleus 集合、distinct-n 与 pass@k 四个量,说明采样参数如何改变策略多样性,以及什么条件下多样性值得付费、什么条件下只是在制造错误候选。

以下工作负载、预算与数字均为教学假设,不构成对任何真实产品、供应商或生产系统的承诺。

上一节说采样是选择机制,不是能力机制。这一节把这个判断量化:温度改变分布的熵,top-p 改变保留的尾部大小,distinct-n 和 pass@k 度量生成结果的多样性。三个量合起来,能回答一个很实际的问题:多花几倍 token 去采样多个候选,什么时候值得?

先给结论:多样性只有在有验证器的时候才值得付费。没有验证器,多采样只是在更多错误候选里随机挑一个;有验证器,多采样才变成“用算力换成功率”。这个区别决定了 Agent 架构该不该开多候选、该开多少、该在哪里停。

温度:改变分布的陡峭程度

给定 logits $z_i$,softmax 温度采样定义为:

$$
p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$$

$T < 1$ 让分布更陡,高概率 token 更占优势;$T > 1$ 让分布更平,低概率 token 获得更多机会;$T \to 0$ 退化为贪心。温度不改变支持集(概率为零的 token 仍然为零),只改变形状。

衡量形状的量是熵:

$$
H(p) = -\sum_i p_i \log p_i
$$

熵越高,分布越分散,采样结果越难预测。温度升高,熵通常升高;温度降低,熵通常降低。但熵只描述不确定性,不描述正确性。一个均匀分布和另一个均匀分布的熵一样高,不代表它们包含的正确答案一样多。

top-p:保留多少尾部

nucleus sampling(Holtzman et al. 2020)先按概率降序排列,保留累计概率达到 $p$ 的最小集合,再在这个集合里重新归一化采样。$p=0.9$ 意味着丢掉尾部 10% 的概率质量;$p=1.0$ 等价于不截断。

top-p 和温度的作用不同:

参数作用对象主要风险
温度所有 token 的相对概率高温放大错误 token,低温退化为重复
top-p保留的 token 集合p 太小删掉正确但罕见的 token

两者可以组合,但组合效果不是线性的。低温加小 top-p 会把分布压得很窄,适合结构化输出;高温加大 top-p 会保留大量候选,适合探索。最危险的组合是“低温 + 大 top-p”:温度把概率差距拉大,top-p 又保留了很多低概率 token,结果是小概率 token 被采样到的机会仍然存在,但整体分布看起来“很确定”。

多样性怎么度量

三个常用量:

  1. distinct-n:不同 n-gram 数除以总 n-gram 数。越高说明重复越少。
  2. pass@k:n 个样本中至少一个正确的概率估计。Chen et al. 2021 给出无偏估计:

$$
\widehat{\text{pass@k}} = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}
$$

其中 $c$ 是正确样本数,$n$ 是总样本数,$k$ 是允许尝试的次数。

  1. self-consistency:多个样本的最终答案一致率。一致率高不一定正确,但可以作为“是否需要更多采样”的信号。

这三个量都有边界。distinct-n 可以被无意义的多样性刷高:模型输出一堆不重复的胡说,distinct-n 很漂亮,任务成功率很低。pass@k 依赖独立采样和可靠验证器:如果样本不独立,或者验证器把错误答案判对,pass@k 会高估真实能力。self-consistency 依赖答案可归一化:同一个意思的不同表述会被当成不同答案。

最小实验:采样参数与多样性

下面的实验把 softmax 温度、熵、nucleus 集合、distinct-n 和 pass@k 放在一个模块里。它不调用模型,只对固定 logits 和固定 token 序列做计算,方便观察参数变化的方向。

# file: agp_lab/sampling.py | write
# tier: 2
# verify: python3 -m unittest tests.test_sampling
"""温度、top-p 与策略多样性的度量。"""
from __future__ import annotations

import math


def softmax(logits: list[float], temperature: float = 1.0) -> list[float]:
    if temperature <= 0:
        raise ValueError("temperature 必须为正")
    scaled = [value / temperature for value in logits]
    top = max(scaled)
    weights = [math.exp(value - top) for value in scaled]
    total = sum(weights)
    return [weight / total for weight in weights]


def entropy(probs: list[float]) -> float:
    return -sum(p * math.log(p) for p in probs if p > 0)


def nucleus(probs: list[float], top_p: float) -> tuple[list[int], list[float]]:
    """返回保留的下标与重新归一化的概率。"""
    if not 0 < top_p <= 1:
        raise ValueError("top_p 必须在 (0, 1] 内")
    order = sorted(range(len(probs)), key=lambda index: (-probs[index], index))
    kept: list[int] = []
    cumulative = 0.0
    for index in order:
        kept.append(index)
        cumulative += probs[index]
        if cumulative >= top_p:
            break
    mass = sum(probs[index] for index in kept)
    return kept, [probs[index] / mass for index in kept]


def distinct_n(tokens: list[str], n: int) -> float:
    if n <= 0 or len(tokens) < n:
        return 0.0
    grams = [tuple(tokens[index:index + n]) for index in range(len(tokens) - n + 1)]
    return len(set(grams)) / len(grams)


def pass_at_k(n: int, c: int, k: int) -> float:
    """Chen et al. 2021 的无偏 pass@k 估计;n 个样本中 c 个正确。"""
    if not 0 <= c <= n or k <= 0 or k > n:
        raise ValueError("需要 0 <= c <= n 且 1 <= k <= n")
    if n - c < k:
        return 1.0
    return 1.0 - math.comb(n - c, k) / math.comb(n, k)


if __name__ == "__main__":
    logits = [2.0, 1.0, 0.0, -1.0]
    print("temp  top1   entropy  top_p  kept")
    for temperature in (0.5, 1.0, 2.0):
        probs = softmax(logits, temperature)
        kept, _ = nucleus(probs, 0.8)
        print(f"{temperature:<5} {max(probs):.3f}  {entropy(probs):.3f}    "
              f"0.8    {len(kept)}")
    print("pass@1..5 (n=10, c=2):",
          [round(pass_at_k(10, 2, k), 3) for k in range(1, 6)])
    tokens = ["a", "b", "a", "b", "a", "c"]
    print("distinct-1:", round(distinct_n(tokens, 1), 3),
          "distinct-2:", round(distinct_n(tokens, 2), 3))

运行:

cd private/labs/agp-lab
python3 -m agp_lab.sampling

输出:

temp  top1   entropy  top_p  kept
0.5   0.865  0.455    0.8    1
1.0   0.644  0.948    0.8    2
2.0   0.455  1.245    0.8    3
pass@1..5 (n=10, c=2): [0.2, 0.378, 0.533, 0.667, 0.778]
distinct-1: 0.5 distinct-2: 0.6

三行温度对应三种采样行为:$T=0.5$ 时 top-1 概率 0.865,top-p=0.8 的 nucleus 只保留 1 个 token,几乎等价于贪心;$T=1.0$ 时保留 2 个;$T=2.0$ 时保留 3 个,熵从 0.455 升到 1.245。温度升高不是让模型更聪明,而是让候选集合更大。

pass@k 的数字更值得注意:n=10、c=2 时,pass@1 是 0.2,pass@5 是 0.778。也就是说,如果允许试 5 次,至少一次成功的估计概率接近 78%。这个数字很有诱惑力,但它成立的前提是:10 个样本独立、验证器可靠、5 次尝试的成本可接受。三个前提缺一个,pass@k 就不能直接用于架构决策。

distinct-1=0.5、distinct-2=0.6 是对固定序列 a b a b a c 的计算结果。它只说明这个序列里 unigram 和 bigram 的重复程度,不说明内容质量。多样性指标是描述性的,不是评价性的。

什么时候值得多采样

把上面的量放进架构决策,可以用一张表:

条件多采样是否值得原因
有可靠验证器(测试、健康检查、引用核对)值得,直到边际收益低于成本验证器把多样性转成成功率
没有验证器,只有人工抽检谨慎,最多少量候选人工成本随候选数线性增长
任务要求确定性(W3 审批动作)不值得多候选增加选择困难和审计负担
任务需要探索(W2 修复方案)值得,但必须限制候选数与预算不同方案可能触发不同测试结果
只读问答(W1)通常不值得延迟预算紧,验证主要靠引用核对

这张表的核心是“验证器”一列。没有验证器时,多采样的收益无法确认,成本却确定增加;有验证器时,多采样相当于把算力换成“至少一次正确”的概率。Agent 架构应该先问“我有没有验证器”,再问“我要采几个”。

对三条负载,教学建议如下(不是实测结论):

负载温度top-p候选数停止条件
W10.20.91引用核对通过
W20.70.92–3指定测试通过或预算耗尽
W30.00.91审批通过 + 健康检查通过

W3 用温度 0 不是因为它一定最好,而是因为不可逆操作需要可审计的单一决策路径;多候选会让“为什么选这个动作”变得更难解释。W2 允许 2–3 个候选,是因为测试提供了一个相对可靠的验证器;W1 不采样,是因为延迟预算和引用核对已经足够。

架构含义

采样参数不是“调参”,而是架构契约的一部分。四个直接约束:

  1. 参数必须随请求记录。 温度、top-p、候选数、seed(若支持)要写进事件日志;否则同一条轨迹无法复现,评测也无法比较。
  2. 候选生成与验证必须分离。 多采样只在有验证器的阶段开启;验证器不存在时,候选数应该为 1。
  3. 预算必须包含候选成本。 3 个候选意味着 3 倍生成成本,可能还意味着 3 倍工具调用成本;预算要按候选总数计算。
  4. 采样参数按负载固定,不按情绪调整。 W3 不应因为“今天想稳一点”临时改温度;参数变更应该走配置和评审。

架构判据

判据合格的样子不合格的样子
参数可追溯每次调用记录温度、top-p、候选数参数硬编码且无日志
候选有验证多候选只在有测试/核对时开启无验证器也开 5 个候选
成本可计算预算按候选总数计算只算单次生成成本
多样性有基线distinct-n/pass@k 有对照版本只看单次演示的多样性
负载有区分W1/W2/W3 使用不同采样策略所有场景共用一组参数

这些判据里,“候选有验证”是最容易被违反的一条。很多团队看到 pass@k 的数字后直接开多候选,却没有意识到 pass@k 的分母是“验证器判定正确”的样本;验证器不可靠时,多采样只是让错误答案更多样。

采样参数的变更管理

采样参数一旦进入生产,就不应该由个人随手调整。建议把它们当成配置项管理:

变更需要什么为什么
调整温度对照评测 + 负载标注温度改变失败分布,不只是“风格”
调整 top-p候选覆盖率检查可能删掉正确但罕见的 token
增加候选数成本预算 + 验证器确认候选数线性增加生成与工具成本
更换 seed 策略重放能力评估seed 影响可复现性

变更管理的核心不是“禁止调参”,而是“调参必须留下证据”。没有对照评测的温度调整,本质上是在用生产流量做实验;有对照评测,才能知道变化来自参数还是来自流量波动。

小结

  • 温度改变分布的陡峭程度,top-p 改变保留的尾部;两者都不改变模型拥有的知识。
  • 温度升高通常提高熵和多样性,但不提高正确率;低温降低多样性,也可能退化为重复。
  • distinct-n 描述重复程度,pass@k 估计多次尝试的成功概率,self-consistency 描述答案一致率;三者都不是质量本身。
  • 多采样只在有可靠验证器时值得付费;没有验证器时,它只是制造更多错误候选。
  • 采样参数必须随请求记录,预算必须按候选总数计算,参数变更应该走配置与评审。
  • W3 这类不可逆负载应优先保证单一、可审计的决策路径,而不是追求候选多样性。

阅读导航:上一节:2.1 自回归生成:条件概率、采样与停止 · 下一节:2.3 供应商非确定性与可重放边界 。

常见错误与边界

  1. 把温度当能力开关。 温度只能改变分布形状,不能增加模型没有的知识;高温不会让模型“更聪明”。
  2. 用 distinct-n 证明质量。 多样性可以被无意义输出刷高;它只描述重复程度,不描述正确性。
  3. 无验证器也开多候选。 没有可靠验证器时,pass@k 的高估没有意义,多采样只是增加成本。
  4. 忽略候选的工具成本。 多候选可能触发多次工具调用;预算必须按候选总数计算,而不是按单次生成计算。
  5. 参数不记录。 温度、top-p、候选数和 seed 不写日志,轨迹无法复现,评测无法比较。
  6. 所有负载共用参数。 W1 的延迟预算、W2 的探索需求和 W3 的审计要求不同,采样策略应该分开。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图