以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
思维链(Chain of Thought, CoT)的核心不是“让模型说出想法”,而是把一次难以直接命中的生成,拆成多个更容易命中的中间步骤。Wei et al. 2022 报告了在算术、常识和符号推理任务上,显式中间步骤能显著改善大模型的表现;后续工作又把 CoT 扩展到自一致性、树搜索和工具调用。
但 CoT 不是免费的能力开关。它把输出长度乘以步数,把延迟和成本一起放大;更重要的是,每一步都可能出错,而错误会沿着链累积。 一个 90% 准确率的步骤,走 12 步后全对的概率只有 28%。所以“更多推理”不必然“更正确”,关键要看任务是否可分解、步骤是否可验证、以及预算是否值得。
CoT 在优化什么
直接作答可以看成一次条件生成:
$$
a \sim \pi(\cdot \mid x)
$$
CoT 引入中间序列 $z_1, z_2, \dots, z_n$,再基于中间序列生成答案:
$$
z_i \sim \pi(\cdot \mid x, z_{<i}), \quad a \sim \pi(\cdot \mid x, z_{\le n})
$$
每一步的生成空间比“一次给出最终答案”小,模型更容易命中;但整条链的联合概率是各步概率的乘积。如果各步独立且每步准确率为 $p$,全链准确率约为 $p^n$。这就是收益与代价的基本矛盾:
- 分解降低了单步难度,$p$ 可能上升;
- 步数 $n$ 增加了累积失败的概率;
- token 成本随 $n$ 线性增长。
CoT 有效的条件,是单步难度的下降幅度大于累积误差的增加幅度。对多步算术、需要检索多个约束的规划、需要显式检查的代码修复,这个条件经常成立;对单点事实问答或简单分类,分解反而可能引入不必要的错误。
最小实验:步数、准确率与每千 token 收益
下面的实验用三个参数描述策略:单步准确率、步数、每步 token 数。它不训练模型,只计算“全链正确率”和“每多花 1000 token 换来多少准确率”。
# file: agp_lab/cot.py | write
# tier: 3
# verify: python3 -m unittest tests.test_cot
"""CoT 的收益与代价:正确率、token 成本与收益递减。"""
from __future__ import annotations
from dataclasses import dataclass
@dataclass(frozen=True)
class Policy:
name: str
step_accuracy: float
steps: int
tokens_per_step: int
def direct_accuracy(p: float) -> float:
if not 0 <= p <= 1:
raise ValueError("概率必须在 [0, 1] 内")
return p
def cot_accuracy(step_accuracy: float, steps: int) -> float:
"""所有步骤都正确才算成功;用于展示长链的误差累积。"""
if not 0 <= step_accuracy <= 1:
raise ValueError("概率必须在 [0, 1] 内")
if steps < 0:
raise ValueError("步数不能为负")
return step_accuracy ** steps
def token_cost(policy: Policy) -> int:
return policy.steps * policy.tokens_per_step
def gain_per_1k_tokens(base: Policy, cot: Policy) -> float:
base_acc = direct_accuracy(base.step_accuracy)
cot_acc = cot_accuracy(cot.step_accuracy, cot.steps)
extra = token_cost(cot) - token_cost(base)
if extra <= 0:
return 0.0
return (cot_acc - base_acc) / (extra / 1000)
DIRECT = Policy("direct", 0.60, 1, 10)
COT_3 = Policy("cot-3", 0.90, 3, 100)
COT_6 = Policy("cot-6", 0.90, 6, 100)
COT_12 = Policy("cot-12", 0.90, 12, 100)
if __name__ == "__main__":
print("policy accuracy tokens gain_per_1k")
for policy in (DIRECT, COT_3, COT_6, COT_12):
accuracy = (direct_accuracy(policy.step_accuracy)
if policy.steps == 1
else cot_accuracy(policy.step_accuracy, policy.steps))
gain = gain_per_1k_tokens(DIRECT, policy)
print(f"{policy.name:<8} {accuracy:>8.3f} {token_cost(policy):>7} {gain:>12.3f}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.cot
输出:
policy accuracy tokens gain_per_1k
direct 0.600 10 0.000
cot-3 0.729 300 0.445
cot-6 0.531 600 -0.116
cot-12 0.282 1200 -0.267
direct 是基线:一步 10 token,准确率 0.60。cot-3 把单步准确率提高到 0.90,走 3 步,全链准确率 0.729,比基线高 12.9 个百分点,代价是 290 个额外 token;折算下来每千 token 收益 0.445,仍然是正的。
cot-6 的单步准确率没变,但步数翻倍,全链准确率降到 0.531,低于直接作答。cot-12 更差,只有 0.282。这个结果不是“CoT 没用”,而是说明:当单步准确率不足以支撑长链时,增加步数会让结果变坏。 真实系统里,单步准确率不会固定;有的步骤容易,有的步骤难,长链的失败往往集中在少数难点上。
gain_per_1k 是一个显式的取舍指标。它把准确率增益除以额外 token,单位是“每千 token 的准确率提升”。这个指标不完美,但比“CoT 涨点了”更有决策价值:如果增益为负,继续加长推理就是花钱买更差的结果。
收益什么时候为正
CoT 的收益取决于三个条件:
| 条件 | 收益为正 | 收益为负 |
|---|---|---|
| 可分解性 | 任务能拆成相对独立的子问题 | 任务是一个整体判断 |
| 单步可靠性 | 每步准确率明显高于直接作答 | 每步和直接作答差不多 |
| 可验证性 | 中间步骤能被检查或工具验证 | 步骤无法验证,错了也不知道 |
第三个条件最容易被忽略。可验证的 CoT 可以在中途停下、重试或换路径;不可验证的 CoT 只是一段更长的文本,错了也只能在最后发现。对 Agent 来说,可验证性通常来自工具:算数用计算器、代码用测试、检索用引用核对。没有验证点的长链,风险随步数增长。
成本不只是 token
CoT 的成本至少有四项:
- 生成成本:token 数增加,prefill/decode 都变贵。
- 延迟:用户等待第一个可用结果的时间变长。
- 上下文占用:推理轨迹会挤占后续步骤的上下文预算。
- 暴露风险:轨迹可能包含敏感信息或可被利用的内部细节。
第三项在 Agent 里经常被低估。一个长 CoT 可能占掉几千 token,导致后续工具结果被截断;这时“更长的推理”反而降低了整体任务成功率。架构上要区分“内部推理预算”和“对外输出预算”,不能共用同一个上限。
架构含义
CoT 对架构有四个直接约束:
- 按任务类型启用。 简单分类、单点事实不需要长链;多步规划、代码修复、约束满足更适合。
- 给推理设预算。 步数、token、时间都要有上限;超过上限要停止或降级。
- 在关键步骤加验证。 工具结果、测试、引用核对都可以作为链中的检查点。
- 区分内部与外部输出。 推理轨迹不必全部展示给用户;对外输出应该简洁、可核验。
第 2 条是底线。没有预算的 CoT 会在困难样本上无限延长,把一次请求变成一次成本事故;而困难样本恰恰是最需要稳定延迟的那一类。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 任务匹配 | 按任务类型决定是否 CoT | 所有请求都加长链 |
| 预算明确 | 步数/token/时间有上限 | 让模型自由发挥 |
| 步骤可验证 | 关键步骤有工具或规则检查 | 整条链无人校验 |
| 收益可量化 | 有基线、增益和成本对比 | 只说“效果更好” |
| 失败可停止 | 超预算或验证失败能中止 | 继续生成直到结束 |
这些判据里,“收益可量化”决定 CoT 是否值得上线。没有基线的 CoT 实验,无法区分“推理带来的提升”和“模型版本变化带来的提升”;两者混在一起,结论不可信。
一个代码修复的例子
假设任务是修复一个失败的单元测试。直接作答可能让模型凭直觉改一行;三步 CoT 则是:
- 读测试失败信息,定位断言。
- 读相关实现,提出假设。
- 修改并运行测试。
第三步是验证点:测试通过与否是外部信号,不依赖模型自我评估。如果第三步失败,链可以回到第二步换假设,而不是继续往下编。这个结构比“让模型写一大段分析再改代码”更可靠,因为每一步都有可检查的输入输出。
反过来,如果任务是“这段文案是否合适”,中间步骤很难验证,长 CoT 往往只是把主观判断写得更长。此时更应该用评分 rubric 或多候选对比,而不是无限推理。
自一致性:多条链投票
自一致性(self-consistency)采样多条推理链,对最终答案投票。它不要求每条链都对,只要求正确答案在多数链里出现。收益依赖两个条件:单条链的正确率不能太低,错误不能高度相关。
如果所有链都在同一步犯错,投票只会稳定地选出同一个错误答案。真正的多样性需要不同的起点、不同的分解方式或不同的工具路径;仅仅提高温度,往往只是增加表面差异。
CoT 的忠实性
模型生成的推理轨迹不一定是它实际的计算过程。模型可能先得出答案,再补一段看起来合理的推理;也可能在轨迹里省略关键跳跃。Anthropic 等机构的研究反复提示:可读的 CoT 不等于忠实的 CoT。
对架构来说,这意味着不能把 CoT 当审计证据。要验证结论,应该看外部证据:测试、引用、工具结果、数据核对。CoT 可以帮助定位问题,但不能单独证明答案正确。
一个预算策略
一个可执行的推理预算可以分三档:
| 档位 | 步数上限 | 适用 | 超限动作 |
|---|---|---|---|
| 快速 | 1–3 | 分类、抽取、简单问答 | 直接返回 |
| 标准 | 4–8 | 多步检索、常规代码修复 | 请求澄清 |
| 深度 | 9–20 | 复杂规划、疑难诊断 | 转人工或离线 |
预算不是固定值,应该按任务类型和风险等级配置。关键是超限时要有明确动作,而不是让模型继续生成到自然结束。
CoT 与工具调用的关系
CoT 解决“怎么想”,工具调用解决“怎么验证”。两者组合时,常见模式是“推理—调用—观察—继续推理”:模型先提出假设,再调用工具获取事实,基于结果修正假设。
| 模式 | 适用 | 风险 |
|---|---|---|
| 纯 CoT | 无外部工具、可分解任务 | 中间步骤无法验证 |
| CoT + 工具 | 需要事实/计算/执行 | 工具延迟与错误回填 |
| 工具优先 | 答案可直接查询 | 过度依赖工具,不会推理 |
工具结果应该被视为“观察”,而不是“结论”。模型仍需判断工具是否成功、结果是否回答了问题;这一步本身又需要推理。把工具调用当成 CoT 的替代品,会在工具失败时失去纠偏能力。
小结
- CoT 把一次生成拆成多步,降低单步难度,但联合成功率是各步准确率的乘积。
- 步数增加会放大累积误差;单步准确率不够高时,更长的链可能更差。
- CoT 收益取决于可分解性、单步可靠性和可验证性;三者缺一,长链都可能变成成本。
- 成本不只是 token,还包括延迟、上下文占用和轨迹暴露。
- 架构上要按任务启用、设预算、加验证点,并区分内部推理与对外输出。
- 没有基线和增益/成本对比,不能宣称 CoT 有效。
阅读导航:上一节:6.3 工具选择错误的分类与评测 · 下一节:7.2 推理模型:RLVR、GRPO 与可验证奖励 。
常见错误与边界
- 所有任务都上 CoT。 简单任务加长链只会增加成本和错误面。
- 只看最终准确率。 不看步数、token 和延迟,无法判断收益是否值得。
- 忽略累积误差。 单步 90% 走 12 步只剩 28%;长链需要更高的单步可靠性或验证点。
- 没有预算。 困难样本会无限延长,造成延迟和成本事故。
- 把 CoT 当解释。 生成的推理轨迹不一定是模型真实计算过程,不能直接当因果解释。
- 不设验证点。 不可验证的长链错了也只能在最后发现,无法中途纠偏。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。