以下数字为教学示例,不构成对任何真实模型或供应商训练结果的承诺。
预训练模型只会“补全文本”:给它一段话,它续写下一段。SFT(supervised fine-tuning)把这种能力变成“按指令行动”:给它任务和示范,它学会在什么情况下输出什么动作。InstructGPT(Ouyang et al. 2022)展示了这条路径的有效性:用人类示范微调后,模型在指令跟随上显著改善。
但 SFT 有一个经常被低估的边界:它学的是示范分布上的行为,不是任务规则本身。 示范里没出现过的状态,策略可能完全不会处理。这一节用行为克隆的最小实验说明这个边界,然后给出示范覆盖与纠偏的架构判据。
SFT 在优化什么
给定示范数据集 $\mathcal{D} = {(s_i, a_i)}$,SFT 最小化负对数似然:
$$
\mathcal{L}{\text{SFT}} = -\sum{(s_i, a_i) \in \mathcal{D}} \log \pi_\theta(a_i \mid s_i)
$$
这就是行为克隆(behavior cloning):让策略在示范状态上模仿专家动作。它不直接优化任务成功率,也不要求策略理解“为什么这个动作好”;它只要求“在见过的状态上,输出和专家一样”。
这带来两个后果:
- 好处:样本效率高,训练稳定,能学到格式、工具调用模式和常见策略。
- 代价:策略只对示范分布负责。示范没覆盖的状态,策略没有监督信号,行为不可预测。
对 Agent 来说,状态不只是环境状态,还包括上下文:当前目标、可用工具、上一步结果、历史轨迹。示范轨迹覆盖的是“专家走出来的上下文”,不是“策略可能走到的所有上下文”。策略一旦走偏,就会进入示范没覆盖的状态,然后继续走偏——这就是分布偏移。
最小实验:走廊里的行为克隆
下面的实验用一个 0–5 的走廊:目标是 5,动作是 left/right/stay,专家未到目标就向右。示范只从起点 2、3、4 开始,因此状态 0、1 从未出现。策略在示范状态上学习专家动作,未见状态默认 stay。
# file: agp_lab/sft.py | write
# tier: 3
# verify: python3 -m unittest tests.test_sft
"""行为克隆的分布偏移:专家轨迹覆盖不到的状态,策略不会处理。"""
from __future__ import annotations
import random
from dataclasses import dataclass, field
GOAL = 5
ACTIONS = ("left", "right", "stay")
def expert_action(state: int) -> str:
if state < GOAL:
return "right"
return "stay"
def step(state: int, action: str, rng: random.Random, slip: float) -> int:
if action == "stay":
return state
if rng.random() < slip:
action = "left" if action == "right" else "right"
nxt = state + 1 if action == "right" else state - 1
return max(0, min(GOAL, nxt))
@dataclass
class BehaviorCloning:
demos: list[tuple[int, str]] = field(default_factory=list)
counts: dict[int, dict[str, int]] = field(default_factory=dict)
def fit(self) -> "BehaviorCloning":
self.counts = {}
for state, action in self.demos:
bucket = self.counts.setdefault(state, {})
bucket[action] = bucket.get(action, 0) + 1
return self
def predict(self, state: int) -> str:
bucket = self.counts.get(state)
if not bucket:
return "stay"
return max(bucket, key=lambda action: (bucket[action], action == "right"))
def rollout(policy: BehaviorCloning, start: int, rng: random.Random,
slip: float, max_steps: int = 30) -> tuple[bool, set[int]]:
if not 0 <= slip <= 1:
raise ValueError("slip 必须在 [0, 1] 内")
state = start
visited = {state}
for _ in range(max_steps):
if state == GOAL:
return True, visited
state = step(state, policy.predict(state), rng, slip)
visited.add(state)
return state == GOAL, visited
def evaluate(
policy: BehaviorCloning,
starts: tuple[int, ...],
episodes: int,
slip: float,
seed: int,
) -> float:
rng = random.Random(seed)
wins = sum(
rollout(policy, starts[index % len(starts)], rng, slip)[0]
for index in range(episodes)
)
return wins / episodes
def augment(demos: list[tuple[int, str]], states: set[int]) -> list[tuple[int, str]]:
known = {state for state, _ in demos}
return demos + [(state, expert_action(state)) for state in sorted(states - known)]
if __name__ == "__main__":
demos = [(state, expert_action(state)) for start in (2, 3, 4)
for state in range(start, GOAL + 1)]
policy = BehaviorCloning(list(demos)).fit()
print("round seen_start unseen_start")
for round_index in range(3):
seen = evaluate(policy, (2, 3, 4), 200, 0.2, 11)
unseen = evaluate(policy, (0,), 200, 0.2, 11)
print(f"{round_index:<6} {seen:>10.2%} {unseen:>13.2%}")
_, visited = rollout(policy, 0, random.Random(11), 0.2)
demos = augment(demos, visited)
policy = BehaviorCloning(list(demos)).fit()
运行:
cd private/labs/agp-lab
python3 -m agp_lab.sft
输出:
round seen_start unseen_start
0 89.00% 0.00%
1 89.00% 0.00%
2 100.00% 100.00%
第 0 轮,策略在示范起点(2、3、4)上成功率 89%,在未覆盖起点 0 上成功率 0%。原因很直接:状态 0 不在示范里,策略默认 stay,永远不出发。
第 1 轮做了一次 DAgger 式纠偏:让策略从起点 0 走一遍,收集它访问到的状态(这里是 0),请专家给这些状态打标签(0 → right),加入示范集。策略现在会从 0 走到 1,但状态 1 仍然未覆盖,于是又停住。
第 2 轮再把状态 1 加入示范集,策略覆盖了 0、1、2……成功率变成 100%。同时,示范起点的成功率也从 89% 升到 100%,因为低状态的覆盖让策略在滑移后能恢复。
这个实验揭示了两件事。第一,未覆盖状态不是罕见的边缘情况:只要策略走偏一次,就会进入示范没走过的状态。第二,纠偏不需要重新标注全部数据:只需要在策略实际访问的状态上请专家打标签,就能逐步补齐覆盖。
SFT 教什么、不教什么
| 内容 | SFT 是否教 | 说明 |
|---|---|---|
| 输出格式 | 是 | 示范里的 JSON、工具调用格式会被模仿 |
| 常见动作模式 | 是 | “先搜索再回答”这类模式可以从示范中学到 |
| 任务规则 | 部分 | 示范隐含规则,但策略不一定能泛化 |
| 未覆盖状态的处理 | 否 | 没有监督信号,行为由初始化或默认策略决定 |
| 验证与自我纠错 | 弱 | 示范很少包含“发现错误并回退”的完整过程 |
| 新知识 | 有限 | SFT 主要改变行为,不保证注入新事实 |
这张表解释了一个常见困惑:为什么 SFT 后的模型“格式很对,但遇到没见过的情况就乱来”?因为格式和常见模式在示范分布内,未覆盖状态不在。SFT 不是“教模型理解任务”,而是“教模型模仿示范”。
架构含义
SFT 的分布偏移对 Agent 架构有四个直接约束:
- 示范覆盖要审计。 不能只看示范数量,要看示范覆盖了哪些状态、哪些工具、哪些失败路径。
- 轨迹要记录。 线上策略访问的状态是纠偏数据的来源;没有轨迹,就不知道哪些状态没覆盖。
- 评测起点要包含未覆盖状态。 只在示范起点上评测会高估能力;要加入偏移起点、滑移后的状态和异常输入。
- 纠偏要持续。 DAgger 式纠偏不是一次性的;策略更新后会产生新的未覆盖状态,需要持续收集。
第 3 条最容易被忽略。很多团队用“和示范相同的起点”做评测,得到很高的成功率,上线后却在用户的各种起始状态下失败。评测集必须包含策略自己会走到的状态,而不只是专家走过的状态。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 覆盖有审计 | 示范覆盖状态、工具、失败路径有清单 | 只报示范条数 |
| 轨迹有记录 | 线上状态与动作可回放 | 只存最终结果 |
| 评测有偏移 | 包含未覆盖起点与滑移状态 | 只用示范起点 |
| 纠偏有闭环 | 定期收集策略访问状态并标注 | 训练一次就结束 |
| 默认行为有定义 | 未覆盖状态的兜底动作明确 | 依赖模型“自由发挥” |
这些判据里,“默认行为有定义”是安全底线。未覆盖状态下,策略可能输出任何动作;如果这个动作有副作用,后果不可控。兜底策略可以是“停止并请求澄清”,也可以是“转到人工”,但必须是显式的。
示范数据的四个检查项
| 检查项 | 问题 | 不合格的信号 |
|---|---|---|
| 覆盖 | 示范是否覆盖所有关键状态与工具 | 只覆盖顺利路径 |
| 多样性 | 是否包含不同起点、不同失败恢复 | 所有轨迹几乎一样 |
| 标签质量 | 专家动作是否一致、可复现 | 同一状态出现矛盾动作 |
| 失败样本 | 是否包含“应该停止/澄清”的示范 | 只有成功轨迹 |
第三项最容易被忽略。如果两个专家在同一状态下给出不同动作,SFT 会学到平均行为,而不是明确策略;这时需要先统一标注规范,再训练。
一个代码修复 Agent 的例子
假设示范都从“测试失败、仓库干净”的起点开始,策略学会了“读测试 → 改代码 → 跑测试”。上线后遇到“仓库有未提交改动”的状态,策略没有示范,可能直接覆盖用户改动。
修复方式不是加一句提示词,而是:
- 在评测集中加入“脏仓库”起点;
- 收集策略在该状态下的轨迹;
- 请专家标注正确动作(例如先 stash 或先询问);
- 把新样本加入示范集,重新训练或做偏好优化。
这个例子说明:SFT 的覆盖问题不是“数据不够多”,而是“起点和状态不够全”。
SFT 与 RAG 的分工
SFT 改变的是模型的行为分布,RAG 改变的是模型在推理时能看到的信息。前者适合教“怎么做”,后者适合补“知道什么”。如果任务是“按公司规范处理工单”,规范应该放进检索上下文,而不是指望 SFT 记住;如果任务是“按固定格式调用工具”,行为模式更适合用示范教。两者混用会让问题难以归因:到底是模型没学会,还是资料没检索到?
小结
- SFT 用示范数据做行为克隆,优化的是示范状态上的动作似然,不是任务成功率。
- SFT 能教格式、常见模式和工具调用习惯,但不保证教会任务规则、未覆盖状态处理和自我纠错。
- 分布偏移是行为克隆的结构性问题:策略走偏一次,就会进入示范没覆盖的状态,然后继续走偏。
- DAgger 式纠偏在策略实际访问的状态上请专家打标签,能逐步补齐覆盖;它不是一次性训练。
- 评测必须包含未覆盖起点和滑移状态;只用示范起点会高估能力。
- 未覆盖状态必须有显式兜底动作,不能依赖模型自由发挥。
阅读导航:上一节:4.3 上下文长度、注意力复杂度与成本曲线 · 下一节:5.2 RLHF/DPO:偏好、拒绝与谄媚 。
常见错误与边界
- 把 SFT 当任务理解。 SFT 学的是示范分布上的行为,不是任务规则;未覆盖状态没有监督信号。
- 只看示范数量。 数量不等于覆盖;要审计状态、工具和失败路径的覆盖。
- 只用示范起点评测。 这会高估能力;评测要包含偏移起点和滑移后的状态。
- 训练一次就结束。 策略更新会产生新的未覆盖状态;纠偏需要持续闭环。
- 未定义兜底动作。 未覆盖状态下模型可能输出任意动作;有副作用时必须显式停止或转人工。
- 指望 SFT 教自我纠错。 示范通常不包含完整的“发现错误并回退”过程;纠错能力需要额外训练或外部验证器。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。