以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。双技能模型的初始能力、学习率、遗忘率与回放率只用于展示混合比例的计算方式,不代表任何生产环境的最优配置。
一个 Agent 上线三个月,新任务的成功率从 0.62 涨到 0.81,团队很高兴。直到有人翻出三个月前的回归集,发现旧任务的成功率从 0.88 掉到了 0.69。这不是模型坏了,而是它被训练得越来越擅长新任务,同时越来越不擅长旧任务。前者是能力提升,后者是能力漂移;两者常常同时发生,而且新任务的指标更显眼。
这一节讨论训练引起的漂移:当你把新任务数据混进训练集,混合比例如何决定“新任务涨多少”和“旧任务掉多少”。实验不是神经网络,而是一个确定性的双技能模型;它不能预测真实模型的遗忘曲线,但能把混合比例的交换关系算清楚。
两种漂移,不要混为一谈
“能力漂移”在工程上至少有两种来源。
第一种是输入漂移:模型没变,但用户请求的分布变了。新的告警类型、新的代码仓库、新的文档格式,都会让原本的提示与工具描述失效。这种漂移靠监控输入分布和失败聚类发现,不需要重训。
第二种是训练漂移:模型变了。新数据把参数拉向新任务,旧任务所在的区域被覆盖,表现为灾难性遗忘。这种漂移靠回归评测发现,靠数据混合和回放缓解。
两种漂移都会让“上周还好好的”能力突然失效,但处置方式不同。把输入漂移误判成遗忘,会去调数据配比;把遗忘误判成输入漂移,会去加提示词。这一节只处理第二种,但架构上必须同时监控两者。
双技能模型:混合比例的两个作用
把能力压成两个家族:旧任务 $o$ 与新任务 $n$,取值都在 $[0,1]$。每轮训练给定新数据占比 $r \in [0,1]$,旧数据占比就是 $1-r$。更新写成:
$$
n’ = n + \eta_{\text{learn}} \cdot r \cdot (1-n)
$$
$$
o’ = o - \eta_{\text{forget}} \cdot r \cdot o + \eta_{\text{rehearse}} \cdot (1-r) \cdot (1-o)
$$
第一条说明新能力按新数据比例提升,且越接近 1 提升越慢。第二条有两个方向相反的力:新数据按比例侵蚀旧能力,旧数据按比例把旧能力拉回来。$r$ 同时控制这两个力,这就是混合比例的全部作用。
部署价值定义为加权和:
$$
U = w_{\text{old}} \cdot o + w_{\text{new}} \cdot n
$$
权重来自真实流量:旧任务占多少、新任务占多少。混合比例不是数据清洗的附属品,它直接决定部署价值。 只优化新任务成功率,等于把 $w_{\text{old}}$ 设成 0;这在报表上很好看,在线上很危险。
最小实验:扫描混合比例
实验参数:旧任务初始能力 0.85,新任务初始能力 0.30;学习率 0.80,遗忘率 0.55,回放率 0.50;部署权重新旧各 0.50;每个混合比例训练五轮。混合比例从 0.0 扫到 1.0,步长 0.1。
# file: agp_lab/drift.py | write
# tier: 3
# verify: python3 -m unittest tests.test_drift
"""能力漂移与灾难性遗忘:新旧任务混合比例的最小模型。
把能力拆成两个家族:旧任务(已经上线、要求保持)与新任务(本轮要提升)。
每轮训练只做两件事:
1. 新任务能力按新数据占比提升,越接近 1 提升越慢;
2. 旧任务能力按新数据占比衰退,同时被旧数据回放拉回。
这是一个确定性的双技能模型,不模拟神经网络。它要回答的问题只有一个:
混合比例变化时,“新任务涨多少”和“旧任务掉多少”如何交换。
"""
from __future__ import annotations
from dataclasses import dataclass
OLD_START = 0.85
NEW_START = 0.30
LEARN_RATE = 0.80
FORGET_RATE = 0.55
REHEARSE_RATE = 0.50
OLD_WEIGHT = 0.50
NEW_WEIGHT = 0.50
@dataclass(frozen=True)
class Point:
"""一轮训练后的两种能力。"""
old: float
new: float
@dataclass(frozen=True)
class MixRow:
"""固定混合比例训练若干轮后的结果。"""
new_share: float
old_skill: float
new_skill: float
utility: float
forgetting_drop: float
def _validate_unit(value: float, name: str) -> None:
if not 0.0 <= value <= 1.0:
raise ValueError(f"{name} 必须在 [0, 1] 内")
def train_step(
old_skill: float,
new_skill: float,
new_share: float,
learn_rate: float = LEARN_RATE,
forget_rate: float = FORGET_RATE,
rehearse_rate: float = REHEARSE_RATE,
) -> Point:
"""按新数据占比更新一次双技能。"""
_validate_unit(old_skill, "old_skill")
_validate_unit(new_skill, "new_skill")
_validate_unit(new_share, "new_share")
_validate_unit(learn_rate, "learn_rate")
_validate_unit(forget_rate, "forget_rate")
_validate_unit(rehearse_rate, "rehearse_rate")
learned = new_skill + learn_rate * new_share * (1.0 - new_skill)
forgotten = old_skill - forget_rate * new_share * old_skill
rehearsed = forgotten + rehearse_rate * (1.0 - new_share) * (1.0 - old_skill)
return Point(old=min(1.0, max(0.0, rehearsed)), new=min(1.0, max(0.0, learned)))
def train_cycles(
new_share: float,
cycles: int,
learn_rate: float = LEARN_RATE,
forget_rate: float = FORGET_RATE,
rehearse_rate: float = REHEARSE_RATE,
) -> list[Point]:
"""固定混合比例连续训练,返回每一轮结束后的能力。"""
if cycles < 0:
raise ValueError("cycles 不能为负")
point = Point(old=OLD_START, new=NEW_START)
history: list[Point] = [point]
for _ in range(cycles):
point = train_step(
point.old,
point.new,
new_share,
learn_rate=learn_rate,
forget_rate=forget_rate,
rehearse_rate=rehearse_rate,
)
history.append(point)
return history
def utility(
point: Point,
old_weight: float = OLD_WEIGHT,
new_weight: float = NEW_WEIGHT,
) -> float:
"""部署价值:旧任务与新任务的加权和。"""
_validate_unit(old_weight, "old_weight")
_validate_unit(new_weight, "new_weight")
if old_weight + new_weight == 0.0:
raise ValueError("权重之和必须大于 0")
return (old_weight * point.old + new_weight * point.new) / (old_weight + new_weight)
def sweep(
cycles: int = 5,
shares=(0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0),
old_weight: float = OLD_WEIGHT,
new_weight: float = NEW_WEIGHT,
) -> list[MixRow]:
"""扫混合比例,返回每种比例训练结束后的能力与部署价值。"""
rows: list[MixRow] = []
for share in shares:
final = train_cycles(share, cycles)[-1]
rows.append(
MixRow(
new_share=share,
old_skill=final.old,
new_skill=final.new,
utility=utility(final, old_weight, new_weight),
forgetting_drop=OLD_START - final.old,
)
)
return rows
def best_mix(rows) -> MixRow:
"""部署价值最高的混合比例;并列时取新数据更少的那一档。"""
if not rows:
raise ValueError("rows 不能为空")
return max(rows, key=lambda row: (row.utility, -row.new_share))
if __name__ == "__main__":
print(f"{'新数据占比':<12}{'旧任务':>10}{'新任务':>10}{'部署价值':>12}{'旧任务退化':>14}")
rows = sweep(5)
for row in rows:
print(
f"{row.new_share:<12.1f}{row.old_skill:>10.3f}{row.new_skill:>10.3f}"
f"{row.utility:>12.3f}{row.forgetting_drop:>14.3f}"
)
winner = best_mix(rows)
print(
f"最优混合比例={winner.new_share:.1f} 部署价值={winner.utility:.3f} "
f"旧任务={winner.old_skill:.3f} 新任务={winner.new_skill:.3f}"
)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.drift
输出:
新数据占比 旧任务 新任务 部署价值 旧任务退化
0.0 0.995 0.300 0.648 -0.145
0.1 0.890 0.539 0.714 -0.040
0.2 0.786 0.707 0.747 0.064
0.3 0.684 0.823 0.753 0.166
0.4 0.584 0.898 0.741 0.266
0.5 0.485 0.946 0.715 0.365
0.6 0.388 0.973 0.681 0.462
0.7 0.293 0.988 0.641 0.557
0.8 0.199 0.996 0.597 0.651
0.9 0.107 0.999 0.553 0.743
1.0 0.016 1.000 0.508 0.834
最优混合比例=0.3 部署价值=0.753 旧任务=0.684 新任务=0.823
这张表最值得看的是三个点。
第一,纯旧数据不会让新任务变好,但也不会让旧任务变差。 $r=0$ 时新任务停在 0.300,旧任务从 0.85 升到 0.995;旧任务退化一列是负的,因为回放本身还在提升旧能力。这说明“不训练新任务”是一个稳定的基线,但不是进步。
第二,纯新数据会把旧能力压到接近零。 $r=1.0$ 时新任务到 1.000,旧任务只剩 0.016,部署价值 0.508,比基线 0.648 还低。新任务指标满分,整体价值反而下降。这就是“灾难性遗忘”在架构上的样子:不是某个指标变差,而是被优化的指标掩盖了没被优化的指标。
第三,最优混合比例在中间。 等权重下,$r=0.3$ 的部署价值最高,为 0.753;此时旧任务 0.684、新任务 0.823。曲线是单峰的:从 0.0 到 0.3 上升,从 0.3 到 1.0 下降。混合比例太小学不动新任务,太大则旧任务塌陷。
不要把这个 0.3 当成通用答案。最优比例取决于四个量:新旧任务的部署权重、旧能力的初始水平、遗忘率、回放效率。如果新任务权重更高,最优点会右移;如果旧任务更重要或遗忘更快,最优点会左移。实验的价值是让你能对给定参数算出最优点,而不是背一个配比。
边界:模型没覆盖的那些漂移
这个双技能模型刻意省略了四件事,架构上必须补回来。
- 任务相似性。 新旧任务越相似,共享表示越多,遗忘越轻;模型把两个家族当成正交的,真实情况不是。
- 数据质量。 混合比例假设新数据都是有效信号;如果新数据本身有噪声,提高 $r$ 会同时加速污染。
- 评测集泄漏。 旧任务回归集如果被反复用于调参,分数会虚高;需要留出未参与任何训练的审计集。
- 版本与环境漂移。 上游模型升级、工具 schema 变更、用户分布移动,都会造成与训练无关的能力变化;只看混合比例会漏掉这些。
另外,灾难性遗忘不只发生在全量微调。只在窄分布上做 SFT、只对某类工具轨迹做偏好优化,都可能把策略推离旧任务。判断标准不是“训练量大小”,而是“新数据覆盖了哪些状态、旧状态还有没有信号”。
把混合比例落到架构
能力漂移的治理不是一次调参,而是一组持续运行的约束:
- 维护能力清单。 旧任务不是“以前做过的事”,而是有名字、有评测集、有责任人的能力项。没有清单,遗忘就无法被及时发现。
- 固定旧任务回归集。 每次候选模型上线前跑同一套旧任务评测;评测集与训练集分离,并保留一个不参与调参的审计子集。
- 把混合比例写成显式参数。 训练配置里要有新旧数据比例、回放比例和采样权重,不能靠“这次数据刚好是这样”。
- 按流量权重计算部署价值。 新旧任务的权重来自真实请求分布,而不是团队最近在做哪个项目;权重变化要有记录。
- 灰度与回滚。 新模型先在小流量上跑,同时观察新任务与旧任务指标;任一关键旧能力跌破阈值就回滚,而不是等新任务指标来证明这次上线“成功”。
| 检查项 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 能力清单 | 旧能力有名称、评测集、负责人 | 只记得最近在做的任务 |
| 回归集 | 固定、隔离、有审计子集 | 训练数据里混着评测题 |
| 混合比例 | 显式配置、可复现 | 依赖本次数据的偶然构成 |
| 部署价值 | 按真实流量加权 | 只看新任务成功率 |
| 发布 | 灰度 + 旧能力阈值 + 回滚 | 全量上线后看报表 |
放到三条负载上,遗忘的后果不同。W1 检索问答的旧能力是引用准确性;新语料混入后,模型可能学会新文档的说法,却丢掉旧文档的引用格式,表现为“答得更流畅但引用对不上”。W2 代码修复的旧能力是既有测试通过率;新 bug 类型训练过多,模型可能在新仓库上更强、在老仓库上开始改坏无关代码,回归测试是主要防线。W3 运维处置的旧能力是标准处置流程;遗忘的代价最高,因为动作不可逆,混合比例必须更保守,旧流程演练不能停。
小结
- 能力漂移有两种:输入漂移靠监控发现,训练漂移靠回归评测发现;处置方式不同。
- 新数据占比同时控制“学新”和“忘旧”,混合比例是直接的架构参数,不是数据清洗的副产品。
- 纯新数据可以把旧能力压到接近零:实验里旧任务从 0.85 掉到 0.016,部署价值反而低于基线。
- 等权重下最优混合比例是 0.3,但它是参数相关的;换权重、换遗忘率,最优点会移动。
- 混合比例解决不了任务相似性、数据质量、评测泄漏和环境漂移;这些要靠能力清单、审计集与灰度发布。
- 发布判据必须同时看新任务与旧任务,并按真实流量加权;只看新任务指标,等于主动制造盲区。
阅读导航:上一节:13.1 在线反馈与数据飞轮 · 下一节:13.3 回归门与学习闭环收口 。
常见错误与边界
- 把新任务提升当整体进步。 新任务成功率上涨可能伴随旧任务塌陷;没有旧任务回归集,这个代价在报表上看不见。
- 把混合比例当固定配方。 0.3 只在这组参数下最优;部署权重、遗忘率、数据质量变化后必须重算。
- 用训练集当回归集。 旧任务评测题如果参与过训练,分数会虚高,遗忘被掩盖;回归集必须隔离并保留审计子集。
- 忽略输入漂移。 模型没重训也可能因为用户分布变化而失效;只盯混合比例会漏掉这类问题。
- 只做全量发布。 没有灰度与回滚,第一次发现遗忘往往是在生产事故里;旧能力阈值要写进发布门。
- 把回放当万能药。 回放能缓解遗忘,但如果旧数据本身过时或带噪声,回放会把旧问题一起带回来;回放数据也要有版本与质量检查。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。