以下数字均为教学假设,不构成对任何真实系统或供应商的承诺。分桶成功率、反馈响应率与学习率只用于展示数据飞轮的计算方式,不代表任何生产环境的最优配置。
“我们有一个数据飞轮:线上产生反馈,反馈用于训练,训练让线上更好。”这句话在汇报里很顺,在工程上却缺了最关键的一环:线上产生的反馈,和线上真实发生的问题,往往不是同一批样本。 失败会话的用户更容易直接离开,成功会话的用户更愿意点个赞、填个问卷。于是你拿来训练的那份数据,天然偏向成功案例。
这一节把数据飞轮拆成一个可计算的最小闭环:部署分布、每类任务的真实成功率、成功与失败不同的反馈响应率,以及一轮重训如何把估计出的失败率变成能力提升。实验只回答一个问题:当反馈存在非响应偏差时,朴素重训和按响应倾向加权的重训,闭环收益差多少。
飞轮的第一性问题:反馈样本代表谁
先定义三组量。部署分布 $q_i$ 表示第 $i$ 类任务在真实流量中的占比;$s_i$ 表示当前策略在该类任务上的真实成功率;反馈响应率 $a$ 与 $b$ 分别表示成功会话和失败会话被报告的概率。通常 $a > b$,因为失败用户更可能流失。
报告样本中失败的占比是:
$$
f_{\text{report}} = \frac{\sum_i q_i \cdot b \cdot (1-s_i)}{\sum_i q_i \cdot \left[a \cdot s_i + b \cdot (1-s_i)\right]}
$$
而真实失败率是 $1-\sum_i q_i s_i$。只要 $b < a$,前者就系统性低于后者。这不是抽样噪声,增加样本量也不会消失;它是结构性的选择偏差。
如果响应倾向已知,逆概率加权(IPW)可以把比例还原:
$$
\hat{f}_i^{\text{IPW}} = \frac{b(1-s_i)/b}{a s_i/a + b(1-s_i)/b} = 1-s_i
$$
这个等式说明了两件事。第一,IPW 在理想条件下是无偏的;第二,它完全依赖响应倾向 $a,b$ 的准确性。倾向估错,修正式会把偏差以另一种形状带回来。
飞轮的一轮更新可以写得很简单:
$$
s_i’ = \min\left(s_{\max},\ s_i + \eta \cdot \hat{f}_i\right)
$$
其中 $\hat{f}i$ 是这一轮看到的失败率估计,$\eta$ 是单轮能补上的比例。朴素重训直接用 $f{\text{report}}$,加权重训用 $\hat{f}^{\text{IPW}}$。两者在同一个部署分布上评估真实成功率,差距就是采样偏差的代价。
最小实验:两条飞轮并排跑
实验设四类任务:简单、中等、困难、稀有,部署占比分别为 0.40、0.35、0.20、0.05,初始成功率为 0.90、0.70、0.40、0.20。成功会话的反馈响应率是 0.80,失败会话只有 0.25。单轮学习率 0.25,成功率上限 0.98,共跑六轮。
# file: agp_lab/data_flywheel.py | write
# tier: 2
# verify: python3 -m unittest tests.test_data_flywheel
"""在线反馈与数据飞轮的最小模型:非响应偏差如何扭曲重训信号。
线上 Agent 只能从“被报告”的会话里学习。失败会话的反馈率通常低于成功
会话:用户遇到错误答案时更可能直接离开,而不是填写反馈。于是重训样本
不是部署分布的随机抽样,而是一个有偏子集。这个模型把偏差拆成三件事:
1. 真实任务分桶与每桶成功率;
2. 成功/失败不同的反馈响应率;
3. 朴素重训(把报告样本当全体)与 IPW 重训(按响应倾向加权)的差异。
一轮飞轮只做一件事:用估计出的失败率把该桶成功率向上抬一点。模型是
确定性的,没有随机采样;所有数字都是教学假设。
"""
from __future__ import annotations
from dataclasses import dataclass, replace
@dataclass(frozen=True)
class Bucket:
"""一类任务:部署占比、当前成功率。"""
name: str
weight: float
success: float
# 部署分布:简单任务多,困难任务少。成功率是教学假设。
BUCKETS = (
Bucket("easy", 0.40, 0.90),
Bucket("medium", 0.35, 0.70),
Bucket("hard", 0.20, 0.40),
Bucket("rare", 0.05, 0.20),
)
# 反馈响应率:成功会话更愿意报告。失败会话的沉默就是采样偏差。
SUCCESS_RESPONSE = 0.80
FAILURE_RESPONSE = 0.25
# 单轮能补上的失败比例,以及成功率上限。
LEARNING_RATE = 0.25
SUCCESS_CAP = 0.98
def _validate_probability(value: float, name: str) -> None:
if not 0.0 <= value <= 1.0:
raise ValueError(f"{name} 必须在 [0, 1] 内")
def reported_failure_share(
success: float,
success_response: float = SUCCESS_RESPONSE,
failure_response: float = FAILURE_RESPONSE,
) -> float:
"""报告样本中失败的占比;success 是该桶的真实成功率。"""
_validate_probability(success, "success")
_validate_probability(success_response, "success_response")
_validate_probability(failure_response, "failure_response")
reported_success = success_response * success
reported_failure = failure_response * (1.0 - success)
total = reported_success + reported_failure
if total == 0.0:
raise ValueError("没有任何会话被报告,无法计算占比")
return reported_failure / total
def ipw_failure_rate(
success: float,
success_response: float = SUCCESS_RESPONSE,
failure_response: float = FAILURE_RESPONSE,
) -> float:
"""按响应倾向的倒数加权后,失败率的估计值。
当倾向已知时,加权后的失败质量与成功质量重新还原真实比例;这正是
IPW 的假设,也是它最脆弱的地方:倾向一旦估错,修正式会重新引入偏差。
"""
_validate_probability(success, "success")
if success_response <= 0.0 or failure_response <= 0.0:
raise ValueError("响应率必须大于 0,否则无法做逆概率加权")
_validate_probability(success_response, "success_response")
_validate_probability(failure_response, "failure_response")
failure_mass = failure_response * (1.0 - success) / failure_response
success_mass = success_response * success / success_response
total = failure_mass + success_mass
if total == 0.0:
raise ValueError("加权质量为 0,无法归一化")
return failure_mass / total
def estimate_failure_rate(success: float, weighted: bool) -> float:
"""飞轮看到的失败率:朴素口径直接读报告,加权口径用 IPW。"""
if weighted:
return ipw_failure_rate(success)
return reported_failure_share(success)
def aggregate_success(buckets) -> float:
"""部署分布下的真实总体成功率。"""
total_weight = sum(bucket.weight for bucket in buckets)
if total_weight <= 0.0:
raise ValueError("桶权重之和必须大于 0")
return sum(bucket.weight * bucket.success for bucket in buckets) / total_weight
def aggregate_reported_failure_share(buckets) -> float:
"""把所有桶的报告样本汇合后,失败在报告样本中的占比。"""
reported_success = sum(
bucket.weight * SUCCESS_RESPONSE * bucket.success for bucket in buckets
)
reported_failure = sum(
bucket.weight * FAILURE_RESPONSE * (1.0 - bucket.success) for bucket in buckets
)
total = reported_success + reported_failure
if total == 0.0:
raise ValueError("报告样本为空")
return reported_failure / total
def train_step(bucket: Bucket, weighted: bool, learning_rate: float = LEARNING_RATE) -> Bucket:
"""一轮飞轮:按估计失败率把成功率抬高,且不超过上限。"""
if not 0.0 <= learning_rate <= 1.0:
raise ValueError("learning_rate 必须在 [0, 1] 内")
failure = estimate_failure_rate(bucket.success, weighted)
raised = bucket.success + learning_rate * failure
return replace(bucket, success=min(SUCCESS_CAP, raised))
@dataclass(frozen=True)
class CycleRow:
cycle: int
naive_success: float
weighted_success: float
reported_failure_share: float
true_failure_share: float
def flywheel(cycles: int = 6, learning_rate: float = LEARNING_RATE) -> list[CycleRow]:
"""并排模拟朴素与 IPW 两套飞轮,返回每一轮的真实总体成功率。"""
if cycles < 0:
raise ValueError("cycles 不能为负")
naive = list(BUCKETS)
weighted = list(BUCKETS)
rows: list[CycleRow] = []
for cycle in range(cycles + 1):
naive_success = aggregate_success(naive)
rows.append(
CycleRow(
cycle=cycle,
naive_success=naive_success,
weighted_success=aggregate_success(weighted),
reported_failure_share=aggregate_reported_failure_share(naive),
true_failure_share=1.0 - naive_success,
)
)
naive = [train_step(bucket, weighted=False, learning_rate=learning_rate) for bucket in naive]
weighted = [train_step(bucket, weighted=True, learning_rate=learning_rate) for bucket in weighted]
return rows
def closed_loop_gain(cycles: int = 6, learning_rate: float = LEARNING_RATE) -> dict[str, float]:
"""闭环收益:相对基线的提升,以及加权口径比朴素口径多出来的部分。"""
rows = flywheel(cycles, learning_rate)
baseline = rows[0].naive_success
final = rows[-1]
return {
"baseline": baseline,
"naive": final.naive_success,
"weighted": final.weighted_success,
"naive_gain": final.naive_success - baseline,
"weighted_gain": final.weighted_success - baseline,
"bias_gap": final.weighted_success - final.naive_success,
}
if __name__ == "__main__":
print(f"{'周期':<6}{'朴素':>10}{'IPW':>10}{'报告失败占比':>14}{'真实失败占比':>14}")
for row in flywheel(6):
print(
f"{row.cycle:<6}{row.naive_success:>10.3f}{row.weighted_success:>10.3f}"
f"{row.reported_failure_share:>14.3f}{row.true_failure_share:>14.3f}"
)
gain = closed_loop_gain(6)
print(
f"基线={gain['baseline']:.3f} 朴素增益={gain['naive_gain']:+.3f} "
f"IPW增益={gain['weighted_gain']:+.3f} 偏差差={gain['bias_gap']:+.3f}"
)
运行:
cd private/labs/agp-lab
python3 -m agp_lab.data_flywheel
输出:
周期 朴素 IPW 报告失败占比 真实失败占比
0 0.695 0.695 0.121 0.305
1 0.732 0.771 0.103 0.268
2 0.761 0.828 0.089 0.239
3 0.786 0.871 0.078 0.214
4 0.807 0.903 0.069 0.193
5 0.826 0.928 0.062 0.174
6 0.842 0.945 0.055 0.158
基线=0.695 朴素增益=+0.147 IPW增益=+0.250 偏差差=+0.102
第一行就值得停下来看:报告样本里的失败占比是 12.1%,真实失败率是 30.5%。如果直接拿反馈数据当训练集,你会以为系统只有八分之一的会话失败,实际接近三分之一。 六轮之后,报告样本的失败占比降到 5.5%,真实失败率仍有 15.8%,偏差没有被飞轮自动修正。
两条飞轮的差距同样清楚。朴素重训把真实成功率从 0.695 抬到 0.842,增益 0.147;IPW 重训抬到 0.945,增益 0.250。二者相差 0.102,正好是“难任务失败被沉默”所丢掉的那部分学习信号。注意,这不是说 IPW 一定更好,而是说:在非响应偏差存在时,不做加权的飞轮会把训练预算花在已经被报告的那部分任务上,而问题最大的任务恰恰最安静。
偏差从哪里来,又会在哪里失效
这个模型至少暴露了四种失败模式:
- 非响应偏差。 失败用户不反馈,反馈样本偏向成功。增加反馈入口只能提高总响应量,不能保证各桶响应率一致。
- 倾向未知。 IPW 的修正是有条件的:$a,b$ 必须可观测、可按桶估计。如果响应率本身依赖未观测的失败严重程度,就是 MNAR,IPW 也救不回来。
- 标签错位。 用户点了“满意”不等于任务成功;用户没有投诉也不等于答案正确。反馈标签必须和可验证结果分开记录,否则飞轮优化的是情绪,不是能力。
- 闭环自证。 用模型自己的输出训练自己,会把已有的错误固化。飞轮需要独立的验证集和外部审计样本,不能只吃自己产生的数据。
还有一个常被忽略的成本:飞轮不是免费的。采集、标注、重训、评测、灰度都要花时间;轮次太密,评测样本会被反复使用而失去独立性。工程上更稳妥的做法是固定节奏、固定留出集、每次只改一个变量。
把飞轮落到架构
数据飞轮在架构上不是“加一个反馈按钮”,而是一条有方向的流水线。它至少要回答五个问题:
- 部署分布是什么。 记录每类任务的曝光量与占比,而不是只统计“有反馈的会话”。没有分母,就没有偏差的判断。
- 反馈倾向是否可估。 为每次曝光记录是否被报告、报告渠道、报告时间;按任务桶估计响应率,而不是用全局平均值。
- 有没有随机审计样本。 从全部会话中随机抽取一小部分做人工或可验证评测,用它校准反馈样本。审计样本是飞轮的地基。
- 训练标签与产品指标是否分离。 成功率、引用正确率、测试通过率属于可验证结果;点赞、满意度、投诉属于产品信号。两者可以一起看,不能混成一个标签。
- 飞轮有没有闸门。 每一轮重训都要过回归门,设轮次上限与回滚条件;不能因为“数据更多了”就默认模型更好。
| 检查项 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 部署分布 | 有曝光日志与分桶占比 | 只看反馈量 |
| 反馈倾向 | 按桶记录响应率 | 假设反馈是随机样本 |
| 审计样本 | 固定比例随机抽取 | 只依赖用户主动反馈 |
| 标签 | 可验证结果与满意度分开 | 把点赞当成功率 |
| 闸门 | 回归门 + 回滚 + 轮次上限 | 每次重训直接全量上线 |
放到三条负载上,偏差的形状不同。W1 检索问答是只读、可重试的,反馈可以来自引用核对,采样成本低,随机审计容易做;主要风险是“用户没追问”被误当成“答案正确”。W2 代码修复有测试作为客观标签,反馈偏差更多体现在“哪些仓库、哪些任务被送进评测”,而不是用户沉默;需要防止评测集被反复使用后泄漏。W3 运维处置不可逆、延迟敏感,失败常伴随事故,反馈最稀疏也最不及时,非响应偏差最严重;这类负载不能靠纯飞轮,必须保留人工审批与事后复盘。
小结
- 线上反馈不是部署分布的随机样本;失败会话更可能沉默,这是结构性偏差,不是样本量问题。
- 报告样本中的失败占比会系统性低于真实失败率;实验里是 12.1% 对 30.5%。
- 朴素重训只能学到“被报告的那部分失败”,六轮增益 0.147;按响应倾向加权的重训增益 0.250。
- IPW 不是免费的午餐:它要求响应倾向可观测、可按桶估计;遇到 MNAR,修正式也会失效。
- 飞轮需要随机审计样本、可验证标签、独立验证集和回归闸门;缺一项,闭环就可能变成自证循环。
- W1、W2、W3 的偏差来源不同:W1 靠引用核对,W2 靠测试与评测集管理,W3 必须保留人工审批。
阅读导航:上一节:12.3 Agentic RL · 下一节:13.2 能力漂移与灾难性遗忘 。
常见错误与边界
- 把反馈量当覆盖率。 反馈条数增长不代表样本更有代表性;如果失败用户持续沉默,样本只会越来越偏向成功。
- 只用全局响应率做加权。 不同任务桶的响应率可能差一个数量级;全局平均会把简单任务的权重错误地分给困难任务。
- 把点赞当成功标签。 用户满意可能来自语气、格式或迎合,而不是任务完成;训练标签必须尽量来自可验证结果。
- 忽略反馈延迟。 长任务的反馈可能在数天后才到,和当前策略版本对不上;不记录版本与时间,飞轮会把旧策略的失败算到新策略头上。
- 让飞轮无限自转。 没有独立审计集与回归门,模型会在自己的输出分布上越走越窄;轮次上限和回滚条件不是保守,是必需。
- 把 IPW 当万能修正。 响应倾向未知或与结果强相关时,加权只能改变偏差的形状,不能消除偏差;此时应补随机审计,而不是调权重。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。