以下数字为教学示例,不构成对任何真实系统或供应商的承诺。
上下文塞不下时,Agent 必须压缩。压缩的第一直觉是"把对话摘要一下",但摘要的本质是丢弃事实。丢掉什么、留下什么,由摘要策略决定,不由"这些事实重不重要"决定——除非关键集合是显式输入的。这就是压缩风险的核心:系统并不知道自己丢了什么,除非它把"不能丢的"单独声明出来。
这一节把压缩建模成"按比例截断事实表",量化三个量:整体保留率、关键事实保留率、丢失清单。实验用固定事实表展示压缩率与损失的关系,以及截断位置造成的损失分布。
压缩的三个量
压缩之后必须能回答三个问题:
| 问题 | 指标 | 为什么重要 |
|---|---|---|
| 保留了百分之多少 | 整体保留率 | 容量换来了多少覆盖 |
| 关键的没丢吧 | 关键保留率 | 任务能否继续 |
| 丢了哪些 | 丢失清单 | 是否能审计与补救 |
只报第一个量最危险:整体保留率 100% 可能是关键事实全在,也可能是关键事实恰好排在截断线之外。压缩评测必须同时报三个量。
截断位置决定损失分布
“按比例截断前 N 条"是最简单的压缩,但它暴露一个普遍问题:损失分布由位置决定,不由重要性决定。排在文档前段的事实活下来,排在后面的事实(哪怕更关键)先被丢掉。
这不是某个实现的问题,而是所有"按序截断"类压缩的共性。摘要模型倾向于先总结开头、后总结结尾;缓存裁剪倾向于先丢弃最旧的上下文——结果都一样:谁的位置靠后,谁先被牺牲。要打破这个倾向,必须显式标记关键事实,而不是指望顺序。
压缩不可逆
压缩是有损的,而且不可逆:丢失的事实无法从摘要里恢复,除非重新访问源文档。这个性质决定了压缩的架构含义:
- 压缩后的上下文只能支持"摘要能回答的问题”;
- 需要完整事实的问题必须在压缩前解决或记录来源;
- 压缩必须留下"源在哪"的指针,否则损失是永久且不可审计的。
“不可逆"与"可审计"要一起看:丢了不可怕,可怕的是丢了还不知道、回不去。
最小实验:四档压缩率
下面的实验把 8 条事实按四档比例截断,并声明 3 条关键事实。整体保留、关键保留、丢失清单一起输出。
# file: agp_lab/compression.py | write
# tier: 3
# verify: python3 -m unittest tests.test_compression
"""摘要与压缩:损失、可逆性与风险。
压缩把文档按比例截断:保留前若干个事实。模型无法保证保留的是"关键"
事实,除非关键集合是显式输入。实验用固定事实表展示三件事:
1. 压缩率越高,保留的事实越少,损失单调增长;
2. 关键事实的保留率(retention)不等于整体保留率:截断位置决定损失分布;
3. 压缩是不可逆的:丢失的事实无法从摘要恢复,除非重新访问源文档。
"""
from __future__ import annotations
from dataclasses import dataclass
DOC = (
"api=webhook_v2",
"auth=token_header",
"timeout=30",
"retry=3",
"idempotent=key",
"signature=hmac",
"schema_version=1",
"log_level=warn",
)
REQUIRED = frozenset({"auth=token_header", "timeout=30", "idempotent=key"})
RATIOS = (1.0, 0.75, 0.5, 0.25)
def compress(doc: tuple[str, ...], ratio: float) -> tuple[str, ...]:
"""保留前 floor(len(doc) * ratio) 条事实;截断顺序是声明的。"""
if not 0.0 < ratio <= 1.0:
raise ValueError("ratio 必须在 (0, 1] 内")
count = int(len(doc) * ratio)
return tuple(doc[:count])
def retained_facts(summary: tuple[str, ...]) -> frozenset[str]:
return frozenset(summary)
def retention(summary: tuple[str, ...], required: frozenset[str] = REQUIRED) -> float:
if not required:
return 1.0
kept = retained_facts(summary) & required
return len(kept) / len(required)
def lost_facts(doc: tuple[str, ...], summary: tuple[str, ...]) -> tuple[str, ...]:
kept = set(summary)
return tuple(fact for fact in doc if fact not in kept)
@dataclass(frozen=True)
class Row:
ratio: float
kept: int
total: int
required_kept: int
retention: float
lost: tuple[str, ...]
def experiment(
doc: tuple[str, ...] = DOC,
required: frozenset[str] = REQUIRED,
ratios: tuple[float, ...] = RATIOS,
) -> list[Row]:
rows: list[Row] = []
for ratio in ratios:
summary = compress(doc, ratio)
kept = retained_facts(summary)
lost = lost_facts(doc, summary)
rows.append(
Row(
ratio=ratio,
kept=len(kept),
total=len(doc),
required_kept=len(kept & required),
retention=retention(summary, required),
lost=lost,
)
)
return rows
if __name__ == "__main__":
print(f"{'压缩率':<8}{'保留事实':>10}{'总数':>6}{'关键保留':>10}{'retention':>12}")
for row in experiment():
print(
f"{row.ratio:<8.2f}{row.kept:>10}{row.total:>6}"
f"{row.required_kept:>10}{row.retention:>12.2f}"
)
print()
for row in experiment():
lost = ",".join(row.lost) or "-"
print(f"ratio={row.ratio:.2f} 丢失={lost}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.compression
输出:
压缩率 保留事实 总数 关键保留 retention
1.00 8 8 3 1.00
0.75 6 8 3 1.00
0.50 4 8 2 0.67
0.25 2 8 1 0.33
ratio=1.00 丢失=-
ratio=0.75 丢失=schema_version=1,log_level=warn
ratio=0.50 丢失=idempotent=key,signature=hmac,schema_version=1,log_level=warn
ratio=0.25 丢失=timeout=30,retry=3,idempotent=key,signature=hmac,schema_version=1,log_level=warn
这张表是三件事的量化证据。
整体保留率高不代表关键保留率高。 ratio=0.75 保留了 6/8(75%),关键事实 3/3 全在,看着很好;ratio=0.50 保留了 4/8(50%),关键事实只剩 2/3(0.67)。整体保留率 50% 时,关键保留率掉了 33%——损失不是线性的,关键事实的损失率更高。
丢失清单暴露了位置偏置。 ratio=0.50 丢失的是 idempotent=key, signature=hmac, schema_version=1, log_level=warn——全是文档后段的四件事。auth=token_header 和 timeout=30 因为排在第 2、3 位而幸存。这里没有"重要性"参与,只有位置。丢失清单的价值就在这里:一眼看出"丢的是后面的”,然后决定要不要把这些排到前面。
0.75 是个陷阱档。 它丢了 schema_version 和 log_level——这两条不在 REQUIRED 里,所以关键保留率还是 1.00。但如果任务的正确性依赖 schema 版本(比如要按版本决定调用格式),这两条就是隐性的关键事实,只是没被声明。未声明的关键事实,压缩会替你丢掉。 这正是"关键集合必须显式输入"的含义。
摘要的"智能"不等于安全
大模型生成的摘要看起来比截断"智能",但它同样有三类不可控:
- 关键事实被概括掉:摘要模型把细节抹平成结论,细节正是任务需要的;
- 损失不可枚举:截断能列出丢失清单,摘要很难——模型不会报告"我丢了 X";
- 生成式失真:摘要可能改写、合并、甚至编造,比"丢了"更危险。
因此工程上有个倒挂的结论:对关键事实,宁可截断+显式保留,不要交给摘要。摘要适合压缩"可丢失"的部分;不可丢失的部分应该用显式结构(关键字段、来源指针)保住。
架构含义
压缩对架构有三个直接约束:
- 关键事实单独声明。 任务依赖的字段必须显式标记,进入压缩保护的名单。
- 压缩要有审计面。 每次压缩输出丢失清单,关键保留率低于阈值要告警。
- 源文档要可回退。 压缩后的上下文记录来源指针,需要完整事实时重新访问。
第 1 条是防丢的根:只要关键集合是隐式的,任何压缩策略都可能恰好丢掉最需要的部分。
架构判据
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 关键声明 | 关键事实显式标记 | 靠摘要模型"自动把握" |
| 三量同报 | 整体/关键/丢失都输出 | 只报保留率 |
| 可回退 | 记录源文档指针 | 压缩后无法找回 |
| 阈值告警 | 关键保留率低于阈值报警 | 丢了也没人知道 |
| 生成摘要受限 | 只压缩可丢失部分 | 全文交给摘要 |
“生成摘要受限"提醒:摘要不是压缩的默认解,而是"可丢失内容"的压缩器。关键内容走显式保护通道。
与三条工作负载的关系
- W1 检索问答:压缩风险是丢掉引用细节,证据链断掉;关键保留率要 100%。
- W2 代码修复:压缩风险是丢约束与测试记录,修复方向的依据消失。
- W3 运维处置:压缩风险是丢审批记录与状态事实,不可逆动作的依据不可靠。
W3 的教训最极端:把"谁批准了这个动作、当前服务处于什么状态"摘要掉,等于在不可逆操作前丢掉了前提。W3 的上下文宁可不压缩,也不能丢关键事实。
小结
- 压缩的本质是丢弃事实;保留什么由截断策略决定,不由重要性决定。
- 三个量要同报:整体保留率、关键保留率、丢失清单。
- 截断位置决定损失分布:排在后面的关键事实先被牺牲。
- 压缩不可逆:丢失的事实无法从摘要恢复,必须留源指针。
- 摘要的"智能"不等于安全:生成式失真比"丢了"更危险。
- 关键事实要显式声明并走保护通道,不可丢失的内容不能交给摘要。
阅读导航:上一节:9.1 检索:召回、重排与注入位置 · 下一节:9.3 上下文预算:分配、优先级与淘汰 。
常见错误与边界
- 只报整体保留率。 关键事实可能恰好排在截断线外,整体率 100% 也保不住。
- 依赖顺序保护。 按序截断牺牲后段事实;关键事实必须显式标记。
- 摘要丢细节。 任务需要的字段被概括掉,比"丢了"更隐蔽。
- 压缩不留指针。 不可逆的损失无法回退,事后无法审计。
- 全文交给摘要。 摘要只该压缩可丢失部分;关键内容走显式保护。
- 没有告警。 关键保留率跌破阈值无人发现,压缩风险静默扩散。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。