以下文本、预算与权重均为教学假设,不构成对任何真实系统、供应商或生产环境的承诺。system:docs=3:1 的权重是讲解用的模型,真实系统按片段价值实测,但"压缩是有损的、被丢弃的原文无法还原"这一条不变。
7.1 讲了组装:预算内按优先级放。这一节讲组装装不下之后的手段:压缩。上下文超预算时,不能只靠挤出,还要把已有的片段变小。变小的方式是摘要,而摘要是有损压缩。
压缩必须算损失。被摘要掉的原句不会消失——它是真的丢了,模型只能读到摘要里的内容。这一节量化压缩率、演示按重要性加权分配预算,并强调那条最容易被忽略的事实:被丢掉的原文无法从摘要还原。
压缩是有损的
摘要是对上下文的有损压缩。有损的意思是可以量化:
| 量 | 定义 |
|---|---|
| 原始字符 | 原文总字符数 |
| 保留字符 | 摘要保留的字符数 |
| 压缩率 | 1 − 保留/原始 |
压缩率可量化是第一步:做完摘要,要能说出"保留了百分之多少"。但量化压缩率不等于量化损失——损失不只是"少了多少字符",而是"少了哪些事实"。被丢弃的句子无法从摘要还原,这正是"有损"的实质。
预算分配:加权而不是均分
压缩之后还要分配:谁多拿 token,谁少拿。均分是最省事也最错误的答案——检索文档和系统策略价值不同,凭什么等份?
按重要性权重分配:
| 片段 | 权重 | 预算 1000 的配额 |
|---|---|---|
| system | 3 | 750 |
| docs | 1 | 250 |
加权分配让"重要性"变成数字。 system 拿 3/4、docs 拿 1/4。这不是绝对真理,而是把决策显式化:权重怎么定,就是你对片段价值的判断。
最小实验:贪心选择、压缩率与分配
实验提供贪心句子选择(按长度在预算内选句)、压缩率量化与分层预算分配。
# file: agp_lab/context_compress.py | write
# tier: 3
# verify: python3 -m unittest tests.test_context_compress
"""压缩、摘要与预算分配:压缩率、信息损失与分层配额。
摘要是对上下文的有损压缩:压缩率可量化,被丢掉的原文无法
从摘要还原。运行时给不同片段分配 token 预算时,按重要性加权,
而不是均分。
本模块提供贪心句子选择(保留率量化)、分层预算分配,
并演示"压缩不可逆"——从摘要无法重建被丢弃的原文。
"""
from __future__ import annotations
from typing import Any
def select_sentences(sentences: list[str], budget_chars: int) -> list[int]:
"""在预算内贪心选择信息量最大的句子(按长度打分)。"""
ranked = sorted(range(len(sentences)), key=lambda i: -len(sentences[i]))
selected: list[int] = []
used = 0
for index in ranked:
size = len(sentences[index])
if used + size <= budget_chars:
selected.append(index)
used += size
return sorted(selected)
def compression_stats(sentences: list[str], budget_chars: int) -> dict[str, Any]:
"""量化压缩:原始字符、保留字符、压缩率与选中句子索引。"""
original = sum(len(sentence) for sentence in sentences)
selected = select_sentences(sentences, budget_chars)
kept_chars = sum(len(sentences[index]) for index in selected)
return {
"original_chars": original,
"kept_chars": kept_chars,
"compression_ratio": round(1 - kept_chars / original, 3),
"selected_indexes": selected,
}
def allocate_budget(total_budget: int, priorities: dict[str, int]) -> dict[str, int]:
"""按重要性权重分配 token 预算,返回 {片段名: 配额}。"""
total = sum(priorities.values())
return {name: int(total_budget * weight / total) for name, weight in priorities.items()}
TEXT: list[str] = [
"系统在 09:00 收到告警:服务响应延迟超过阈值。",
"健康检查每 30 秒执行一次,连续三次失败即判定不可用。",
"处置预案要求先重启再扩容,重启后观察 5 分钟。",
"变更窗口是 09:00-10:00,超时需要人工审批。",
]
def demo() -> dict[str, Any]:
stats = compression_stats(TEXT, 60)
original = sum(len(sentence) for sentence in TEXT)
return {
"stats": stats,
"allocation": allocate_budget(1000, {"system": 3, "docs": 1}),
"lossy": f"原文 {original} 字 -> 保留 {stats['kept_chars']} 字,被丢弃的句子无法还原",
}
if __name__ == "__main__":
for key, value in demo().items():
print(f"{key}: {value}")
运行:
cd private/labs/agp-lab
python3 -m agp_lab.context_compress
输出:
stats: {'original_chars': 105, 'kept_chars': 55, 'compression_ratio': 0.476, 'selected_indexes': [1, 3]}
allocation: {'system': 750, 'docs': 250}
lossy: 原文 105 字 -> 保留 55 字,被丢弃的句子无法还原
三行输出对应三件事:
- stats:四句原文共 105 字,预算 60 字内贪心选了两句(索引 1、3),保留 55 字,压缩率 0.476。保留不到一半,但被选的是信息量最大的两句(贪心按长度打分,长句承载更多内容)。
- allocation:预算 1000 按 system:docs=3:1 分配,system 750、docs 250。加权而非均分,权重 3:1 直接变成配额 750:250。
- lossy:
原文 105 字 -> 保留 55 字,被丢弃的句子无法还原——这句话把"有损"说透了:摘要不是可逆压缩。模型读到的是 55 字的事实,丢掉的 50 字信息从摘要里重建不回来。
一个值得点破的细节:selected_indexes=[1, 3] 保留的是句子 1(“健康检查每 30 秒执行一次,连续三次失败即判定不可用”)和句子 3(“变更窗口是 09:00-10:00,超时需要人工审批”),而不是句子 0。贪心按长度打分,说明压缩是"保信息量大的",不是"保排前面的"——句子 0 短、信息密度低,即使位置靠前也被放弃。这提醒压缩算法要按价值选句,不能按原文顺序截断。
压缩的另一个现实约束是它本身有成本。生成摘要要调用模型(花钱、花时间),压缩后丢失的信息可能在后续步骤里被需要(要重新检索)。所以"压多少、何时压"也是一个策略问题,不是无脑压到底。
| 策略 | 触发时机 | 代价 |
|---|---|---|
| 固定预算压缩 | 每次请求 | 每次都要算摘要 |
| 超限才压缩 | 超过窗口才触发 | 峰值时延迟 |
| 增量压缩 | 只有新增内容才压 | 上下文漂移 |
权重分配也不是一次定死。权重是表达价值判断的参数,应该随任务类型变化。一个检索密集型任务,docs 的权重应该比 system 高;一个安全敏感任务,system 的权重必须保底。把权重做成任务配置而不是代码常量,才能让预算分配随任务意图调整。
压缩的损失还有一个量化方法:在压缩前后各跑一次关键评测问题,对比答案质量。比如压缩前能答对的问题,压缩后是否仍能答对。这个对比把"压缩损失了多少"从定性变成定量——如果关键问题掉点,说明压过头了。
压缩策略要配观测指标才能调优,三个指标最容易用:
| 指标 | 定义 | 异常信号 |
|---|---|---|
| 压缩率 | 1 − 保留/原始 | 持续超高说明丢得多 |
| 触发频率 | 每 N 次请求触发一次 | 过高说明预算设计不合理 |
| 掉点率 | 压缩后评测掉点比例 | 掉点说明压过头 |
压缩率不是越高越好。 压到 90% 看起来省 token,但如果关键事实被摘要吞掉,后续步骤要靠重新检索补回来——省下的 token 在重检索里还回去。调优的目标不是"压得多",而是"压得不掉点":在压缩率与任务质量之间找平衡点。
压缩还有个与缓存相关的角度:压缩结果要稳定才能帮前缀缓存(7.3)。同一个片段每次压缩出不同的摘要,前缀就持续变化,缓存命中下降。给摘要做稳定化(固定 prompt、确定性选择),压缩就从"破坏缓存"变成"辅助缓存"。这与 7.1 的稳定前缀、7.2 的稳定压缩是一套连贯的设计。
压缩还有一个实时性与批量的取舍。摘要生成调用模型,单条压缩有延迟;批量压缩(多条一起)省调用次数但增加等待。交互场景要低延迟,压缩要轻、甚至异步;批处理场景可以接受更重、更慢的压缩。压缩策略与任务时延预算绑定——不能为了省 token 把交互延迟拖到不可接受。
| 场景 | 压缩方式 | 代价 |
|---|---|---|
| 交互 | 轻量、异步 | 摘要质量低 |
| 批处理 | 重、批量 | 延迟高但省调用 |
| 混合 | 按片段分级 | 复杂度高 |
压缩对象的粒度也要设计。 整段压缩会丢上下文,句子级压缩保留粒度但开销大。一个折中是按价值分层压缩:低价值片段(检索文档)先整段压缩,高价值片段(系统策略、任务规格)保原样或句子级。这与 7.2 的加权分配对应:权重高的不压或轻压,权重低的深度压缩。
压缩与安全也有接口:摘要可能泄露敏感细节、也可能把安全约束摘要丢了(系统策略里的禁令被压缩掉)。安全相关的片段默认不压缩或压缩后必须复审——压缩不能削减安全语义,这条优先级高于省 token。
压缩与组装(7.1)的接口是"预算内再压缩":组装把片段放进预算,压缩把放进去的片段变小、腾出预算给更多内容。两者的顺序有讲究——先组装(按优先级)后压缩(超预算的再压),或先压缩(全部变小)后组装(都放得下)。常用的是前者:优先级高但超预算的,压缩后再试;优先级低的,直接挤出。压缩是组装的第二阶段,不是平行操作。
| 顺序 | 流程 | 适用 |
|---|---|---|
| 先装后压 | 优先级装入→超预算压缩 | 内容多、优先级分明 |
| 先压后装 | 全部压缩→装入 | 内容超多、优先级均 |
压缩的预算本身也要设置:压缩不是无限压,有个"压缩后最小保留率"——低于这个就不值得保留,直接挤出。这个阈值和 7.1 的挤出机制配合:先压缩到最小保留,仍放不下就挤出。 压缩是"让更多内容进得来",挤出是"放弃装不下的",两者分界清晰。
压缩的"要不要压"也要按场景判定:一个片段本来就不大、后续还可能被模型逐字引用,压它反而丢关键信息。压缩不是默认动作,是按预算压力的触发动作——预算够就不压,预算紧才压,且从低价值开始压(见 7.1 优先级)。这避免"为了压缩而压缩"。
| 预算状态 | 压缩策略 |
|---|---|
| 充足 | 不压缩 |
| 紧张 | 低价值片段压缩 |
| 耗尽 | 挤出低价值(7.1) |
压缩的信息损失要可预期,才有权决定"压哪些":每个片段的"压缩损失预算"不同——系统策略压不得,检索文档压得起。生产上给片段标"损失容忍度"(不可压/轻压/深压),压缩器按容忍度决定压缩深度。容忍度是压缩的另一个权重维度,与 7.1 的优先级、7.2 的加权分配并列——三张表共同决定"谁进、谁压、压多狠"。
| 损失容忍度 | 片段示例 | 压缩动作 |
|---|---|---|
| 不可压 | 系统策略、安全约束 | 保原样 |
| 轻压 | 任务规格 | 保留结构、略缩 |
| 深压 | 检索文档、日志 | 可深压缩 |
架构判据
压缩与预算分配是否合格,用五条判据检查:
| 判据 | 合格的样子 | 不合格的样子 |
|---|---|---|
| 压缩率可量化 | 保留/原始有明确数字 | 压完不知道压了多少 |
| 损失可描述 | 能说出丢弃了哪些内容 | 只说"压缩了"不列损失 |
| 按价值选句 | 保留信息量大的句子 | 按原文顺序截断 |
| 加权分配 | 配额与片段价值匹配 | 预算均分 |
| 摘要不可逆 | 明确知道摘要丢事实 | 把摘要当无损压缩 |
判据第一条"压缩率可量化"是基础,但判据第二条才是关键:压缩不仅要量化"少了多少",还要能说"丢了什么"。 判据第五条是认知底线:摘要不是可逆的,模型只能看到保留的事实,这个限制要写进架构。
小结
- 摘要是对上下文的有损压缩:压缩率可量化,但被丢弃的句子无法从摘要还原。
- 预算分配按重要性加权而非均分,权重就是你对片段价值的判断。
- 贪心按信息量选句,不按原文顺序截断。
- 压缩必须计损失:模型只能读到保留的事实,丢失的内容无法重建。
阅读导航:上一节:7.1 上下文组装:系统、任务、记忆、工具 · 下一节:7.3 前缀缓存与上下文复用 。
常见错误与边界
- 把摘要当无损。 摘要丢掉的句子无法还原;模型只能看到保留的事实,要接受这个损失。
- 只量化"少了多少",不说"丢了什么"。 压缩率数字之外,要能列出丢弃的内容才能审计。
- 按原文顺序截断。 位置靠前的短句信息量可能更低;要按价值选句,不按顺序截。
- 预算均分。 系统策略和检索文档价值不同;按权重分配,权重就是价值声明。
- 压缩只做一次。 上下文会持续增长,压缩要按需反复做;不是一次摘要一劳永逸。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。