10.2 缓存层:本地盘与分布式缓存
10.1 说明对象存储的每次 GET 都要过网络,List 还很贵。存算分离之后,计算节点与数据之间隔了一条网络,最直接的补救是加缓存:把热数据放到离计算更近的地方。但缓存不是「加了就快」,它的收益完全由命中率决定,而命中率又被缓存容量与热数据规模的比例卡死。
本节先给出平均延迟公式,再算命中率上限,最后对比本地盘与分布式缓存的一致性与失效方式。
平均延迟由命中率决定
设命中时读 1ms(本地盘或内存),未命中时回源 50ms(对象存储 GET),命中率 90%。lab 用例 89 算的是加权平均:
平均延迟 = 命中率 × 命中延迟 + (1 - 命中率) × 未命中延迟
= 0.9 × 1ms + 0.1 × 50ms
= 0.9 + 5.0
= 5.9ms
| 命中率 | 命中 1ms | 未命中 50ms | 平均延迟 | 相对直读 50ms |
|---|---|---|---|---|
| 100% | 1ms | — | 1ms | 快 50 倍(公式推导) |
| 90% | 1ms | 50ms | 5.9ms | 快约 8.5 倍(公式推导) |
| 80% | 1ms | 50ms | 10.8ms | 快约 4.6 倍(公式推导) |
| 50% | 1ms | 50ms | 25.5ms | 快 2 倍(公式推导) |
| 0% | — | 50ms | 50ms | 无收益 |
平均延迟对命中率是敏感的:命中率从 90% 掉到 80%,看起来只差 10 个百分点,平均延迟却几乎翻倍,因为未命中的 50ms 在加权时被放大了。这也解释了为什么缓存调优里「提升最后几个百分点」往往比「扩大一倍容量」更有价值。
收益是非线性的:从 50ms 到 5.9ms
把加速比单独列出来,非线性更明显:
| 命中率 | 平均延迟 | 加速比 | 每提升 10 个点的收益 |
|---|---|---|---|
| 50% | 25.5ms | 1.96 倍 | — |
| 60% | 20.6ms | 2.43 倍 | 约 0.47 倍(公式推导) |
| 70% | 15.7ms | 3.18 倍 | 约 0.75 倍(公式推导) |
| 80% | 10.8ms | 4.63 倍 | 约 1.45 倍(公式推导) |
| 90% | 5.9ms | 8.47 倍 | 约 3.84 倍(公式推导) |
同样是提升 10 个百分点,从 80% 到 90% 的收益是 50% 到 60% 的八倍多。这条曲线决定了投入顺序:命中率已经在 80% 以上时,继续优化淘汰策略、预热关键分区很划算;命中率只有 50% 时,先减少要读的数据(分区裁剪、列裁剪),比调缓存更有效。
缓存容量决定命中率上限
命中率不是想调多高就多高。如果热数据有 12TB,缓存只有 10TB,那么再好的淘汰算法也不可能让命中率超过 10/12。lab 用例 90 就是这个上限:
double ceiling = Storage.cacheHitCeiling(12.0, 10.0); // 0.833333…
| 热数据 | 缓存容量 | 命中率上限 | 说明 |
|---|---|---|---|
| 12TB | 2TB | 16.7% | 大部分请求仍回源(公式推导) |
| 12TB | 6TB | 50.0% | 一半命中(公式推导) |
| 12TB | 10TB | 83.3% | 用例 90 |
| 12TB | 12TB | 100% | 全量装入(公式推导) |
83.3% 是上限,不是实际值:淘汰算法不完美、访问有偏、扫描型查询会污染缓存,实际命中率只会更低。按 83.3% 代入平均延迟公式,得到 0.833 × 1 + 0.167 × 50 ≈ 9.2ms(公式推导),比 90% 命中时的 5.9ms 又慢了一截。
所以容量规划的顺序是反的:先估热数据规模与可接受的平均延迟,再倒推需要的命中率,最后决定缓存要多大。先买缓存再指望命中率,通常会得到一台很贵但没什么用的机器。
上限不等于实际命中率
容量给出的只是天花板,实际命中率还要再打几折:
| 折损因素 | 影响 | 应对 |
|---|---|---|
| 淘汰算法近似 | LRU 近似实现会误淘汰 | 用分段 LRU 或 SLRU |
| 访问分布倾斜 | 少数 key 占多数请求,长尾难命中 | 按访问频次分层 |
| 扫描污染 | 一次全表扫描冲掉热数据 | 扫描走旁路,不进缓存 |
| 多副本各缓各的 | 同一数据被多次回源 | 分布式缓存或一致性哈希 |
扫描污染是最常见的隐性杀手:一条全表扫描把几 TB 冷数据灌进缓存,把原本命中率 90% 的热数据全挤出去,之后几小时的查询都在回源。解决办法不是加大缓存,而是让大扫描绕过缓存,或者用只读的旁路通道。
缓存不是「加了就快」
把命中率压到很低时,缓存的账会变得很难看:
| 命中率 | 平均延迟 | 相对直读 | 结论 |
|---|---|---|---|
| 90% | 5.9ms | 快 8.5 倍 | 值得 |
| 83.3% | 约 9.2ms | 快 5.4 倍 | 值得,接近容量上限 |
| 20% | 40.2ms | 快 1.24 倍 | 收益有限(公式推导) |
| 5% | 47.6ms | 快 1.05 倍 | 基本白加(公式推导) |
未命中的请求不但要回源,还要额外付一次缓存查找、淘汰判断和可能的写入缓存。当命中率低到 5%,这些额外开销会把仅有的 5% 收益吃掉,缓存反而可能比直读更慢。判断要不要加缓存,先看热数据占比,而不是先看缓存软件的性能参数。
缓存放在哪一层
「加缓存」不是只有一个位置,从 CPU 到远端至少有四层:
| 层次 | 位置 | 延迟量级 | 容量 | 谁能控制 |
|---|---|---|---|---|
| 页缓存 | 操作系统 | 最低 | 受内存限制 | 操作系统 |
| 本地盘缓存 | 计算节点 SSD | 低(本节的 1ms 模型) | 单机盘容量 | 引擎自己 |
| 分布式缓存 | 独立缓存集群 | 高于本地,低于回源 | 可横向扩展 | 平台团队 |
| 对象存储 | 远端 | 本节的 50ms 模型 | 近乎无限 | 云厂商 |
越靠近计算的缓存越快、越小、越容易失效。页缓存和本地盘缓存随机器生灭,机器一换就没了;分布式缓存跨机器共享,但多一次网络往返。选择哪一层,取决于「同一份数据会被多少台机器重复读」。
本地盘缓存与分布式缓存
| 维度 | 本地盘缓存 | 分布式缓存 |
|---|---|---|
| 典型介质 | NVMe / SSD | 内存或 SSD 集群 |
| 命中延迟 | 最低(毫秒以内) | 多一次网络往返 |
| 容量 | 单机盘容量 | 可扩展到 TB 级 |
| 命中率 | 受单机数据分布影响 | 全局共享,命中率更高 |
| 一致性 | 各机器独立失效,易不一致 | 可集中失效,但仍有窗口 |
| 故障影响 | 单机缓存丢失,回源即可 | 集群故障会放大回源 |
| 适用 | 单机重复读多、数据可重建 | 多机共享热数据 |
本地盘缓存的命中率天然偏低:同一份热数据,机器 A 缓存过,机器 B 还要再回源一次;调度把任务挪到另一台机器,缓存就白建了。分布式缓存解决这个问题,代价是多一次网络往返和一套需要运维的集群。
一致性与失效
缓存最危险的不是不命中,而是命中了一个旧值。对象存储现在是强一致的,但缓存层会把这个保证重新打破:
| 失效方式 | 机制 | 风险 |
|---|---|---|
| TTL | 到期自动失效 | 窗口内读到旧值 |
| 写穿 | 写对象时同步更新缓存 | 写路径变长,失败要回滚 |
| 写回 | 先写缓存再异步刷 | 缓存故障丢数据 |
| 版本化 key | key 带 etag 或版本号 | 实现复杂,但不会读错 |
对象存储的强一致只保证「源端」。一旦中间加了缓存,读到的可能是缓存建立那一刻的快照。对不可变数据(一次写入、从不修改的分区文件)来说这不是问题;对有覆盖写或删除的数据,必须用 TTL 加版本号,或者干脆让缓存只服务不可变对象。
预热:别让第一次查询付全额
冷缓存下命中率为 0,第一批查询全部回源。预热把这一步提前:
| 策略 | 做法 | 收益 | 代价 |
|---|---|---|---|
| 全量预热 | 启动时把热分区全部拉入 | 首批查询即命中 | 启动慢、可能拉入冷数据 |
| 按分区预热 | 只拉查询涉及的分区 | 针对性强 | 需要知道查询模式 |
| 按历史预热 | 用上一周期的访问日志 | 命中率高 | 日志滞后、新模式失效 |
| 不预热 | 靠自然访问升温 | 零成本 | 首批查询全回源 |
预热不是越多越好:把冷数据拉进容量有限的缓存,会挤掉真正的热数据,效果等同于扫描污染。预热的选择标准与淘汰标准应当一致——都按「未来一段时间会被读几次」排序。
缓存与下推的分工
缓存解决「读得远」,下推解决「读得多」,两者不能互相替代:
| 手段 | 减少的是 | 生效前提 | 失效场景 |
|---|---|---|---|
| 缓存 | 网络往返次数 | 命中率高 | 数据不可缓存、命中率低 |
| 下推 | 传输的数据量 | 存储层能执行谓词或聚合 | 复杂表达式、跨表操作 |
先下推、再缓存是更稳的顺序:下推把 100 万行压成 100 行,缓存要装的数据随之变小,命中率上限自然提高。反过来先加缓存,缓存的仍是全量数据,容量很快见底。这条分工也是 10.3 的起点。
命中率按请求算还是按字节算
同一个缓存,两种口径会给出完全不同的数字:
| 口径 | 定义 | 适用 | 偏差 |
|---|---|---|---|
| 按请求 | 命中次数 ÷ 总请求数 | 点查、元数据 | 小对象多的负载偏高 |
| 按字节 | 命中字节 ÷ 总字节 | 大文件扫描 | 大对象多的负载偏高 |
平均延迟公式里的命中率必须与延迟口径一致:如果你关心的是查询等待时间,就该用按请求的命中率;如果关心的是网络流量,才用按字节。两个数字混用,会算出对不上实测的 5.9ms。
判据:什么时候该加缓存
| 条件 | 判断 |
|---|---|
| 热数据 ≤ 缓存容量 | 命中率上限高,值得加 |
| 热数据远大于缓存 | 先做分区裁剪与列裁剪 |
| 数据不可变、重复读多 | 缓存收益最大 |
| 数据频繁覆盖写 | 先解决失效,再谈缓存 |
| 单机重复读为主 | 本地盘缓存足够 |
| 多机共享热数据 | 分布式缓存更合适 |
判据可以写成三道门:第一,热数据能不能装进缓存;第二,命中率能不能过 80%;第三,数据是否可重建、可失效。三道都过才加缓存,任何一道不过,先把数据读少一点,比加缓存更有效。
三个常见误解
误解一:加了缓存,读延迟就会下降。 真相:收益由命中率决定,命中率 5% 时平均延迟 47.6ms,相对直读 50ms 只有 1.05 倍,额外开销还可能把它抵消。
误解二:缓存越大,命中率越高,扩容总是对的。 真相:命中率上限是缓存容量与热数据的比值,12TB 热数据配 10TB 缓存最多 83.3%,且实际值因淘汰与污染更低。
误解三:对象存储已经强一致,缓存也自然一致。 真相:缓存重新引入了旧值窗口,覆盖写与删除场景必须靠 TTL、版本化 key 或只缓存不可变对象来控制。
一句话总结本节
缓存收益由命中率决定:命中 1ms、未命中 50ms、命中率 90% 时平均读延迟 5.9ms;命中率上限是缓存容量与热数据的比值,12TB 热数据配 10TB 缓存最多 83.3%,对应约 9.2ms。命中率低于 80% 后收益迅速衰减,低于 5% 基本白加;本地盘缓存快但命中率受单机限制,分布式缓存命中率高但多一次网络往返,失效方式决定它会不会读到旧值。
本节 lab
在 bd-engine-lab 中验证缓存命中率与容量上限:
- 源码:
src/storage/Storage.java与src/storage/StorageSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 89 验证「命中率 90%、命中 1ms、未命中 50ms 时平均读延迟 5.9ms」;用例 90 验证「热数据 12TB、缓存 10TB 时命中率上限 83.3%(10/12)」。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:存算分离后读延迟高 → 用命中率加权算平均延迟 → 90% 命中得 5.9ms,83.3% 上限得约 9.2ms → 先确认热数据能装进缓存且命中率过 80%,再在本地盘与分布式缓存之间按共享范围选择,并用 TTL 或版本号控制失效。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。