《大规模分布式计算深入解析》2.3 持久化级别与检查点

cache 保留血缘、checkpoint 截断血缘——两个看起来都像「存起来」的操作,容错语义完全不同。本节把持久化级别(内存/序列化/磁盘/副本)的取舍讲清,再把检查点的写盘成本与收益对齐:缓存加速、检查点兜底,长血缘的迭代作业两者都要。

2.3 持久化级别与检查点

第 1 章反复说「中间结果留内存」,但「留」有两种完全不同的方式:缓存(cache/persist)与检查点(checkpoint)。两者都让数据「存起来」,但一个保留血缘、一个截断血缘,适用场景完全不同。这一节把这两个机制拆开,再讲清楚持久化级别的取舍。

缓存与检查点:先看差别

维度cache / persistcheckpoint
存储位置内存、磁盘(由级别决定)可靠存储(HDFS 等)
血缘保留截断
数据丢失后沿血缘重算从检查点直接读回
写成本低(可选不落盘)高(必须落盘)
主要用途加速复用兜底恢复

一句话:缓存解决「快」,检查点解决「稳」。缓存丢了还能重算(血缘在),检查点丢了就真丢了(血缘已被截断)——但检查点存在可靠存储上,本来就不容易丢。

持久化级别

persist 接受一个存储级别,核心是「放哪、是否序列化、是否复制」:

级别存储序列化复制特点
MEMORY_ONLY内存否否最快,内存不够的分区不缓存
MEMORY_ONLY_SER内存是否省内存(约一半),读时反序列化
MEMORY_AND_DISK内存优先否否内存放不下溢到磁盘
MEMORY_AND_DISK_SER内存优先是否更省内存 + 磁盘兜底
DISK_ONLY磁盘是否省内存,慢
*_2以上任一—是副本,抗节点故障

lab 的 RddCore.memoryFootprint(1000, MEMORY_ONLY) 返回 1000、MEMORY_ONLY_SER 返回 500、DISK_ONLY 返回 0(用例 9-11)——这三个数字把「级别 = 占用内存多少」说清楚了。序列化级别用 CPU(反序列化)换内存(对象头开销消失),磁盘级别用 IO 换内存。

什么时候该缓存

缓存不是免费的,它的判据只有一条:这份数据会被复用吗、复用几次。

场景缓存理由
迭代算法(每轮读同一份)是复用次数 = 迭代轮数
多作业共享中间结果是避免重复计算
交互式查询的底表是同一份数据反复扫
一次性 ETL 的中间结果否只用一次,缓存纯浪费
数据量远大于内存谨慎命中率低,反而挤占执行内存

最后一行是实践里的坑:缓存全部数据但内存装不下,等于没缓存,还会让执行内存不足、频繁 spill。正确做法是只缓存「被反复读且能装进内存」的部分,或者用序列化级别压缩占用。

缓存的语义细节:惰性

cache() 本身不计算,它只是给 RDD 打一个「可缓存」的标记;真正的物化发生在第一次行动时。

rdd.cache()        // 只打标记,不做任何计算
rdd.count()        // 第一次行动:算出来并缓存
rdd.count()        // 第二次行动:直接从缓存读,不重算

这个语义带来一个常见困惑:如果缓存后没有触发行动,缓存目录里什么也没有。缓存的成本在第一次行动时支付,收益从第二次行动开始——所以「只调用一次行动」的作业,缓存没有意义。

检查点:把血缘剪断

检查点的流程分两步:

1. 标记:rdd.checkpoint()
2. 触发:下一次行动时,把 rdd 物化到可靠存储
3. 截断:rdd 的血缘被替换为「从检查点读取」

之后这个 RDD 的分区丢失时,引擎不再回溯血缘,而是直接从检查点文件读回。lab 的 Lineage.effectiveDepth(5, true) 返回 1(血缘深度从 5 截断到 1),recoverFromCheckpoint(4, true) 返回 0(用例 17、20)——检查点把「重算成本 = 链长」变成「重算成本 = 0」。

代价是写盘:检查点必须把数据写到可靠存储,这是一次真实的 IO。所以检查点适合「血缘长、重算贵、作业运行久」的场景;短作业用检查点反而增加开销。

缓存 vs 检查点的组合

两者不是二选一,常见做法是组合使用:

组合效果
只缓存快,但缓存丢了要按长血缘重算
只检查点稳,但每次读检查点都要走磁盘
缓存 + 检查点热读走缓存、缓存丢了从检查点恢复

lab 的 Lineage.recomputeCount(cached, lost) 与 recoverFromCheckpoint 合起来就是这个组合的模型:缓存覆盖的部分零重算(用例 15-16),检查点覆盖的部分也从 0 算起(用例 20)。缓存是加速层,检查点是可靠层,两者各管一段。

存储级别的选择流程

面对一个 RDD,选级别可以按三步走:

第一步:会不会复用?
  否 → 不缓存
  是 → 进入第二步
第二步:数据能装进内存吗?
  能 → MEMORY_ONLY(或 MEMORY_ONLY_SER)
  不能 → MEMORY_AND_DISK(或 _SER)
第三步:能接受节点故障丢缓存吗?
  能 → 不加副本
  不能 → 加 _2 副本,或用 checkpoint

这个流程的关键在第一步:大多数「性能问题」不是级别选错,而是根本不该缓存。先判断复用性,再谈级别,顺序反了会陷入「调级别」的细节而忽略大头。

检查点的目录与作业重提交

检查点数据写在什么位置,决定了「作业重跑时能否复用」:

配置数据位置重跑时
默认每个作业一个临时目录作业结束后可能被清理,无法复用
显式指定可靠路径用户给定的 HDFS 目录可复用,支持作业级恢复

如果检查点写在临时目录,作业失败后重启会生成一个新的检查点,之前的白写;写在显式路径下,重启的作业可以读回上次的检查点,跳过之前的计算。检查点的价值不只在于「运行中恢复」,还在于「跨作业重启」——长作业(小时级甚至天级)尤其要显式指定检查点路径。

局部检查点:一个折中

Spark 还有一个 localCheckpoint:把数据物化到 Executor 的本地磁盘,并截断血缘,但不写到可靠存储。

特性checkpointlocalCheckpoint
存储可靠存储(HDFS)Executor 本地盘
血缘截断截断
Executor 丢失数据仍在,可恢复数据丢失,无法恢复
成本高(网络 + 可靠写)低(本地写)

localCheckpoint 适合「血缘截断能省大量重算、且能接受 Executor 丢失后作业失败」的场景。它牺牲了可靠性换成本,是一个明确的工程折中——用之前要清楚:它截断血缘但不保证数据可靠。

持久化的内存账

缓存与执行共享同一块内存(第 5 章的统一内存模型),所以缓存不是「想存就存」:

缓存占用对执行的影响
缓存少执行内存充足,shuffle/spill 少
缓存多执行内存被挤,spill 增多
缓存超内存命中率下降,等于没缓存

所以「缓存多少」是一个分配问题,不是「越多越好」。第 5 章会讲统一内存如何让存储区与执行区动态借用——本质就是让这个分配「按需」而不是「写死」。

三个常见误解

误解一:cache 之后数据一定在内存。 真相:内存不够时,MEMORY_ONLY 的分区可能根本没被缓存(或部分被逐出);要保证落盘得用 MEMORY_AND_DISK。

误解二:checkpoint 之后就不再需要血缘。 真相:checkpoint 截断的是「该 RDD 及之前的血缘」,之后的变换仍有自己的血缘。检查点只影响它之前的部分。

误解三:缓存和检查点可以互相替代。 真相:缓存不保证可靠、检查点不保证快。前者是加速层,后者是可靠层,职责不同。

一句话总结本节

缓存保留血缘、检查点截断血缘:前者用内存/磁盘加速复用(丢了能重算),后者用可靠存储兜底恢复(丢了不能重算但本来不容易丢)。存储级别在内存、序列化、磁盘、副本之间取舍——序列化用 CPU 换内存、磁盘用 IO 换内存;缓存判据是「会被复用几次」,检查点判据是「血缘是否长到重算不可接受」。缓存加速、检查点兜底,长血缘迭代作业两者都要。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现持久化与检查点:

  • 源码:src/rdd/RddCore.java(memoryFootprint / Level)、src/rdd/Lineage.java(effectiveDepth / recomputeCount / recoverFromCheckpoint)与 RddSuite。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:RddSuite 用例 9-11 验证三种级别的内存足迹;用例 15-18 验证「只重算丢失且未缓存的分区」与「检查点截断血缘」;用例 20 验证检查点恢复零重算。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:缓存保留血缘、检查点截断血缘 → 级别决定放哪与占用 → 判据是复用次数与血缘长度——lab 的足迹与重算用例就是这条链的量化版本。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图