7.1 血缘重算 vs 检查点
两种读取材料与一次不可逆边界
未完成可靠checkpoint前,RDD仍可使用旧依赖计算。完成发布后,依赖切换到检查点RDD并清理原依赖。缓存可与两种状态共存,但不能用“缓存→检查点→旧血缘”画成永远有效的三层兜底。
| 状态 | 可用材料 | 恢复结果 |
|---|---|---|
| 未完成检查点,缓存miss | 旧依赖及可用父数据 | 在所需计算路径重算 |
| 写检查点失败 | 不能声称有成功恢复点 | 报错,保留旧依赖语义 |
| 完成后缓存仍在 | 缓存 | 读取缓存 |
| 完成后缓存丢失 | 检查点数据 | 读取相应分区 |
| 完成后两者均不可用 | 原依赖已清理 | 失败,需应用另行重建 |
实际数据反例
Recovery先由父函数生成[2,3,4]。故意失败的publish不清父函数;成功publish保存数组副本并清父函数。清缓存后仍读到4;再清检查点,读取抛异常。restore(snapshot)创建没有父函数的新对象,演示显式加载材料,而非恢复用户程序。
原生Spark探针对自己创建的checkpoint路径做同样切点:count完成物化,确认路径位于独占测试目录,删除检查点,再unpersist,后续count失败。失败原因必须明确为检查点不存在,不能捕获任意异常就记通过。
成本与适用范围
可靠checkpoint增加一次物化和可靠写,恢复还有检查点读取、解码与下游计算。它减少的是旧依赖计算,不把恢复总成本变成零。长链的轻量map可能比短链的重UDF便宜,决策要按行数、函数成本、Shuffle及源读取测量。
跨应用恢复应保存已完成数据路径、应用版本及兼容的序列化配置,启动新程序显式读取并重建后续逻辑。输入快照、输出幂等与保留策略仍需成立;存储独立于Executor不自动保证不损坏或永久存在。
架构与流程
flowchart TD
S["普通RDD:旧依赖仍在"] --> Q{"可靠checkpoint目录已配置?"}
Q -- "否" --> ERR["checkpoint调用拒绝"]
Q -- "是" --> MARK["标记checkpoint;未完成时不截断"]
MARK --> ACTION["action及checkpoint物化任务"]
ACTION --> WRITE["写入检查点分区与元数据"]
WRITE --> OK{"写入与发布成功?"}
OK -- "否" --> FAIL["报告失败;不能声称已有可恢复检查点"]
OK -- "是" --> CUT["markCheckpointed:替换父依赖并清除旧依赖"]
CUT --> READ{"后续请求分区"}
READ -- "有缓存" --> CACHE["读取可用缓存"]
READ -- "无缓存、有checkpoint" --> CP["读取检查点分区"]
READ -- "缓存和checkpoint均不可用" --> LOSS["该RDD恢复失败;旧血缘不再兜底"]
LOSS --> REBUILD["应用显式重建上游或使用备份"]
实现与验证范围
本机checkpoint文件删除不等于设备断电或分布式存储故障;有限模型和原生观察各自列出,不推广成集群恢复保证。
教学入口:rdd.RecoverySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。