7.2 块丢失与重新计算
从BlockId识别对象
普通持久化RDD通常以RDDBlockId(rddId,partitionIndex)标识一个分区缓存块,底层可用多个内存段或文件承载;不能把缓冲段数当成多个独立RDD分区。广播块、Shuffle分区块和RDD块有不同ID及恢复来源。
| 产物 | 缺失后的主要路径 | 所需前提 |
|---|---|---|
| 普通RDD缓存 | 任务内getOrCompute继续读取父依赖 | 稳定源/函数及可用祖先 |
| 有其它副本的RDD块 | 获取仍可用副本 | 副本存在且可定位 |
| Shuffle输出 | fetch失败回报Driver,按受影响产物恢复阶段 | 预算允许、上游仍能算 |
| 广播块 | 从其它可用块源获取 | 广播未销毁且源可用 |
| 已完成checkpoint的数据 | 直接读取检查点分区 | 数据仍存在且可读 |
普通缓存miss不一律先发一个Driver“重算块”请求。任务已有所需计算描述,iterator能调用父迭代器。Shuffle涉及阶段产物和MapStatus协调,其失败处理不能套用普通缓存miss的局部示意。
故障范围按布局算
100分区平均放在20个Executor上、每个5分区,是一个显式均匀布局。单进程退出若没有副本会影响5个块;实际分布不均时必须按块清单计数。若所有缓存都在一个Executor上,单个进程失败也可丢全部缓存。因此“单次故障不可能全丢”不成立。
ESS服务的是节点本地Shuffle文件,不自动保存RDD缓存,也不抗该节点磁盘消失。tracking会保留仍持有活跃Shuffle的Executor;受支持的decommission迁移另有完成条件。
驱逐与指标
MemoryStore的候选不仅看最近访问,还要满足内存模式、同RDD避免循环替换及锁状态。找不到足够可驱逐块时,新缓存可拒绝或按StorageLevel落盘。应分别记录缓存命中、实际重新计算分区、fetch失败和新attempt,不能把所有缓存miss统计成调度重试。
架构与流程
flowchart TD
A["Application:用户程序与SparkContext"] --> J["action内部可提交一个或多个Job"]
J --> D["Driver DAGScheduler:目标分区、依赖与可用产物"]
D --> T["TaskScheduler:TaskSet与资源约束"]
T --> E["Executor中的Task attempt"]
E --> B{"RDD缓存块可用?"}
B -- "本地或远端命中" --> I["读取迭代器"]
B -- "普通缓存miss" --> C["当前task内computeOrReadCheckpoint"]
C --> P["父RDD迭代器或已完成checkpoint"]
P --> I
E --> F{"Shuffle fetch成功?"}
F -- "成功" --> I
F -- "FetchFailed" --> H["Driver处理阶段失败与缺失产物"]
H --> D
M["块位置、Executor存活与MapStatus元数据"] -. "控制信息" .-> D
实现与验证范围
父函数调用测试验证缓存miss的有限回退;实际网络fetch失败和ESS节点失效尚需专门集群实验,不能由数组计数证明。
教学入口:rdd.RecoverySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。