《大规模分布式计算深入解析》7.2 块丢失与重新计算

普通RDD块miss、Shuffle FetchFailed、广播重新获取与检查点缺失分别恢复,按产物和故障域确定重算范围。

7.2 块丢失与重新计算

从BlockId识别对象

普通持久化RDD通常以RDDBlockId(rddId,partitionIndex)标识一个分区缓存块,底层可用多个内存段或文件承载;不能把缓冲段数当成多个独立RDD分区。广播块、Shuffle分区块和RDD块有不同ID及恢复来源。

产物缺失后的主要路径所需前提
普通RDD缓存任务内getOrCompute继续读取父依赖稳定源/函数及可用祖先
有其它副本的RDD块获取仍可用副本副本存在且可定位
Shuffle输出fetch失败回报Driver,按受影响产物恢复阶段预算允许、上游仍能算
广播块从其它可用块源获取广播未销毁且源可用
已完成checkpoint的数据直接读取检查点分区数据仍存在且可读

普通缓存miss不一律先发一个Driver“重算块”请求。任务已有所需计算描述,iterator能调用父迭代器。Shuffle涉及阶段产物和MapStatus协调,其失败处理不能套用普通缓存miss的局部示意。

故障范围按布局算

100分区平均放在20个Executor上、每个5分区,是一个显式均匀布局。单进程退出若没有副本会影响5个块;实际分布不均时必须按块清单计数。若所有缓存都在一个Executor上,单个进程失败也可丢全部缓存。因此“单次故障不可能全丢”不成立。

ESS服务的是节点本地Shuffle文件,不自动保存RDD缓存,也不抗该节点磁盘消失。tracking会保留仍持有活跃Shuffle的Executor;受支持的decommission迁移另有完成条件。

驱逐与指标

MemoryStore的候选不仅看最近访问,还要满足内存模式、同RDD避免循环替换及锁状态。找不到足够可驱逐块时,新缓存可拒绝或按StorageLevel落盘。应分别记录缓存命中、实际重新计算分区、fetch失败和新attempt,不能把所有缓存miss统计成调度重试。





架构与流程

flowchart TD
    A["Application:用户程序与SparkContext"] --> J["action内部可提交一个或多个Job"]
    J --> D["Driver DAGScheduler:目标分区、依赖与可用产物"]
    D --> T["TaskScheduler:TaskSet与资源约束"]
    T --> E["Executor中的Task attempt"]
    E --> B{"RDD缓存块可用?"}
    B -- "本地或远端命中" --> I["读取迭代器"]
    B -- "普通缓存miss" --> C["当前task内computeOrReadCheckpoint"]
    C --> P["父RDD迭代器或已完成checkpoint"]
    P --> I
    E --> F{"Shuffle fetch成功?"}
    F -- "成功" --> I
    F -- "FetchFailed" --> H["Driver处理阶段失败与缺失产物"]
    H --> D
    M["块位置、Executor存活与MapStatus元数据"] -. "控制信息" .-> D

实现与验证范围

父函数调用测试验证缓存miss的有限回退;实际网络fetch失败和ESS节点失效尚需专门集群实验,不能由数组计数证明。

教学入口:rdd.RecoverySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路