《大规模分布式计算深入解析》6.1 任务运行与序列化

分开stage taskBinary广播、每task封装和Executor反序列化;数据Kryo不改变固定Java闭包serializer。

6.1 任务运行与序列化

两种序列化配置

SparkEnv3.5.7的数据serializer可由spark.serializer选择,closureSerializer独立使用JavaSerializer。配置Kryo不意味着不能Java序列化的闭包会被自动修好。类注册、可访问依赖和类版本仍影响运行。

DAGScheduler对Stage的RDD及函数/ShuffleDependency生成taskBinaryBytes并广播。每个task封装自己的分区、阶段尝试和广播引用,在Executor获取广播字节并反序列化计算描述。需要分开“网络重复传输”“进程持有的广播字节”与“每task反序列化出的对象”。

为什么仍需显式广播

捕获大字典可能使阶段二进制很大,任务反序列化/对象图和跨Stage重复捕获仍有成本。显式Broadcast可使多个任务和阶段按其生命周期共享所需对象,但并不承诺无重传、永远只有一份物理副本或不产生编码副本。

因此10MB×1000task=10GB不是该版本的通用网络账本。应按广播块获取、Executor数、Stage及重试、缓存保留和实际网络计量计算。只在local模式检查类名不能证明网络节省多少。

attempt执行顺序

记录application、Job、Stage attempt、partition和task attempt。Executor收到任务后反序列化、建立TaskContext、读取RDD/Shuffle/广播材料、运行迭代器和内存申请,最后报告结果或失败。对外数据库写入发生在用户逻辑中,Driver丢弃某attempt结果不会撤销它已经产生的副作用。

最小原生观察

本包配置数据Kryo,断言实际serializer类型为KryoSerializer,而closure仍JavaSerializer。检查点也是数据材料:若首应用用Kryo写,次应用用不兼容Java配置读,可出现StreamCorrupted;显式加载需兼容序列化和schema。源码和运行观察应共同解释,不把“换Kryo更快”当普遍性能结论。





架构与流程

sequenceDiagram
    participant D as Driver/DAGScheduler
    participant B as Broadcast与BlockManager
    participant E as Executor
    participant T as Task attempt
    D->>D: 用closureSerializer序列化RDD及阶段函数
    Note over D: 3.5.7闭包序列化为JavaSerializer
    D->>B: 广播stage taskBinary字节
    D->>E: 每Task封装、分区及广播引用
    E->>B: 获取或复用广播块
    B-->>E: taskBinary字节
    E->>T: 反序列化任务计算对象
    T->>T: 执行算子链
    T->>B: Shuffle或SER缓存使用相应数据serializer
    Note over E,B: 数据serializer可为Kryo;不改变closureSerializer

实现与验证范围

原生类名及检查点对照在本机运行;未测多Executor网络流量或共享对象峰值内存。

教学入口:memory.MemorySuite / exec.ExecSuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路