6.1 任务运行与序列化
两种序列化配置
SparkEnv3.5.7的数据serializer可由spark.serializer选择,closureSerializer独立使用JavaSerializer。配置Kryo不意味着不能Java序列化的闭包会被自动修好。类注册、可访问依赖和类版本仍影响运行。
DAGScheduler对Stage的RDD及函数/ShuffleDependency生成taskBinaryBytes并广播。每个task封装自己的分区、阶段尝试和广播引用,在Executor获取广播字节并反序列化计算描述。需要分开“网络重复传输”“进程持有的广播字节”与“每task反序列化出的对象”。
为什么仍需显式广播
捕获大字典可能使阶段二进制很大,任务反序列化/对象图和跨Stage重复捕获仍有成本。显式Broadcast可使多个任务和阶段按其生命周期共享所需对象,但并不承诺无重传、永远只有一份物理副本或不产生编码副本。
因此10MB×1000task=10GB不是该版本的通用网络账本。应按广播块获取、Executor数、Stage及重试、缓存保留和实际网络计量计算。只在local模式检查类名不能证明网络节省多少。
attempt执行顺序
记录application、Job、Stage attempt、partition和task attempt。Executor收到任务后反序列化、建立TaskContext、读取RDD/Shuffle/广播材料、运行迭代器和内存申请,最后报告结果或失败。对外数据库写入发生在用户逻辑中,Driver丢弃某attempt结果不会撤销它已经产生的副作用。
最小原生观察
本包配置数据Kryo,断言实际serializer类型为KryoSerializer,而closure仍JavaSerializer。检查点也是数据材料:若首应用用Kryo写,次应用用不兼容Java配置读,可出现StreamCorrupted;显式加载需兼容序列化和schema。源码和运行观察应共同解释,不把“换Kryo更快”当普遍性能结论。
架构与流程
sequenceDiagram
participant D as Driver/DAGScheduler
participant B as Broadcast与BlockManager
participant E as Executor
participant T as Task attempt
D->>D: 用closureSerializer序列化RDD及阶段函数
Note over D: 3.5.7闭包序列化为JavaSerializer
D->>B: 广播stage taskBinary字节
D->>E: 每Task封装、分区及广播引用
E->>B: 获取或复用广播块
B-->>E: taskBinary字节
E->>T: 反序列化任务计算对象
T->>T: 执行算子链
T->>B: Shuffle或SER缓存使用相应数据serializer
Note over E,B: 数据serializer可为Kryo;不改变closureSerializer
实现与验证范围
原生类名及检查点对照在本机运行;未测多Executor网络流量或共享对象峰值内存。
教学入口:memory.MemorySuite / exec.ExecSuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。