《大规模分布式计算深入解析》15.2 计算/状态/调度/存储四维主线回顾

45 篇可压成计算、状态、调度、存储四条主线。元数据树 5 层、AllReduce 每节点 600MB、关键路径 10 秒、100GB 恢复 204 秒、1TB 重建 3495 秒五个算例,把四卷机制放进同一张决策表,并给出冲突优先级。

15.2 计算/状态/调度/存储四维主线回顾

15.1 把四卷摊成一个设计空间,这一节换一种切法:按计算、状态、调度、存储四条主线,把 45 篇重新排一遍。设计空间回答「有哪些取点」,主线回答「这些取点各自解决哪一类问题、又在哪里互相打架」。

四条主线不是四个团队的分工,而是同一个系统的四个侧面。任何一次真实的架构决策,都会同时动到至少两条。

四维主线怎么切

先给四条主线各一句定义,避免后面混用:

维度关心的问题典型机制失败模式
计算一次计算怎么切、怎么并行算子、并行度、批大小倾斜、长尾
状态算到一半的东西放在哪血缘、检查点、快照状态丢失、重复
调度任务放在哪、按什么顺序队列、DRF、抢占排队、碎片
存储结果以什么语义可见副本、表格式、日志读错、写冲突

四条主线的分界是「失败后重放什么」,而不是「代码在哪个模块」。同一次提交,写文件属于存储、改元数据属于状态、决定放哪属于调度,三者在一次事务里同时发生。

计算维:从任务到梯度

计算维的演进是一条「切得越来越细」的线:

阶段切分对象并行单位在哪卷
任务级整个作业任务卷一
分区级数据分区task/stage卷二
算子级有状态算子subtask卷三
模型级参数与层rank/device卷四

切得越细,单块越快,协同越贵。任务级并行几乎不需要协同;到了模型级,一次梯度同步就要搬整个模型。用例 52 把这份协同成本量化了:

模型 400MB,4 个 rank,环状 AllReduce
每节点发送 = 2 × (N-1)/N × 400 = 600MB
并行方式每步通信量随规模的变化
数据并行约 2 倍模型与 N 弱相关(环状)
张量并行每层激活与切分数成正比
流水并行段间激活与微批数成正比

计算维的取舍不是「用哪种并行」,而是「把通信放在哪一层」。数据并行把通信放在梯度上,张量并行放在层内,流水并行放在段间。通信位置决定了它能被重叠多少,也决定了它对带宽还是延迟更敏感。

状态维:从可丢弃到必须快照

状态维的主线是「状态的寿命越来越长」:

系统状态寿命恢复方式
MapReduce任务输出一次作业重跑
SparkRDD 血缘一个应用重算分区
Flink算子状态长期运行检查点
数据湖表快照与元数据永久时间旅行
训练参数与优化器跨作业检查点续训

寿命越长,快照越贵,也越不能省。短任务的状态可以随手丢,因为重算便宜;长期运行的状态必须周期性落盘,否则一次失败就回到起点。

状态维的隐藏成本是「一致性」:快照不是把内存拷一份就完了,还要保证拷出来的是一致断面。卷三的 barrier 对齐、卷四的一致性组,都是在解决「多个分片怎么在同一时刻定格」。三张表版本都是 7 时组版本才是 7,这就是这条线的具体口径。

状态与计算是此消彼长的:状态存得越细,恢复越精确,但每次提交的写放大越大;状态存得越粗,写越便宜,恢复时重算越多。9.3 的检查点间隔、10.2 的激活检查点,都是在这条线上找点。

调度维:从队列到关键路径

调度维分三层:谁先跑、放哪台、什么时候算完成。

层次决策代表机制失败表现
队列谁先获得资源FIFO、公平、容量饿死、抢占
放置放到哪台机器DRF、装箱、本地性碎片、跨网络
依赖上下游何时就绪DAG、重试、回填空转、重复跑

第三层最容易被忽略,却直接决定端到端时间。用例 68 给了一个最小 DAG 的关键路径:

A(3) → B(5) → D(2) = 10
A(3) → C(1) → D(2) = 6
关键路径取最长,为 10
路径时长是否决定完成时间
经 B3 + 5 + 2 = 10是
经 C3 + 1 + 2 = 6否,有 4 秒余量

关键路径上的任务没有余量,路径外的任务有。优化时把资源投在关键路径上,缩短 1 秒就是端到端缩短 1 秒;投在 C 上,缩短到 0 也不会让整体提前。11.1 的拓扑序与 11.2 的重试,最终都要回到这条路径上算账。

调度维与存储维在这里交汇:把任务放到数据本地能减少跨网络读,但可能造成碎片;为了填满机器而打散任务,又会推高网络流量。2.2 的 offer 浪费与 7.3 的倾斜拆分,是同一个张力的两种表现。

存储维:从块副本到表快照

存储维的主线是「可见性的粒度越来越细」:

层次可见性单位一致性手段代价
块存储块三副本、校验3 倍空间
文件文件原子 rename目录锁
表快照/版本清单树、事务日志元数据写放大
多表一致性组跨表协调协调开销

从块到表,一致性从「副本相同」升级为「读者看到同一版本」。这一步的代价是元数据层数增加。用例 45 给出 Iceberg 的树高:

文件 → 清单 → 清单列表 → 快照 → 表元数据
共 5 层
层作用一次提交是否改写
文件实际数据只增不改
清单一批文件及其统计新增清单
清单列表清单的清单新增列表
快照某时刻的完整视图新增快照
表元数据指向当前快照原子替换指针

5 层不是冗余,是「不可变 + 指针替换」的实现方式:每层都只追加、不修改,提交时只换最顶层的指针。这让快照隔离几乎零成本,代价是元数据文件越积越多,需要 5.2 的清理与 6.3 的合并。

存储维的取舍集中在「写放大 vs 读放大」:COW 写时重写整个文件,读简单;MOR 只写增量,读时要合并。6.3 的合并策略,就是在这条线上按负载调点。通信则始终跟着计算走:Shuffle 怕量大、AllReduce 怕链路慢,前者优化吞吐,后者隐藏延迟。

恢复维:四条主线的交点

恢复不是第五条主线,而是四条线共同决定的结果:

恢复对象依赖哪条线关键指标
任务调度(重跑)+ 存储(幂等)重跑次数
分区状态(血缘)+ 计算(重算)重算数据量
表存储(快照)+ 状态(版本)可回退点数
训练状态(检查点)+ 通信(重建)恢复时长

用例 97 与 100 分别给了「从备份恢复」和「从副本重建」两笔时间账:

用例 97:100GB 按 500MB/s 恢复 = 100 × 1024 / 500 = 204 秒
用例 100:1TB 按 3 节点共 300MB/s 重建 = 1024 × 1024 / 300 ≈ 3495 秒
场景数据量带宽耗时
备份恢复100GB500MB/s204 秒
副本重建1TB300MB/s3495 秒,约 58 分钟

两笔账的差别不在数据量,而在「谁在恢复」:备份恢复读的是一条专用链路,带宽稳定;副本重建读的是集群内其他节点,带宽是 3 个节点之和,且会与正常业务争抢。14.1 的恢复重试、14.3 的 RTO,最终都要落到这两个数字上。

恢复时间是设计出来的,不是运维出来的。链深 5 层、带宽 300MB/s 这些参数在架构阶段就定了,等到故障发生再优化已经来不及。这也是为什么 15.1 把恢复轴当成四轴的函数。

45 篇的决策表

把 15 章放回四条主线,可以得到一张按「问题」索引的表:

你要解决的问题先看哪条线重点章节
任务排不上队调度1.3、2.1、2.2、13.1
机器利用率上不去调度 + 计算2.3、7.3、12.3
表读到了旧数据存储 + 状态4.2、5.2、6.1
更新一行重写整文件存储6.2、6.3
小文件越来越多存储 + 计算5.2、7.2、7.3
Shuffle 打满网络计算(通信)7.1、7.2
加卡训练不变快计算(通信)8.3、9.1、10.3
显存放不下模型计算 + 状态10.1、10.2
训练中断从头开始状态 + 调度9.3、14.1、14.2
多引擎互相覆盖存储5.3、6.1、13.3
账单说不清来源调度 + 存储12.2、12.3

这张表的读法是「先定主线,再进章节」:同一个症状可能横跨两条线,先判断主因在哪条线上,再去对应章节找机制,比从第一章顺序读起效率高得多。

跨维冲突与优先级

四条主线经常给出相反的建议,冲突时需要一个优先级:

冲突一方主张另一方主张常见裁决
本地性 vs 利用率调度:放数据旁边调度:填满机器按作业类型,扫描密集偏本地
快照频率 vs 写放大状态:多快照存储:少写元数据按 RPO 要求定间隔
大 batch vs 显存计算:大批量状态:显存不够梯度累积折中
副本数 vs 成本存储:多副本调度:省资源按数据等级分级

裁决的依据是「哪条线的失败更不可逆」。数据读错、表被覆盖属于不可逆,优先保存储一致性;利用率低、排队久属于可恢复,可以让步。这条原则比任何具体参数都稳定。

冲突也提示了架构的分层:把不可逆的约束下沉到存储与状态层,把可调的策略上浮到调度与计算层。分层之后,调策略不会破坏正确性,改正确性也不用重写策略。

归约、成员变化与恢复点

集合通信把梯度聚合到参与同步步的 rank。控制面协调通信成员,训练检查点保存已完成步的模型、优化器和采样进度。成员变化时要重新核对全局有效样本数以及梯度归一化,详见 9.2。

三个常见误解

误解一:四条主线是四个团队各管一摊。 真相:一次提交同时动到计算、状态、调度、存储,四维是同一系统的四个侧面,分开管必然在边界处丢一致性。

误解二:计算维只关心算力和并行度。 真相:计算维的真正约束是通信位置与显存,环状 AllReduce 每节点 600MB 的账决定了加卡是否还有收益。

误解三:恢复是运维阶段的事,设计时不用管。 真相:链深与带宽在架构阶段就定了,100GB 恢复 204 秒、1TB 重建 3495 秒都是设计参数,故障发生后再优化来不及。

一句话总结本节

45 篇压成计算、状态、调度、存储四条主线:计算维从任务切到梯度,环状 AllReduce 在 4 个 rank 上每节点发送 600MB;状态维从可丢弃走到必须快照,多表按一致性组取最小版本;调度维的端到端时间由关键路径决定,A(3)→B(5)→D(2) 共 10 秒,长于经 C 的 6 秒;存储维的 Iceberg 元数据树有 5 层,靠不可变加指针替换实现快照隔离;恢复维是四线交点,100GB 按 500MB/s 需 204 秒,1TB 按 300MB/s 重建需 3495 秒。冲突时优先保不可逆的存储与状态一致性。

本节 lab

下载 bd-scale-lab 源码 · 实验运行与版本说明

在 bd-scale-lab/ 中验证四维主线的五个算例:

  • 源码:src/tableformat/TableFormat.java 与 src/tableformat/TableFormatSuite.java;src/allreduce/AllReduce.java 与 src/allreduce/AllReduceSuite.java;src/workflow/Workflow.java 与 src/workflow/WorkflowSuite.java;src/backup/Backup.java 与 src/backup/BackupSuite.java。
  • 运行:cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 45 验证「元数据树共 5 层:文件→清单→清单列表→快照→表元数据」;用例 52 验证「环状 AllReduce 每节点发送 2(N-1)/N 倍模型,即 600MB」;用例 68 验证「关键路径 A(3)→B(5)→D(2) 共 10,长于经 C 的 6」;用例 97 验证「100GB 按 500MB/s 恢复需 204 秒」;用例 100 验证「1TB 按 3 节点共 300MB/s 重建,约需 3495 秒」。
  • 整卷 runner 的预期汇总为 TOTAL: 108 passed, 0 failed。

对应本节判断链:按失败后重放什么切出四维 → 计算维定通信位置与显存 → 状态维定快照粒度与一致性 → 调度维按关键路径分配资源 → 存储维定可见性单位 → 四维共同推出恢复时间并据此排优先级。

本章组件与失败边界参见 15.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路