15.2 计算/状态/调度/存储四维主线回顾
15.1 把四卷摊成一个设计空间,这一节换一种切法:按计算、状态、调度、存储四条主线,把 45 篇重新排一遍。设计空间回答「有哪些取点」,主线回答「这些取点各自解决哪一类问题、又在哪里互相打架」。
四条主线不是四个团队的分工,而是同一个系统的四个侧面。任何一次真实的架构决策,都会同时动到至少两条。
四维主线怎么切
先给四条主线各一句定义,避免后面混用:
| 维度 | 关心的问题 | 典型机制 | 失败模式 |
|---|---|---|---|
| 计算 | 一次计算怎么切、怎么并行 | 算子、并行度、批大小 | 倾斜、长尾 |
| 状态 | 算到一半的东西放在哪 | 血缘、检查点、快照 | 状态丢失、重复 |
| 调度 | 任务放在哪、按什么顺序 | 队列、DRF、抢占 | 排队、碎片 |
| 存储 | 结果以什么语义可见 | 副本、表格式、日志 | 读错、写冲突 |
四条主线的分界是「失败后重放什么」,而不是「代码在哪个模块」。同一次提交,写文件属于存储、改元数据属于状态、决定放哪属于调度,三者在一次事务里同时发生。
计算维:从任务到梯度
计算维的演进是一条「切得越来越细」的线:
| 阶段 | 切分对象 | 并行单位 | 在哪卷 |
|---|---|---|---|
| 任务级 | 整个作业 | 任务 | 卷一 |
| 分区级 | 数据分区 | task/stage | 卷二 |
| 算子级 | 有状态算子 | subtask | 卷三 |
| 模型级 | 参数与层 | rank/device | 卷四 |
切得越细,单块越快,协同越贵。任务级并行几乎不需要协同;到了模型级,一次梯度同步就要搬整个模型。用例 52 把这份协同成本量化了:
模型 400MB,4 个 rank,环状 AllReduce
每节点发送 = 2 × (N-1)/N × 400 = 600MB
| 并行方式 | 每步通信量 | 随规模的变化 |
|---|---|---|
| 数据并行 | 约 2 倍模型 | 与 N 弱相关(环状) |
| 张量并行 | 每层激活 | 与切分数成正比 |
| 流水并行 | 段间激活 | 与微批数成正比 |
计算维的取舍不是「用哪种并行」,而是「把通信放在哪一层」。数据并行把通信放在梯度上,张量并行放在层内,流水并行放在段间。通信位置决定了它能被重叠多少,也决定了它对带宽还是延迟更敏感。
状态维:从可丢弃到必须快照
状态维的主线是「状态的寿命越来越长」:
| 系统 | 状态 | 寿命 | 恢复方式 |
|---|---|---|---|
| MapReduce | 任务输出 | 一次作业 | 重跑 |
| Spark | RDD 血缘 | 一个应用 | 重算分区 |
| Flink | 算子状态 | 长期运行 | 检查点 |
| 数据湖 | 表快照与元数据 | 永久 | 时间旅行 |
| 训练 | 参数与优化器 | 跨作业 | 检查点续训 |
寿命越长,快照越贵,也越不能省。短任务的状态可以随手丢,因为重算便宜;长期运行的状态必须周期性落盘,否则一次失败就回到起点。
状态维的隐藏成本是「一致性」:快照不是把内存拷一份就完了,还要保证拷出来的是一致断面。卷三的 barrier 对齐、卷四的一致性组,都是在解决「多个分片怎么在同一时刻定格」。三张表版本都是 7 时组版本才是 7,这就是这条线的具体口径。
状态与计算是此消彼长的:状态存得越细,恢复越精确,但每次提交的写放大越大;状态存得越粗,写越便宜,恢复时重算越多。9.3 的检查点间隔、10.2 的激活检查点,都是在这条线上找点。
调度维:从队列到关键路径
调度维分三层:谁先跑、放哪台、什么时候算完成。
| 层次 | 决策 | 代表机制 | 失败表现 |
|---|---|---|---|
| 队列 | 谁先获得资源 | FIFO、公平、容量 | 饿死、抢占 |
| 放置 | 放到哪台机器 | DRF、装箱、本地性 | 碎片、跨网络 |
| 依赖 | 上下游何时就绪 | DAG、重试、回填 | 空转、重复跑 |
第三层最容易被忽略,却直接决定端到端时间。用例 68 给了一个最小 DAG 的关键路径:
A(3) → B(5) → D(2) = 10
A(3) → C(1) → D(2) = 6
关键路径取最长,为 10
| 路径 | 时长 | 是否决定完成时间 |
|---|---|---|
| 经 B | 3 + 5 + 2 = 10 | 是 |
| 经 C | 3 + 1 + 2 = 6 | 否,有 4 秒余量 |
关键路径上的任务没有余量,路径外的任务有。优化时把资源投在关键路径上,缩短 1 秒就是端到端缩短 1 秒;投在 C 上,缩短到 0 也不会让整体提前。11.1 的拓扑序与 11.2 的重试,最终都要回到这条路径上算账。
调度维与存储维在这里交汇:把任务放到数据本地能减少跨网络读,但可能造成碎片;为了填满机器而打散任务,又会推高网络流量。2.2 的 offer 浪费与 7.3 的倾斜拆分,是同一个张力的两种表现。
存储维:从块副本到表快照
存储维的主线是「可见性的粒度越来越细」:
| 层次 | 可见性单位 | 一致性手段 | 代价 |
|---|---|---|---|
| 块存储 | 块 | 三副本、校验 | 3 倍空间 |
| 文件 | 文件 | 原子 rename | 目录锁 |
| 表 | 快照/版本 | 清单树、事务日志 | 元数据写放大 |
| 多表 | 一致性组 | 跨表协调 | 协调开销 |
从块到表,一致性从「副本相同」升级为「读者看到同一版本」。这一步的代价是元数据层数增加。用例 45 给出 Iceberg 的树高:
文件 → 清单 → 清单列表 → 快照 → 表元数据
共 5 层
| 层 | 作用 | 一次提交是否改写 |
|---|---|---|
| 文件 | 实际数据 | 只增不改 |
| 清单 | 一批文件及其统计 | 新增清单 |
| 清单列表 | 清单的清单 | 新增列表 |
| 快照 | 某时刻的完整视图 | 新增快照 |
| 表元数据 | 指向当前快照 | 原子替换指针 |
5 层不是冗余,是「不可变 + 指针替换」的实现方式:每层都只追加、不修改,提交时只换最顶层的指针。这让快照隔离几乎零成本,代价是元数据文件越积越多,需要 5.2 的清理与 6.3 的合并。
存储维的取舍集中在「写放大 vs 读放大」:COW 写时重写整个文件,读简单;MOR 只写增量,读时要合并。6.3 的合并策略,就是在这条线上按负载调点。通信则始终跟着计算走:Shuffle 怕量大、AllReduce 怕链路慢,前者优化吞吐,后者隐藏延迟。
恢复维:四条主线的交点
恢复不是第五条主线,而是四条线共同决定的结果:
| 恢复对象 | 依赖哪条线 | 关键指标 |
|---|---|---|
| 任务 | 调度(重跑)+ 存储(幂等) | 重跑次数 |
| 分区 | 状态(血缘)+ 计算(重算) | 重算数据量 |
| 表 | 存储(快照)+ 状态(版本) | 可回退点数 |
| 训练 | 状态(检查点)+ 通信(重建) | 恢复时长 |
用例 97 与 100 分别给了「从备份恢复」和「从副本重建」两笔时间账:
用例 97:100GB 按 500MB/s 恢复 = 100 × 1024 / 500 = 204 秒
用例 100:1TB 按 3 节点共 300MB/s 重建 = 1024 × 1024 / 300 ≈ 3495 秒
| 场景 | 数据量 | 带宽 | 耗时 |
|---|---|---|---|
| 备份恢复 | 100GB | 500MB/s | 204 秒 |
| 副本重建 | 1TB | 300MB/s | 3495 秒,约 58 分钟 |
两笔账的差别不在数据量,而在「谁在恢复」:备份恢复读的是一条专用链路,带宽稳定;副本重建读的是集群内其他节点,带宽是 3 个节点之和,且会与正常业务争抢。14.1 的恢复重试、14.3 的 RTO,最终都要落到这两个数字上。
恢复时间是设计出来的,不是运维出来的。链深 5 层、带宽 300MB/s 这些参数在架构阶段就定了,等到故障发生再优化已经来不及。这也是为什么 15.1 把恢复轴当成四轴的函数。
45 篇的决策表
把 15 章放回四条主线,可以得到一张按「问题」索引的表:
| 你要解决的问题 | 先看哪条线 | 重点章节 |
|---|---|---|
| 任务排不上队 | 调度 | 1.3、2.1、2.2、13.1 |
| 机器利用率上不去 | 调度 + 计算 | 2.3、7.3、12.3 |
| 表读到了旧数据 | 存储 + 状态 | 4.2、5.2、6.1 |
| 更新一行重写整文件 | 存储 | 6.2、6.3 |
| 小文件越来越多 | 存储 + 计算 | 5.2、7.2、7.3 |
| Shuffle 打满网络 | 计算(通信) | 7.1、7.2 |
| 加卡训练不变快 | 计算(通信) | 8.3、9.1、10.3 |
| 显存放不下模型 | 计算 + 状态 | 10.1、10.2 |
| 训练中断从头开始 | 状态 + 调度 | 9.3、14.1、14.2 |
| 多引擎互相覆盖 | 存储 | 5.3、6.1、13.3 |
| 账单说不清来源 | 调度 + 存储 | 12.2、12.3 |
这张表的读法是「先定主线,再进章节」:同一个症状可能横跨两条线,先判断主因在哪条线上,再去对应章节找机制,比从第一章顺序读起效率高得多。
跨维冲突与优先级
四条主线经常给出相反的建议,冲突时需要一个优先级:
| 冲突 | 一方主张 | 另一方主张 | 常见裁决 |
|---|---|---|---|
| 本地性 vs 利用率 | 调度:放数据旁边 | 调度:填满机器 | 按作业类型,扫描密集偏本地 |
| 快照频率 vs 写放大 | 状态:多快照 | 存储:少写元数据 | 按 RPO 要求定间隔 |
| 大 batch vs 显存 | 计算:大批量 | 状态:显存不够 | 梯度累积折中 |
| 副本数 vs 成本 | 存储:多副本 | 调度:省资源 | 按数据等级分级 |
裁决的依据是「哪条线的失败更不可逆」。数据读错、表被覆盖属于不可逆,优先保存储一致性;利用率低、排队久属于可恢复,可以让步。这条原则比任何具体参数都稳定。
冲突也提示了架构的分层:把不可逆的约束下沉到存储与状态层,把可调的策略上浮到调度与计算层。分层之后,调策略不会破坏正确性,改正确性也不用重写策略。
归约、成员变化与恢复点
集合通信把梯度聚合到参与同步步的 rank。控制面协调通信成员,训练检查点保存已完成步的模型、优化器和采样进度。成员变化时要重新核对全局有效样本数以及梯度归一化,详见 9.2。
三个常见误解
误解一:四条主线是四个团队各管一摊。 真相:一次提交同时动到计算、状态、调度、存储,四维是同一系统的四个侧面,分开管必然在边界处丢一致性。
误解二:计算维只关心算力和并行度。 真相:计算维的真正约束是通信位置与显存,环状 AllReduce 每节点 600MB 的账决定了加卡是否还有收益。
误解三:恢复是运维阶段的事,设计时不用管。 真相:链深与带宽在架构阶段就定了,100GB 恢复 204 秒、1TB 重建 3495 秒都是设计参数,故障发生后再优化来不及。
一句话总结本节
45 篇压成计算、状态、调度、存储四条主线:计算维从任务切到梯度,环状 AllReduce 在 4 个 rank 上每节点发送 600MB;状态维从可丢弃走到必须快照,多表按一致性组取最小版本;调度维的端到端时间由关键路径决定,A(3)→B(5)→D(2) 共 10 秒,长于经 C 的 6 秒;存储维的 Iceberg 元数据树有 5 层,靠不可变加指针替换实现快照隔离;恢复维是四线交点,100GB 按 500MB/s 需 204 秒,1TB 按 300MB/s 重建需 3495 秒。冲突时优先保不可逆的存储与状态一致性。
本节 lab
下载 bd-scale-lab 源码 · 实验运行与版本说明
在 bd-scale-lab/ 中验证四维主线的五个算例:
- 源码:
src/tableformat/TableFormat.java与src/tableformat/TableFormatSuite.java;src/allreduce/AllReduce.java与src/allreduce/AllReduceSuite.java;src/workflow/Workflow.java与src/workflow/WorkflowSuite.java;src/backup/Backup.java与src/backup/BackupSuite.java。 - 运行:
cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 45 验证「元数据树共 5 层:文件→清单→清单列表→快照→表元数据」;用例 52 验证「环状 AllReduce 每节点发送 2(N-1)/N 倍模型,即 600MB」;用例 68 验证「关键路径 A(3)→B(5)→D(2) 共 10,长于经 C 的 6」;用例 97 验证「100GB 按 500MB/s 恢复需 204 秒」;用例 100 验证「1TB 按 3 节点共 300MB/s 重建,约需 3495 秒」。
- 整卷 runner 的预期汇总为
TOTAL: 108 passed, 0 failed。
对应本节判断链:按失败后重放什么切出四维 → 计算维定通信位置与显存 → 状态维定快照粒度与一致性 → 调度维按关键路径分配资源 → 存储维定可见性单位 → 四维共同推出恢复时间并据此排优先级。
本章组件与失败边界参见 15.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。