15.1 大规模分布式计算的设计空间总结
四卷读到这里,容易留下一个印象:每章都在讲一种新系统。HDFS、YARN、Spark、Flink、Iceberg、Delta、参数服务器、AllReduce,像是八个互不相干的工具箱。
这一节要做的是反过来看:这些系统其实是同一个设计空间里的不同取点。取点由四个主轴决定——重放边界、调度、存储、通信,再加一个由它们共同决定的恢复轴。理解主轴之间的耦合,比记住任何一个系统的参数更有用。
设计空间不是功能清单
功能清单回答「这个系统有什么」,设计空间回答「为什么它只能这样」。
| 视角 | 问题 | 产出 |
|---|---|---|
| 功能清单 | 支持哪些 API、哪些格式 | 选型对照表,很快过时 |
| 设计空间 | 在什么约束下取了什么点 | 可迁移的判断力 |
功能会变,约束不会。一个系统今年支持的功能明年可能被另一个系统覆盖,但「它把状态放在哪里、失败后重放什么」这类约束会长期稳定。下面四个主轴,就是从四卷里反复出现的约束中抽出来的。
主轴一:重放边界
分布式系统处理失败的方式只有一种:重放。区别在于从哪里开始重放。
| 卷 | 重放边界 | 状态在哪 | 失败后的动作 |
|---|---|---|---|
| 卷一 计算模型与文件系统 | 任务 | 任务输出,可丢弃 | 重跑任务 |
| 卷二 批处理引擎 | 血缘分区 | 中间结果可重算 | 只重算丢失分区 |
| 卷三 流计算与状态引擎 | 算子状态 | 显式状态,必须快照 | 从检查点恢复 |
| 卷四 调度与数据湖 | 目录事务 | 表文件与元数据 | 回到某个快照 |
| 卷四 分布式训练 | 梯度归约与训练步同步 | 参数与优化器状态 | 从检查点续训 |
边界越靠后,重放越贵、越精确。任务级重放最便宜,但一次失败要重跑整个任务;血缘重放更细,代价是要维护血缘;状态快照最精确,代价是每次 checkpoint 都要把状态写出去。
这条轴决定了一个系统的「失败成本」,也决定了它适合什么负载:短任务适合任务级重放,长作业需要血缘,长期运行的服务必须有状态快照。选系统时先问「失败后你能接受重放多少」,比问「它支持什么」更接近本质。
主轴二:调度与放置
调度不只是「排队」,它同时在决定三件事:放哪台机器、按什么顺序、给多少资源。lab 的用例 13 把「放哪」这一面量化了:
容量 8 的节点,依次来 4、3、2 三个任务
放 4 → 剩余 4
放 3 → 剩余 1
放 2 → 放不下(1 < 2)
结果:接纳 2 个任务,浪费 1 个槽位
| 顺序 | 接纳 | 已用 | 浪费 | 结论 |
|---|---|---|---|---|
| 4, 3, 2 | 2 个 | 7 | 1 | 大任务先放,碎片最少 |
| 4, 2, 3 | 2 个 | 6 | 2 | 中等浪费 |
| 2, 3, 4 | 2 个 | 5 | 3 | 小任务先放,碎片最多 |
三个任务总需求 9,超过容量 8,无论怎么排都放不下第三个;顺序决定的是浪费 1 还是 3。这就是装箱问题的核心:碎片不是容量不够,而是形状不匹配——要接纳全部三个,只能拆分任务或换更大的节点。2.2 的 offer 机制、7.3 的倾斜拆分,本质上都在处理这同一件事。
调度轴还有另外两面:顺序(FIFO、公平、容量、优先级)决定谁先跑,配额决定每个租户能占多少。三面合起来才是完整的调度策略,只调其中一面,另外两面会把收益吃掉。
主轴三:存储与目录事务
存储轴的关键不是「存什么格式」,而是「一次提交改变什么、读者看到什么」。
用例 83 给的是多表一致性的口径:
三张表版本都是 7 → 一致性组快照版本为 7
若版本是 [6, 7, 7] → 组版本取最小,为 6
| 提交模型 | 读者看到 | 写代价 | 代表 |
|---|---|---|---|
| 目录式(Hive) | 取决于文件何时可见 | 低 | 无事务 |
| 快照隔离(Iceberg) | 固定快照,提交原子可见 | 中,写元数据 | 清单树 |
| 事务日志(Delta) | 按版本读,可时间旅行 | 中,追加日志 | JSON 日志 |
| 一致性组 | 多表同一逻辑时刻 | 高,需协调 | 跨表快照 |
「一次提交改几层元数据」决定了读写的代价结构。Iceberg 改一层清单、Delta 追加一条日志、一致性组要协调多张表;层数越多,原子性越强,写路径越长。6.3 的 COW 与 MOR 之争,也是这条轴上的取点:把代价从写挪到读,还是从读挪到写。
目录是存储轴的隐藏主角。同一份数据被多个引擎读,如果目录指针不唯一,快照隔离就形同虚设。6.1 的统一目录不是锦上添花,而是让前面所有事务语义成立的前提。
主轴四:通信拓扑
训练与 Shuffle 都在搬运数据,区别是拓扑。用例 52 给了环状 AllReduce 的每节点发送量:
模型 400MB,4 个 rank
每节点发送 = 2 × (N-1)/N × 模型 = 2 × 3/4 × 400 = 600MB
| 拓扑 | 每节点发送量 | 步数 | 瓶颈 |
|---|---|---|---|
| 参数服务器 | 与 worker 数成正比的消息数 | 2 | 中心节点带宽 |
| 环状 AllReduce | 2(N-1)/N 倍模型 | 2(N-1) | 最慢链路 |
| 树形 AllReduce | 约 1 倍模型 | log N | 根节点 |
环状的妙处是发送量与 N 无关:N 从 4 增到 8,每节点仍是约 2 倍模型,只是步数变多。参数服务器则相反,消息数随 worker 线性增长,中心节点先饱和。
拓扑选择取决于瓶颈在哪:中心带宽紧张选环状,链路延迟敏感选树形,worker 少且模型小可以直接用参数服务器。8.3 与 10.3 的取舍,本质是这条轴上的不同取点。
恢复轴:四轴的交点
恢复不是一个独立维度,而是前四个轴的函数:重放边界决定恢复到哪,存储决定从哪读,调度决定谁来重建,通信决定重建多快。
用例 96 把恢复链的长度量化了:
1 个全量 + 4 个增量 = 5 层
恢复要依次读 5 层,缺一层就断链
| 备份策略 | 链深 | 存储 | RTO |
|---|---|---|---|
| 只有全量 | 1 层 | 高 | 短 |
| 全量 + 增量 | 5 层 | 低 | 长,逐层读 |
| 全量 + 合并增量 | 2–3 层 | 中 | 中 |
链越深,存储越省、恢复越慢。这就是 14.3 里 RPO 与 RTO 必须分开算的原因:加密快照能缩短 RPO,但增量链会拉长 RTO;要同时改善两者,只能靠合并或并行读。
恢复轴也是四卷的汇合点:卷一靠副本重建(3 副本坏 1 个仍有 2 份),卷二靠血缘重算,卷三靠检查点,卷四靠快照链。四种恢复方式的成本结构不同,但都在回答同一个问题——「多久能回到可用状态」。
取舍矩阵:同一问题的跨卷答案
把四卷放在一起,同一类问题会得到不同答案,差异来自它们各自的重放边界:
| 问题 | 卷一答案 | 卷二答案 | 卷三答案 | 卷四答案 |
|---|---|---|---|---|
| 节点失败 | 重跑任务 | 重算分区 | 从检查点恢复 | 切换副本/重建 |
| 重复计算 | 幂等输出 | 血缘去重 | 事务号幂等 | 快照版本 |
| 读一致性 | 块校验 | 分区快照 | 检查点屏障 | 快照隔离 |
| 扩容 | 加机器 | 加 executor | 加 TaskManager | 改并行度/worker 数 |
| 成本控制 | 副本数 | Shuffle 落盘 | 状态后端 | 文件大小/合并 |
这张表的价值不是背答案,而是看出答案为什么不同。同样是「节点失败」,卷一重跑是因为任务输出可丢弃,卷三恢复是因为状态不可重算。把卷一的答案套到卷三,会丢掉状态;把卷三的答案套到卷一,会为不需要的精确性付出检查点开销。
维度之间不能独立选
设计空间最容易被误解的一点:四个轴可以分别选。实际上它们强耦合:
| 选择 | 连带约束 | 冲突点 |
|---|---|---|
| 快照隔离 | 目录指针必须唯一 | 多引擎写入需协调 |
| 环状 AllReduce | 各链路带宽要均衡 | 异构网络下慢链路拖累 |
| MOR 更新 | 读时要合并增量 | 读放大,需定期合并 |
| 任务级重放 | 输出必须幂等 | 非幂等写会重复 |
「快照隔离 + 多引擎直写」是最典型的冲突组合:每个引擎都想要事务语义,但谁也不愿意把写路径交给统一目录,结果就是 5.3 里两个写者互相覆盖。选了一个轴上的能力,就必须接受它在另一个轴上带来的约束。
耦合也意味着杠杆:改一个轴的取点,往往能同时改善多个指标。把 COW 换成 MOR,写放大下降、更新变快,但读放大上升——收益和代价同时出现在两个轴上,这才是真实的取舍。
规模阈值:维度何时翻转
同一个取点在小规模最优、在大规模失效。四卷里反复出现的阈值有三类:
| 阈值 | 小规模 | 大规模 | 翻转原因 |
|---|---|---|---|
| 调度吞吐 | 集中式够用 | 需分布式 | 单点决策成瓶颈 |
| 通信 | 参数服务器够用 | 环状更优 | 中心带宽饱和 |
| 元数据 | 全量快照够用 | 需增量链 | 快照写放大 |
| 文件 | 小文件无所谓 | 需合并 | 元数据与打开开销 |
阈值不是拍出来的,是算出来的。2.1 算过集中式调度 1000 任务、每秒 100 决策需要 10 秒;任务涨到 10 万,就是 1000 秒。这个计算比任何「大规模要用分布式」的口号都更能说明什么时候该换。
跨过阈值之前,先进机制往往是负收益。小集群上用环状 AllReduce,步数多、启动开销占比高,还不如参数服务器直接;小表上做增量链,恢复要读 5 层,不如一份全量快照。选型要先估规模,再选机制。
三个常见误解
误解一:设计空间就是一张选型清单,每个维度独立打分。 真相:四个轴强耦合,选了快照隔离就要接受目录唯一的约束,选了 MOR 就要接受读放大。
误解二:越先进的机制在所有规模上都更好。 真相:环状 AllReduce、增量链、分布式调度都有规模阈值,低于阈值时先进机制反而是负收益。
误解三:重放边界越强越好,检查点总比重跑可靠。 真相:边界越强,每次提交的写放大越大;短任务用检查点,开销可能超过重跑本身。
一句话总结本节
四卷共享一个设计空间:重放边界、调度、存储、通信四个主轴,加一个由它们共同决定的恢复轴。容量 8 依次放 4、3 后只剩 1,2 放不下,只接纳 2 个任务,说明碎片来自形状而非总量;环状 AllReduce 在 400MB 模型、4 个 rank 上每节点发送 600MB,与 N 弱相关;三张表版本都是 7 时一致性组为 7,取最小版本才有多表原子恢复;恢复读 1 个全量加 4 个增量共 5 层,链深换存储、拉长 RTO。四轴不能独立选,且都存在规模阈值。
本章实现对照
本节 lab
下载 bd-scale-lab 源码 · 实验运行与版本说明
在 bd-scale-lab/ 中验证设计空间的四个取点:
- 源码:
src/scheduler/Scheduler.java与src/scheduler/SchedulerSuite.java;src/allreduce/AllReduce.java与src/allreduce/AllReduceSuite.java;src/backup/Backup.java与src/backup/BackupSuite.java。 - 运行:
cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 13 验证「容量 8 上依次放 4、3 后剩 1,2 放不下,接纳 2 个」;用例 52 验证「环状 AllReduce 每节点发送 2(N-1)/N 倍模型,即 600MB」;用例 83 验证「三张表版本都是 7,一致性组快照版本为 7」;用例 96 验证「恢复要读 1 个全量加 4 个增量,共 5 层」。
- 整卷 runner 的预期汇总为
TOTAL: 108 passed, 0 failed。
对应本节判断链:先定重放边界与失败成本 → 用装箱与队列规则决定调度取点 → 用提交模型决定存储与目录语义 → 用拓扑决定通信代价 → 由四轴共同推出恢复链深度与 RTO。
机制边界与故障路径
用一个输入版本贯穿调度、计算、状态和发布,分别写出每层所保证的不变量。设计空间图用于核对接口,不表示所有层天然共享全局事务。
flowchart TD
I["输入/表快照版本"] --> S["调度与资源配额"]
S --> C["批/流/训练计算"]
C --> STATE["状态、检查点与数据文件"]
STATE --> PUB["元数据条件发布"]
PUB --> R["读者固定版本"]
FAIL["任务/节点/控制器故障"] --> REC["恢复、幂等、围栏"]
REC --> S
REC --> PUB
R --> VERIFY["结果、恢复时间、成本与观测"]
这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。