《大规模分布式计算深入解析》15.1 大规模分布式计算的设计空间总结

四卷讲的是同一设计空间的四个主轴:重放边界、调度、存储与通信。本节用容量 8 只接纳 4 和 3、环状 AllReduce 每节点 600MB、三表版本 7、恢复读 5 层四个算例,说明各轴如何耦合,以及规模变化时取舍为何翻转。

15.1 大规模分布式计算的设计空间总结

四卷读到这里,容易留下一个印象:每章都在讲一种新系统。HDFS、YARN、Spark、Flink、Iceberg、Delta、参数服务器、AllReduce,像是八个互不相干的工具箱。

这一节要做的是反过来看:这些系统其实是同一个设计空间里的不同取点。取点由四个主轴决定——重放边界、调度、存储、通信,再加一个由它们共同决定的恢复轴。理解主轴之间的耦合,比记住任何一个系统的参数更有用。

设计空间不是功能清单

功能清单回答「这个系统有什么」,设计空间回答「为什么它只能这样」。

视角问题产出
功能清单支持哪些 API、哪些格式选型对照表,很快过时
设计空间在什么约束下取了什么点可迁移的判断力

功能会变,约束不会。一个系统今年支持的功能明年可能被另一个系统覆盖,但「它把状态放在哪里、失败后重放什么」这类约束会长期稳定。下面四个主轴,就是从四卷里反复出现的约束中抽出来的。

主轴一:重放边界

分布式系统处理失败的方式只有一种:重放。区别在于从哪里开始重放。

卷重放边界状态在哪失败后的动作
卷一 计算模型与文件系统任务任务输出,可丢弃重跑任务
卷二 批处理引擎血缘分区中间结果可重算只重算丢失分区
卷三 流计算与状态引擎算子状态显式状态,必须快照从检查点恢复
卷四 调度与数据湖目录事务表文件与元数据回到某个快照
卷四 分布式训练梯度归约与训练步同步参数与优化器状态从检查点续训

边界越靠后,重放越贵、越精确。任务级重放最便宜,但一次失败要重跑整个任务;血缘重放更细,代价是要维护血缘;状态快照最精确,代价是每次 checkpoint 都要把状态写出去。

这条轴决定了一个系统的「失败成本」,也决定了它适合什么负载:短任务适合任务级重放,长作业需要血缘,长期运行的服务必须有状态快照。选系统时先问「失败后你能接受重放多少」,比问「它支持什么」更接近本质。

主轴二:调度与放置

调度不只是「排队」,它同时在决定三件事:放哪台机器、按什么顺序、给多少资源。lab 的用例 13 把「放哪」这一面量化了:

容量 8 的节点,依次来 4、3、2 三个任务
放 4 → 剩余 4
放 3 → 剩余 1
放 2 → 放不下(1 < 2)
结果:接纳 2 个任务,浪费 1 个槽位
顺序接纳已用浪费结论
4, 3, 22 个71大任务先放,碎片最少
4, 2, 32 个62中等浪费
2, 3, 42 个53小任务先放,碎片最多

三个任务总需求 9,超过容量 8,无论怎么排都放不下第三个;顺序决定的是浪费 1 还是 3。这就是装箱问题的核心:碎片不是容量不够,而是形状不匹配——要接纳全部三个,只能拆分任务或换更大的节点。2.2 的 offer 机制、7.3 的倾斜拆分,本质上都在处理这同一件事。

调度轴还有另外两面:顺序(FIFO、公平、容量、优先级)决定谁先跑,配额决定每个租户能占多少。三面合起来才是完整的调度策略,只调其中一面,另外两面会把收益吃掉。

主轴三:存储与目录事务

存储轴的关键不是「存什么格式」,而是「一次提交改变什么、读者看到什么」。

用例 83 给的是多表一致性的口径:

三张表版本都是 7 → 一致性组快照版本为 7
若版本是 [6, 7, 7] → 组版本取最小,为 6
提交模型读者看到写代价代表
目录式(Hive)取决于文件何时可见低无事务
快照隔离(Iceberg)固定快照,提交原子可见中,写元数据清单树
事务日志(Delta)按版本读,可时间旅行中,追加日志JSON 日志
一致性组多表同一逻辑时刻高,需协调跨表快照

「一次提交改几层元数据」决定了读写的代价结构。Iceberg 改一层清单、Delta 追加一条日志、一致性组要协调多张表;层数越多,原子性越强,写路径越长。6.3 的 COW 与 MOR 之争,也是这条轴上的取点:把代价从写挪到读,还是从读挪到写。

目录是存储轴的隐藏主角。同一份数据被多个引擎读,如果目录指针不唯一,快照隔离就形同虚设。6.1 的统一目录不是锦上添花,而是让前面所有事务语义成立的前提。

主轴四:通信拓扑

训练与 Shuffle 都在搬运数据,区别是拓扑。用例 52 给了环状 AllReduce 的每节点发送量:

模型 400MB,4 个 rank
每节点发送 = 2 × (N-1)/N × 模型 = 2 × 3/4 × 400 = 600MB
拓扑每节点发送量步数瓶颈
参数服务器与 worker 数成正比的消息数2中心节点带宽
环状 AllReduce2(N-1)/N 倍模型2(N-1)最慢链路
树形 AllReduce约 1 倍模型log N根节点

环状的妙处是发送量与 N 无关:N 从 4 增到 8,每节点仍是约 2 倍模型,只是步数变多。参数服务器则相反,消息数随 worker 线性增长,中心节点先饱和。

拓扑选择取决于瓶颈在哪:中心带宽紧张选环状,链路延迟敏感选树形,worker 少且模型小可以直接用参数服务器。8.3 与 10.3 的取舍,本质是这条轴上的不同取点。

恢复轴:四轴的交点

恢复不是一个独立维度,而是前四个轴的函数:重放边界决定恢复到哪,存储决定从哪读,调度决定谁来重建,通信决定重建多快。

用例 96 把恢复链的长度量化了:

1 个全量 + 4 个增量 = 5 层
恢复要依次读 5 层,缺一层就断链
备份策略链深存储RTO
只有全量1 层高短
全量 + 增量5 层低长,逐层读
全量 + 合并增量2–3 层中中

链越深,存储越省、恢复越慢。这就是 14.3 里 RPO 与 RTO 必须分开算的原因:加密快照能缩短 RPO,但增量链会拉长 RTO;要同时改善两者,只能靠合并或并行读。

恢复轴也是四卷的汇合点:卷一靠副本重建(3 副本坏 1 个仍有 2 份),卷二靠血缘重算,卷三靠检查点,卷四靠快照链。四种恢复方式的成本结构不同,但都在回答同一个问题——「多久能回到可用状态」。

取舍矩阵:同一问题的跨卷答案

把四卷放在一起,同一类问题会得到不同答案,差异来自它们各自的重放边界:

问题卷一答案卷二答案卷三答案卷四答案
节点失败重跑任务重算分区从检查点恢复切换副本/重建
重复计算幂等输出血缘去重事务号幂等快照版本
读一致性块校验分区快照检查点屏障快照隔离
扩容加机器加 executor加 TaskManager改并行度/worker 数
成本控制副本数Shuffle 落盘状态后端文件大小/合并

这张表的价值不是背答案,而是看出答案为什么不同。同样是「节点失败」,卷一重跑是因为任务输出可丢弃,卷三恢复是因为状态不可重算。把卷一的答案套到卷三,会丢掉状态;把卷三的答案套到卷一,会为不需要的精确性付出检查点开销。

维度之间不能独立选

设计空间最容易被误解的一点:四个轴可以分别选。实际上它们强耦合:

选择连带约束冲突点
快照隔离目录指针必须唯一多引擎写入需协调
环状 AllReduce各链路带宽要均衡异构网络下慢链路拖累
MOR 更新读时要合并增量读放大,需定期合并
任务级重放输出必须幂等非幂等写会重复

「快照隔离 + 多引擎直写」是最典型的冲突组合:每个引擎都想要事务语义,但谁也不愿意把写路径交给统一目录,结果就是 5.3 里两个写者互相覆盖。选了一个轴上的能力,就必须接受它在另一个轴上带来的约束。

耦合也意味着杠杆:改一个轴的取点,往往能同时改善多个指标。把 COW 换成 MOR,写放大下降、更新变快,但读放大上升——收益和代价同时出现在两个轴上,这才是真实的取舍。

规模阈值:维度何时翻转

同一个取点在小规模最优、在大规模失效。四卷里反复出现的阈值有三类:

阈值小规模大规模翻转原因
调度吞吐集中式够用需分布式单点决策成瓶颈
通信参数服务器够用环状更优中心带宽饱和
元数据全量快照够用需增量链快照写放大
文件小文件无所谓需合并元数据与打开开销

阈值不是拍出来的,是算出来的。2.1 算过集中式调度 1000 任务、每秒 100 决策需要 10 秒;任务涨到 10 万,就是 1000 秒。这个计算比任何「大规模要用分布式」的口号都更能说明什么时候该换。

跨过阈值之前,先进机制往往是负收益。小集群上用环状 AllReduce,步数多、启动开销占比高,还不如参数服务器直接;小表上做增量链,恢复要读 5 层,不如一份全量快照。选型要先估规模,再选机制。

三个常见误解

误解一:设计空间就是一张选型清单,每个维度独立打分。 真相:四个轴强耦合,选了快照隔离就要接受目录唯一的约束,选了 MOR 就要接受读放大。

误解二:越先进的机制在所有规模上都更好。 真相:环状 AllReduce、增量链、分布式调度都有规模阈值,低于阈值时先进机制反而是负收益。

误解三:重放边界越强越好,检查点总比重跑可靠。 真相:边界越强,每次提交的写放大越大;短任务用检查点,开销可能超过重跑本身。

一句话总结本节

四卷共享一个设计空间:重放边界、调度、存储、通信四个主轴,加一个由它们共同决定的恢复轴。容量 8 依次放 4、3 后只剩 1,2 放不下,只接纳 2 个任务,说明碎片来自形状而非总量;环状 AllReduce 在 400MB 模型、4 个 rank 上每节点发送 600MB,与 N 弱相关;三张表版本都是 7 时一致性组为 7,取最小版本才有多表原子恢复;恢复读 1 个全量加 4 个增量共 5 层,链深换存储、拉长 RTO。四轴不能独立选,且都存在规模阈值。

本章实现对照

Iceberg 乐观并发与运行设计

本节 lab

下载 bd-scale-lab 源码 · 实验运行与版本说明

在 bd-scale-lab/ 中验证设计空间的四个取点:

  • 源码:src/scheduler/Scheduler.java 与 src/scheduler/SchedulerSuite.java;src/allreduce/AllReduce.java 与 src/allreduce/AllReduceSuite.java;src/backup/Backup.java 与 src/backup/BackupSuite.java。
  • 运行:cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 13 验证「容量 8 上依次放 4、3 后剩 1,2 放不下,接纳 2 个」;用例 52 验证「环状 AllReduce 每节点发送 2(N-1)/N 倍模型,即 600MB」;用例 83 验证「三张表版本都是 7,一致性组快照版本为 7」;用例 96 验证「恢复要读 1 个全量加 4 个增量,共 5 层」。
  • 整卷 runner 的预期汇总为 TOTAL: 108 passed, 0 failed。

对应本节判断链:先定重放边界与失败成本 → 用装箱与队列规则决定调度取点 → 用提交模型决定存储与目录语义 → 用拓扑决定通信代价 → 由四轴共同推出恢复链深度与 RTO。

机制边界与故障路径

用一个输入版本贯穿调度、计算、状态和发布,分别写出每层所保证的不变量。设计空间图用于核对接口,不表示所有层天然共享全局事务。

flowchart TD
    I["输入/表快照版本"] --> S["调度与资源配额"]
    S --> C["批/流/训练计算"]
    C --> STATE["状态、检查点与数据文件"]
    STATE --> PUB["元数据条件发布"]
    PUB --> R["读者固定版本"]
    FAIL["任务/节点/控制器故障"] --> REC["恢复、幂等、围栏"]
    REC --> S
    REC --> PUB
    R --> VERIFY["结果、恢复时间、成本与观测"]

这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路