《大规模分布式计算深入解析》15.2 五卷主线回顾(模型/存储/调度/执行/一致)

五卷分别回答切分重放、血缘重算、状态检查点、目录事务与查询性能五个问题,前四卷 180 篇加本卷 45 篇共 225 篇;一致性边界是暗线,本卷用 116 个断言把它落到账本上,收口于 360ms 调度税与 1.0715 秒几何平均。

15.2 五卷主线回顾(模型/存储/调度/执行/一致)

五卷写完之后,最容易犯的错是把它当成五本互不相干的书:卷一是文件系统,卷二是 Spark,卷三是 Flink,卷四是调度与湖仓,卷五是执行引擎。这样读,每一卷都对,合起来却拼不出一个系统。

真正的主线只有一条:分布式系统里每一个「快」和「对」,都是用某条一致性边界换来的。五卷分别把这条边界画在不同的位置,本卷则把它落到可以逐字节、逐毫秒复算的账本上。

五卷各自回答一个问题

卷核心问题一句话机制一致性边界与本卷的接口
卷一 计算模型与分布式文件系统计算如何被切分与重放任务失败就重跑,输入必须可重放任务级重放3–5 章的存储语义前置
卷二 批处理引擎:Spark 内核血缘如何驱动重算宽依赖处 shuffle,窄依赖处流水血缘重算6–9 章把算子与优化器拆到字节级
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化周期快照 + 两阶段提交状态检查点13 章的流式湖仓与之衔接
卷四 调度、数据湖与分布式训练资源与目录如何被事务化快照隔离 + 元数据提交目录事务 / 梯度共识3–5、13 章的格式与表模型下钻
卷五 执行引擎与存储格式内核一条查询的性能由什么决定五层账本:模型、表达式、字节、内存、估算字节与时间的账本本卷 45 篇、116 个断言

五卷的问题是一条链:先决定计算怎么切(卷一),再决定切完怎么重算(卷二),然后决定连续输入下状态怎么保(卷三),接着决定资源与目录怎么协调(卷四),最后决定单次执行的每一毫秒花在哪(卷五)。前四卷回答「系统怎么不出错」,卷五回答「系统为什么慢」。

一条查询穿过五卷

同一条 SELECT ... JOIN ... GROUP BY ... 从提交到返回,会依次踩到五卷的机制。把路径摊开,才看得出每一卷在哪里留下成本:

阶段经过哪一卷的机制留下的成本卷五的对应账本
读表卷一的对象存储语义、卷四的目录事务List 与元数据请求用例 88:1000 次 List 50 秒
解码卷五的列式格式与编码读字节与解压用例 67:下推减 90%
连接卷二的血缘与 shuffle中间结果落盘用例 49:26.5754 秒排序
聚合卷五的算子内存哈希表与溢写用例 55:3.2MB 聚合表
规划卷五的优化器计划质量用例 75:3 表 6 种顺序
计时卷五的基准方法结论是否可比用例 111:几何平均 1.0715 秒

这张表是五卷的接缝:每一卷只解释一段,任何一段缺失,排障就会在错误的层里打转。看到 50 秒先怀疑执行引擎的人,会漏掉那 50 秒其实全是 List 往返。

卷一与卷二:切分、重放与血缘

卷一的核心是重放:任务失败不需要补偿,只需要用同样的输入再跑一次。这条假设支撑了整个批处理的容错模型,也解释了两个设计约束:

卷一的结论对卷五的约束
输入必须可重放列式文件一旦写完不再修改(3 章的不可变语义)
任务级重放粒度粗单个任务内的字节浪费无法靠重试消除
切分以块为单位分区数与文件大小直接决定扫描并行度(5 章)

卷二把重放的粒度从任务细化到血缘:窄依赖可以流水、失败只重算一段;宽依赖要 shuffle,中间结果必须落盘。这条分界线在卷五表现为算子的内存账本——shuffle 的代价不是网络,而是「必须等所有分区写完才能开始读」,这也是 6.2 节 spill 账本的来源。

卷三与卷四:状态与目录

卷三把「重放」换成「快照」:连续输入无法重放,只能把状态周期性地固化。检查点间隔是一个直接的取舍——间隔越短,恢复越快、开销越大;间隔越长,恢复越慢、开销越小。卷五 13 章的流式湖仓把这条边界推到表格式上:写入的可见性由一个已提交的快照决定(用例 109 的可见性隔离),端到端延迟约等于两个检查点间隔(用例 110)。

卷四把边界画在目录上:对象存储本身只保证单对象的原子性,多对象的提交要靠元数据层做事务。这条边界在卷五表现为 List 的代价(用例 88:1000 次 List 共 50 秒)与 Compaction 的必要性(用例 108:消除 99% 读放大)。

卷边界换来了什么付出的代价
卷三状态检查点连续输入下的精确一次检查点开销与恢复窗口
卷四目录事务多文件提交的原子可见元数据请求与 compaction

卷五:一条查询的性能由什么决定

本卷把性能拆成五层,每层都有可复算的账本:

层代表账本用例回答什么
执行模型2400 万次调用、360ms用例 1、2每行的调度税有多贵
表达式每节点一次分派、15ns 量级用例 2求值路径有多长
格式字节下推减 90%、聚合降 99.99%用例 67、91读进来多少字节
算子内存26.5754 秒排序、3.2MB 聚合表用例 49、55放不放得进内存
优化器3 表 6 种、4 表 24 种顺序用例 75计划选得对不对
基准方法几何平均 1.0715 秒用例 111这些数字可不可比

这六行的关系是从下往上收敛:格式决定读多少,内存决定放不放得下,模型决定每行付多少调度,优化器决定走哪条路,基准决定你怎么知道前面五项真的变好了。缺最后一层,前五层都只是故事。

一致性边界这条暗线

把五卷的边界并排放在一起,会发现它们回答的是同一个问题的五个版本:「出问题时,系统回到哪个已知正确的点?」

边界保证什么失效时的表现代价的计量单位
任务级重放任务要么完成要么重跑重复计算、长尾任务任务时长
血缘重算丢失的分区可重算重算放大、shuffle 重放分区数与血缘深度
状态检查点恢复到最近一次快照重复消费或丢失检查点间隔
目录事务多文件原子可见读到半个提交元数据请求数
字节与时间的账本性能结论可复现结论随环境漂移字节与毫秒

前四种边界保证「对」,第五种保证「可解释」。 一个只有前四种的系统是正确的但不可优化;一个只有第五种的系统跑得很快但说不清为什么。本卷 45 篇做的事,是把第五种边界补上,并且让它可以和前三卷的机制对上号。

边界怎么被量化

「一致性边界有代价」这句话如果不落到数字上,就只是比喻。每一卷都给出了自己的计量方式:

边界可量化指标变大意味着典型账本
任务级重放重跑任务数 × 单任务时长容错成本上升长尾任务拖慢整个作业
血缘重算重算分区数 × 每分区读取量失败恢复变慢宽依赖处必须落盘
状态检查点检查点间隔 × 2端到端延迟上升用例 110:10 秒间隔对应 20 秒延迟
目录事务每次提交的元数据请求数提交与列举变慢用例 88:1000 次 List 50 秒
字节与时间账本读放大、spill 量、几何平均结论开始漂移用例 111:1.0715 秒

量化的好处是边界可以被选择,而不是被相信。 检查点间隔从 10 秒改成 5 秒,延迟从 20 秒降到 10 秒,代价是两倍的检查点开销——这是一次可计算的交换,不是一次信仰表态。

规模:180 + 45 = 225 篇,116 个断言

项数值来源
前四卷篇数180 篇前四卷已交付规模
本卷篇数45 篇本卷十五章
全书篇数225 篇公式推导:180 + 45
本卷断言数116 个lab.RunAll 一次跑完
断言覆盖6 个 suiteexec、format、operator、optimizer、storage、lakehouse
本卷阅读单元15 章 × 3 节每节一笔可复算账本

116 个断言不是装饰:每一个都对应正文里的一个数字。改动任何一节的账本,runner 会立刻报出哪一条不再成立。这也是本卷与前四卷的差别——前四卷的结论以机制为主,本卷的结论必须能被一条 Assert 复现。

三条下一步路径

路径适合谁阅读顺序验证方式
做引擎内核想参与或自研执行层1–2 章 → 3–5 章 → 6–7 章 → 8–9 章 → 15.3用 116 个断言做回归基线
做湖仓平台建表格式、管元数据、控成本3–5 章 → 10 章 → 13 章 → 12 章 → 14 章用 14.1 的四条件做选型基准
做性能工程排障、调优、容量规划14 章 → 5 章 → 6–7 章 → 9 章用 14.3 的决策树定位根因

三条路径的入口不同,但都会回到同一张表:先定位成本项,再算杠杆,最后只动一层。这也是 15.1 的结论,和 15.3 判断「要不要自研」用的是同一套判据。

116 个断言分布在哪

suite覆盖主题代表用例
exec执行模型:行式、批式、Push 与并行用例 1、2(2400 万次调用、360ms)
format列式布局、编码压缩、统计与跳过3–4 章的字节账本
operatorjoin、聚合、窗口的内存与比较次数用例 49、55、59
optimizer规则、CBO、连接顺序、自适应用例 67、71、75
storage对象存储、List、缓存、选型用例 88、91、96
lakehouse湖仓表模型、Compaction、基准与剖析用例 108、111–116

六个 suite 对应五层账本的顺序:exec 与 format 管前两层,operator 管第四层,optimizer 管第五层,storage 与 lakehouse 管第三层以及跨卷的存储语义。跑一次 RunAll,等于把全书 45 篇的主要结论复算一遍。

这份收口不提供什么

不提供原因替代做法
各引擎的绝对性能排名结论依赖数据、硬件、并发与缓存,没有普适排名用 14.1 的四条件在自己的负载上测
一套通用最优配置旋钮相互冲突,最优只对特定瓶颈成立用 14.3 的决策树定位后单点调优
自研的工程量估算取决于团队积累与目标算子集用 15.3 的三段门槛逐段验证
版本相关的默认值默认值随版本变化以所用版本的执行计划与计数器为准

账本给的是结构与量级,不是结论的复印件。 2400 万次调用在 800 万行上是 360ms,在你的数据上是另一个数;但「行数 × 算子数」这个结构、以及「先定位占比最大的层」这个方法,不随规模改变。

按问题定位前五卷

计算模型、存储、资源调度和执行是四个读书视角。可见性、恢复和一致性贯穿这些视角。沿系列导读 对同一输入检查阶段产物、状态、可见版本和执行成本。

三个常见误解

误解一:五卷是五个独立主题,可以任选一卷读。 真相:五卷是一条链,卷一的重放约束决定了卷五的不可变文件语义,卷三的检查点间隔决定了 13 章的端到端延迟;跳读会看到结论,看不到约束。

误解二:一致性只关乎「对不对」,与性能无关。 真相:每一种一致性边界都有价格——检查点间隔、List 请求数、compaction 频率,最终都出现在查询的毫秒里。性能问题常常是边界选错了,而不是代码写差了。

误解三:账本数字只对 lab 的玩具场景有效。 真相:账本给的是量级与判据,不是绝对值。2400 万次调用换到你的数据上是另一个数,但「行数 × 算子数」这个结构与「先定位占比最大的层」这个方法不变。

一句话总结本节

五卷分别回答切分重放、血缘重算、状态检查点、目录事务与查询性能,前四卷 180 篇加本卷 45 篇共 225 篇;一致性边界是贯穿五卷的暗线,本卷用 45 篇、116 个断言把它落到字节与时间的账本上——2400 万次调用 360ms、26.5754 秒排序、6 种连接顺序、1000 次 List 50 秒、Compaction 消除 99% 读放大、几何平均 1.0715 秒。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

整卷 runner 是这一节的验证入口:

  • 源码:src/lab/RunAll.java 是唯一入口,依次调用 exec、format、operator、optimizer、storage、lakehouse 六个 suite。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:本节引用的用例 2(360ms 调度税)、用例 49(26.5754 秒排序)、用例 75(3 表 6 种顺序)、用例 88(1000 次 List 50 秒)、用例 108(Compaction 消除 99% 读放大)、用例 111(几何平均 1.0715 秒)分布在六个 suite 中,由一次运行全部验证。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:读完五卷仍觉得是五个主题 → 用一致性边界把它们串起来 → 算出 180 + 45 = 225 篇与 116 个断言的对应关系 → 按三条路径之一继续,并用同一套账本口径验证自己的系统。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图