15.2 五卷主线回顾(模型/存储/调度/执行/一致)
五卷写完之后,最容易犯的错是把它当成五本互不相干的书:卷一是文件系统,卷二是 Spark,卷三是 Flink,卷四是调度与湖仓,卷五是执行引擎。这样读,每一卷都对,合起来却拼不出一个系统。
真正的主线只有一条:分布式系统里每一个「快」和「对」,都是用某条一致性边界换来的。五卷分别把这条边界画在不同的位置,本卷则把它落到可以逐字节、逐毫秒复算的账本上。
五卷各自回答一个问题
| 卷 | 核心问题 | 一句话机制 | 一致性边界 | 与本卷的接口 |
|---|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务失败就重跑,输入必须可重放 | 任务级重放 | 3–5 章的存储语义前置 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 宽依赖处 shuffle,窄依赖处流水 | 血缘重算 | 6–9 章把算子与优化器拆到字节级 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 周期快照 + 两阶段提交 | 状态检查点 | 13 章的流式湖仓与之衔接 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 快照隔离 + 元数据提交 | 目录事务 / 梯度共识 | 3–5、13 章的格式与表模型下钻 |
| 卷五 执行引擎与存储格式内核 | 一条查询的性能由什么决定 | 五层账本:模型、表达式、字节、内存、估算 | 字节与时间的账本 | 本卷 45 篇、116 个断言 |
五卷的问题是一条链:先决定计算怎么切(卷一),再决定切完怎么重算(卷二),然后决定连续输入下状态怎么保(卷三),接着决定资源与目录怎么协调(卷四),最后决定单次执行的每一毫秒花在哪(卷五)。前四卷回答「系统怎么不出错」,卷五回答「系统为什么慢」。
一条查询穿过五卷
同一条 SELECT ... JOIN ... GROUP BY ... 从提交到返回,会依次踩到五卷的机制。把路径摊开,才看得出每一卷在哪里留下成本:
| 阶段 | 经过哪一卷的机制 | 留下的成本 | 卷五的对应账本 |
|---|---|---|---|
| 读表 | 卷一的对象存储语义、卷四的目录事务 | List 与元数据请求 | 用例 88:1000 次 List 50 秒 |
| 解码 | 卷五的列式格式与编码 | 读字节与解压 | 用例 67:下推减 90% |
| 连接 | 卷二的血缘与 shuffle | 中间结果落盘 | 用例 49:26.5754 秒排序 |
| 聚合 | 卷五的算子内存 | 哈希表与溢写 | 用例 55:3.2MB 聚合表 |
| 规划 | 卷五的优化器 | 计划质量 | 用例 75:3 表 6 种顺序 |
| 计时 | 卷五的基准方法 | 结论是否可比 | 用例 111:几何平均 1.0715 秒 |
这张表是五卷的接缝:每一卷只解释一段,任何一段缺失,排障就会在错误的层里打转。看到 50 秒先怀疑执行引擎的人,会漏掉那 50 秒其实全是 List 往返。
卷一与卷二:切分、重放与血缘
卷一的核心是重放:任务失败不需要补偿,只需要用同样的输入再跑一次。这条假设支撑了整个批处理的容错模型,也解释了两个设计约束:
| 卷一的结论 | 对卷五的约束 |
|---|---|
| 输入必须可重放 | 列式文件一旦写完不再修改(3 章的不可变语义) |
| 任务级重放粒度粗 | 单个任务内的字节浪费无法靠重试消除 |
| 切分以块为单位 | 分区数与文件大小直接决定扫描并行度(5 章) |
卷二把重放的粒度从任务细化到血缘:窄依赖可以流水、失败只重算一段;宽依赖要 shuffle,中间结果必须落盘。这条分界线在卷五表现为算子的内存账本——shuffle 的代价不是网络,而是「必须等所有分区写完才能开始读」,这也是 6.2 节 spill 账本的来源。
卷三与卷四:状态与目录
卷三把「重放」换成「快照」:连续输入无法重放,只能把状态周期性地固化。检查点间隔是一个直接的取舍——间隔越短,恢复越快、开销越大;间隔越长,恢复越慢、开销越小。卷五 13 章的流式湖仓把这条边界推到表格式上:写入的可见性由一个已提交的快照决定(用例 109 的可见性隔离),端到端延迟约等于两个检查点间隔(用例 110)。
卷四把边界画在目录上:对象存储本身只保证单对象的原子性,多对象的提交要靠元数据层做事务。这条边界在卷五表现为 List 的代价(用例 88:1000 次 List 共 50 秒)与 Compaction 的必要性(用例 108:消除 99% 读放大)。
| 卷 | 边界 | 换来了什么 | 付出的代价 |
|---|---|---|---|
| 卷三 | 状态检查点 | 连续输入下的精确一次 | 检查点开销与恢复窗口 |
| 卷四 | 目录事务 | 多文件提交的原子可见 | 元数据请求与 compaction |
卷五:一条查询的性能由什么决定
本卷把性能拆成五层,每层都有可复算的账本:
| 层 | 代表账本 | 用例 | 回答什么 |
|---|---|---|---|
| 执行模型 | 2400 万次调用、360ms | 用例 1、2 | 每行的调度税有多贵 |
| 表达式 | 每节点一次分派、15ns 量级 | 用例 2 | 求值路径有多长 |
| 格式字节 | 下推减 90%、聚合降 99.99% | 用例 67、91 | 读进来多少字节 |
| 算子内存 | 26.5754 秒排序、3.2MB 聚合表 | 用例 49、55 | 放不放得进内存 |
| 优化器 | 3 表 6 种、4 表 24 种顺序 | 用例 75 | 计划选得对不对 |
| 基准方法 | 几何平均 1.0715 秒 | 用例 111 | 这些数字可不可比 |
这六行的关系是从下往上收敛:格式决定读多少,内存决定放不放得下,模型决定每行付多少调度,优化器决定走哪条路,基准决定你怎么知道前面五项真的变好了。缺最后一层,前五层都只是故事。
一致性边界这条暗线
把五卷的边界并排放在一起,会发现它们回答的是同一个问题的五个版本:「出问题时,系统回到哪个已知正确的点?」
| 边界 | 保证什么 | 失效时的表现 | 代价的计量单位 |
|---|---|---|---|
| 任务级重放 | 任务要么完成要么重跑 | 重复计算、长尾任务 | 任务时长 |
| 血缘重算 | 丢失的分区可重算 | 重算放大、shuffle 重放 | 分区数与血缘深度 |
| 状态检查点 | 恢复到最近一次快照 | 重复消费或丢失 | 检查点间隔 |
| 目录事务 | 多文件原子可见 | 读到半个提交 | 元数据请求数 |
| 字节与时间的账本 | 性能结论可复现 | 结论随环境漂移 | 字节与毫秒 |
前四种边界保证「对」,第五种保证「可解释」。 一个只有前四种的系统是正确的但不可优化;一个只有第五种的系统跑得很快但说不清为什么。本卷 45 篇做的事,是把第五种边界补上,并且让它可以和前三卷的机制对上号。
边界怎么被量化
「一致性边界有代价」这句话如果不落到数字上,就只是比喻。每一卷都给出了自己的计量方式:
| 边界 | 可量化指标 | 变大意味着 | 典型账本 |
|---|---|---|---|
| 任务级重放 | 重跑任务数 × 单任务时长 | 容错成本上升 | 长尾任务拖慢整个作业 |
| 血缘重算 | 重算分区数 × 每分区读取量 | 失败恢复变慢 | 宽依赖处必须落盘 |
| 状态检查点 | 检查点间隔 × 2 | 端到端延迟上升 | 用例 110:10 秒间隔对应 20 秒延迟 |
| 目录事务 | 每次提交的元数据请求数 | 提交与列举变慢 | 用例 88:1000 次 List 50 秒 |
| 字节与时间账本 | 读放大、spill 量、几何平均 | 结论开始漂移 | 用例 111:1.0715 秒 |
量化的好处是边界可以被选择,而不是被相信。 检查点间隔从 10 秒改成 5 秒,延迟从 20 秒降到 10 秒,代价是两倍的检查点开销——这是一次可计算的交换,不是一次信仰表态。
规模:180 + 45 = 225 篇,116 个断言
| 项 | 数值 | 来源 |
|---|---|---|
| 前四卷篇数 | 180 篇 | 前四卷已交付规模 |
| 本卷篇数 | 45 篇 | 本卷十五章 |
| 全书篇数 | 225 篇 | 公式推导:180 + 45 |
| 本卷断言数 | 116 个 | lab.RunAll 一次跑完 |
| 断言覆盖 | 6 个 suite | exec、format、operator、optimizer、storage、lakehouse |
| 本卷阅读单元 | 15 章 × 3 节 | 每节一笔可复算账本 |
116 个断言不是装饰:每一个都对应正文里的一个数字。改动任何一节的账本,runner 会立刻报出哪一条不再成立。这也是本卷与前四卷的差别——前四卷的结论以机制为主,本卷的结论必须能被一条 Assert 复现。
三条下一步路径
| 路径 | 适合谁 | 阅读顺序 | 验证方式 |
|---|---|---|---|
| 做引擎内核 | 想参与或自研执行层 | 1–2 章 → 3–5 章 → 6–7 章 → 8–9 章 → 15.3 | 用 116 个断言做回归基线 |
| 做湖仓平台 | 建表格式、管元数据、控成本 | 3–5 章 → 10 章 → 13 章 → 12 章 → 14 章 | 用 14.1 的四条件做选型基准 |
| 做性能工程 | 排障、调优、容量规划 | 14 章 → 5 章 → 6–7 章 → 9 章 | 用 14.3 的决策树定位根因 |
三条路径的入口不同,但都会回到同一张表:先定位成本项,再算杠杆,最后只动一层。这也是 15.1 的结论,和 15.3 判断「要不要自研」用的是同一套判据。
116 个断言分布在哪
| suite | 覆盖主题 | 代表用例 |
|---|---|---|
| exec | 执行模型:行式、批式、Push 与并行 | 用例 1、2(2400 万次调用、360ms) |
| format | 列式布局、编码压缩、统计与跳过 | 3–4 章的字节账本 |
| operator | join、聚合、窗口的内存与比较次数 | 用例 49、55、59 |
| optimizer | 规则、CBO、连接顺序、自适应 | 用例 67、71、75 |
| storage | 对象存储、List、缓存、选型 | 用例 88、91、96 |
| lakehouse | 湖仓表模型、Compaction、基准与剖析 | 用例 108、111–116 |
六个 suite 对应五层账本的顺序:exec 与 format 管前两层,operator 管第四层,optimizer 管第五层,storage 与 lakehouse 管第三层以及跨卷的存储语义。跑一次 RunAll,等于把全书 45 篇的主要结论复算一遍。
这份收口不提供什么
| 不提供 | 原因 | 替代做法 |
|---|---|---|
| 各引擎的绝对性能排名 | 结论依赖数据、硬件、并发与缓存,没有普适排名 | 用 14.1 的四条件在自己的负载上测 |
| 一套通用最优配置 | 旋钮相互冲突,最优只对特定瓶颈成立 | 用 14.3 的决策树定位后单点调优 |
| 自研的工程量估算 | 取决于团队积累与目标算子集 | 用 15.3 的三段门槛逐段验证 |
| 版本相关的默认值 | 默认值随版本变化 | 以所用版本的执行计划与计数器为准 |
账本给的是结构与量级,不是结论的复印件。 2400 万次调用在 800 万行上是 360ms,在你的数据上是另一个数;但「行数 × 算子数」这个结构、以及「先定位占比最大的层」这个方法,不随规模改变。
按问题定位前五卷
计算模型、存储、资源调度和执行是四个读书视角。可见性、恢复和一致性贯穿这些视角。沿系列导读 对同一输入检查阶段产物、状态、可见版本和执行成本。
三个常见误解
误解一:五卷是五个独立主题,可以任选一卷读。 真相:五卷是一条链,卷一的重放约束决定了卷五的不可变文件语义,卷三的检查点间隔决定了 13 章的端到端延迟;跳读会看到结论,看不到约束。
误解二:一致性只关乎「对不对」,与性能无关。 真相:每一种一致性边界都有价格——检查点间隔、List 请求数、compaction 频率,最终都出现在查询的毫秒里。性能问题常常是边界选错了,而不是代码写差了。
误解三:账本数字只对 lab 的玩具场景有效。 真相:账本给的是量级与判据,不是绝对值。2400 万次调用换到你的数据上是另一个数,但「行数 × 算子数」这个结构与「先定位占比最大的层」这个方法不变。
一句话总结本节
五卷分别回答切分重放、血缘重算、状态检查点、目录事务与查询性能,前四卷 180 篇加本卷 45 篇共 225 篇;一致性边界是贯穿五卷的暗线,本卷用 45 篇、116 个断言把它落到字节与时间的账本上——2400 万次调用 360ms、26.5754 秒排序、6 种连接顺序、1000 次 List 50 秒、Compaction 消除 99% 读放大、几何平均 1.0715 秒。
本节 lab
整卷 runner 是这一节的验证入口:
- 源码:
src/lab/RunAll.java是唯一入口,依次调用exec、format、operator、optimizer、storage、lakehouse六个 suite。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:本节引用的用例 2(360ms 调度税)、用例 49(26.5754 秒排序)、用例 75(3 表 6 种顺序)、用例 88(1000 次 List 50 秒)、用例 108(Compaction 消除 99% 读放大)、用例 111(几何平均 1.0715 秒)分布在六个 suite 中,由一次运行全部验证。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:读完五卷仍觉得是五个主题 → 用一致性边界把它们串起来 → 算出 180 + 45 = 225 篇与 116 个断言的对应关系 → 按三条路径之一继续,并用同一套账本口径验证自己的系统。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。