本卷围绕一条 SQL 如何跨节点执行组织 15 章。从 Fragment 与物理分布出发,再看 Exchange、算子、资源、湖仓、容错与网关。配套提供 Java 8 数值模型、SQLite 语义反例和 Trino 484 探针。
全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六(本卷)
三条阅读路线
路线 A:执行原理(按依赖顺序)
从计划分裂一路读到查询服务化,适合想理解「MPP 引擎为什么这样设计」的读者。
- 第 1–2 章 执行模型、计划分裂与数据分布。
- 第 3–6 章 exchange、分布式 join、聚合、排序与 TopN。
- 第 7 章 查询调度、资源组与 spill。
- 第 8–11 章 connector、物化视图、缓存与湖仓加速。
- 第 12–15 章 容错、引擎对比、查询网关与收口。
路线 B:查询调优(最快见效)
从「为什么慢、慢在哪一段」入手,先建立网络与内存账本,再回头补原理。
- 第 3 章 数据交换:先算清 shuffle 与广播的字节数。
- 第 4–5 章 join 与聚合:broadcast/shuffle/colocate 与两阶段聚合。
- 第 2 章 数据分布与倾斜:分区键与 bucket 决定交换量。
- 第 7 章 队列、资源组与 spill:并发与内存的硬约束。
- 第 9–11 章 物化视图、缓存与湖读:把重复计算变成命中。
路线 C:选型与平台(面向架构)
从引擎取舍与查询服务化入手,把内核章节当参考手册。
- 第 13 章 Trino、StarRocks/Doris、ClickHouse 的模型差异。
- 第 8、11 章 connector 与湖仓加速:数据在哪、要不要移动。
- 第 10、14 章 缓存、网关与语义层:把查询变成服务。
- 第 15 章 设计空间、六卷主线与自研迁移判据。
- 需要时回查第 1–7 章的账本。
六卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 本卷 1–2 章的分片思想前置 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 本卷 3–6 章的 shuffle 与算子对照面 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 本卷 12 章容错的对照面 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录提交 / AllReduce 梯度汇聚 | 本卷 7 章资源管理、11 章湖仓的直接前提 |
| 卷五 执行引擎与存储格式内核 | 一条查询的单机性能由什么决定 | 字节与时间的账本 | 本卷把同一套算子扩展到跨节点 |
| 卷六 分布式 SQL 执行与 MPP 内核 | 同一套算子如何跨节点执行 | 交换字节与调度账本 | 六卷收口于第 15 章 |
十五章依赖图
flowchart TD
C1[1 执行模型] --> C2[2 数据分布]
C2 --> C3[3 数据交换]
C3 --> C4[4 分布式 Join]
C3 --> C5[5 分布式聚合]
C3 --> C6[6 排序与 TopN]
C4 --> C7[7 调度与资源]
C5 --> C7
C6 --> C7
C7 --> C8[8 Connector 联邦]
C8 --> C9[9 物化视图]
C9 --> C10[10 缓存]
C10 --> C11[11 湖仓加速]
C7 --> C12[12 容错]
C11 --> C12
C12 --> C13[13 引擎对比]
C13 --> C14[14 查询服务化]
C14 --> C15[15 卷六收口]
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 查询怎样拆片和展开任务 | 1–2 | 计划远端边、各 Stage 的 Task 数、桶放置 |
| 数据在哪些边界移动 | 3 | 路由输入、跨机载荷、本地队列和结果页 |
| 何时能局部消费或压缩 | 4–6 | 同一 Build 比较;聚合可合并性;排序与 TopN 正确性 |
| 查询为何排队或恢复 | 7、12 | 稳态有效吞吐、资源额度、已发布输出与取消回收 |
| 如何访问湖仓和服务化 | 8–14 | 快照、下推、回退、缓存权限和联邦成本 |
逐节索引
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。