《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》 · 目录与学习路径(45 篇)

卷六 15 章 45 节学习路径。从计划分片、Exchange 与查询算子,到湖仓快照、任务级恢复和查询网关。附公开实验与机制图。

本卷围绕一条 SQL 如何跨节点执行组织 15 章。从 Fragment 与物理分布出发,再看 Exchange、算子、资源、湖仓、容错与网关。配套提供 Java 8 数值模型、SQLite 语义反例和 Trino 484 探针。

全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六(本卷)

系列导读与实验 · 下载卷六实验包

三条阅读路线

路线 A:执行原理(按依赖顺序)

从计划分裂一路读到查询服务化,适合想理解「MPP 引擎为什么这样设计」的读者。

  1. 第 1–2 章 执行模型、计划分裂与数据分布。
  2. 第 3–6 章 exchange、分布式 join、聚合、排序与 TopN。
  3. 第 7 章 查询调度、资源组与 spill。
  4. 第 8–11 章 connector、物化视图、缓存与湖仓加速。
  5. 第 12–15 章 容错、引擎对比、查询网关与收口。

路线 B:查询调优(最快见效)

从「为什么慢、慢在哪一段」入手,先建立网络与内存账本,再回头补原理。

  1. 第 3 章 数据交换:先算清 shuffle 与广播的字节数。
  2. 第 4–5 章 join 与聚合:broadcast/shuffle/colocate 与两阶段聚合。
  3. 第 2 章 数据分布与倾斜:分区键与 bucket 决定交换量。
  4. 第 7 章 队列、资源组与 spill:并发与内存的硬约束。
  5. 第 9–11 章 物化视图、缓存与湖读:把重复计算变成命中。

路线 C:选型与平台(面向架构)

从引擎取舍与查询服务化入手,把内核章节当参考手册。

  1. 第 13 章 Trino、StarRocks/Doris、ClickHouse 的模型差异。
  2. 第 8、11 章 connector 与湖仓加速:数据在哪、要不要移动。
  3. 第 10、14 章 缓存、网关与语义层:把查询变成服务。
  4. 第 15 章 设计空间、六卷主线与自研迁移判据。
  5. 需要时回查第 1–7 章的账本。

六卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放本卷 1–2 章的分片思想前置
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算本卷 3–6 章的 shuffle 与算子对照面
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点本卷 12 章容错的对照面
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录提交 / AllReduce 梯度汇聚本卷 7 章资源管理、11 章湖仓的直接前提
卷五 执行引擎与存储格式内核一条查询的单机性能由什么决定字节与时间的账本本卷把同一套算子扩展到跨节点
卷六 分布式 SQL 执行与 MPP 内核同一套算子如何跨节点执行交换字节与调度账本六卷收口于第 15 章

十五章依赖图

flowchart TD
  C1[1 执行模型] --> C2[2 数据分布]
  C2 --> C3[3 数据交换]
  C3 --> C4[4 分布式 Join]
  C3 --> C5[5 分布式聚合]
  C3 --> C6[6 排序与 TopN]
  C4 --> C7[7 调度与资源]
  C5 --> C7
  C6 --> C7
  C7 --> C8[8 Connector 联邦]
  C8 --> C9[9 物化视图]
  C9 --> C10[10 缓存]
  C10 --> C11[11 湖仓加速]
  C7 --> C12[12 容错]
  C11 --> C12
  C12 --> C13[13 引擎对比]
  C13 --> C14[14 查询服务化]
  C14 --> C15[15 卷六收口]

五组问题追踪

问题章节关键结论
查询怎样拆片和展开任务1–2计划远端边、各 Stage 的 Task 数、桶放置
数据在哪些边界移动3路由输入、跨机载荷、本地队列和结果页
何时能局部消费或压缩4–6同一 Build 比较;聚合可合并性;排序与 TopN 正确性
查询为何排队或恢复7、12稳态有效吞吐、资源额度、已发布输出与取消回收
如何访问湖仓和服务化8–14快照、下推、回退、缓存权限和联邦成本

逐节索引

节标题读完可以核对
1.1从单机到集群:计划为什么必须分裂远端切分、单目的输出与 37 个 Task
1.2Coordinator、Worker 与查询生命周期控制面、数据面与结果分页
1.3MPP、批处理与流引擎对照流水、物化与检查点
2.1hash 分区与 bucket桶映射、Split 与热点
2.2range/list/replicate 与 colocate范围切点、复制成本与共置放置
2.3分区裁剪与倾斜的静态来源三层裁剪和加盐正确性
3.1repartition、broadcast 与 gather逻辑路由、跨机与本地交换
3.2exchange 的缓冲、批与流控批次数、共享链路和在途窗口
3.3跨节点 pipeline 与 morsel 调度算子阻塞与阶段交叠
4.1broadcast 与 shuffle join 的判据同一 Build 的跨机流量
4.2colocate 与 bucketed join共置稳定性、单侧重分布
4.3semi/anti join 与 runtime filter保留侧、三值逻辑与假阳性
5.1两阶段聚合:partial 与 final状态宽度和非 NULL 计数
5.2count distinct 与 HyperLogLog精确去重与相对标准误差
5.3聚合下推与预聚合远端下推、物化、局部聚合
6.1全局排序的归并与限额局部归并或范围拼接
6.2TopN 下推与局部 TopNOFFSET + LIMIT、WITH TIES
6.3窗口函数的分区要求分布属性、组内排序和帧
7.1查询队列与 admission control有效吞吐、平均队列与减载
7.2资源组、并发隔离与内存配额并发、内存额度与权重
7.3spill、远端溢写与 OOM写入、回读与失败分支
8.1connector 的 split 与并行度元数据、Split 和 PageSource
8.2谓词与列下推远端输出、物理 IO 与 residual
8.3跨源 join 与数据移动目标执行位置与跨源快照
9.1物化视图的定义与增量维护更新、删除和刷新发布
9.2查询改写与聚合上卷谓词蕴含和聚合状态
9.3透明加速的边界与回退滞后、补偿与回退
10.1元数据缓存与分区发现版本身份和轮询延迟
10.2文件缓存与结果缓存文件身份、查询语义和权限
10.3缓存一致性与命中率建模单飞、平均延迟和命中率
11.1Iceberg/Delta/Hudi 的 MPP 读取三种格式的快照与删除路径
11.2元数据与清单的规划开销List、Manifest、GET 与条目
11.3湖上 MPP 与专用数仓有效带宽与冷热缓存
12.1worker 失败与 partial retry重试策略和可重读输出
12.2结果去重与重试放大Task 与 Attempt 的提交边界
12.3查询取消与资源回收取消、阻塞和异步回收
13.1Trino/Presto 的 connector 模型Trino 计划、连接器与 PrestoDB
13.2StarRocks/Doris 的 colocateFE、BE 与共置布局
13.3ClickHouse 的分布式表分片聚合及发起节点归并
14.1查询网关、路由与限流准入、异步连接和取消传播
14.2语义层与查询重写语义版本、双跑与回退
14.3多引擎联邦与数据虚拟化搬运、物化与跨源一致性
15.1分布式执行的设计空间时间线、关键路径与理论上限
15.2六卷主线回顾六卷验证边界与测量条件
15.3从 MPP 引擎到自研查询服务可比基准、灰度与回滚

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图