posts

《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》 · 全书目录与章节索引(45 篇)

卷六分布式 SQL 与 MPP 内核的 45 篇索引。含机制架构图、流程图、Java 8 账本、SQL 语义反例与 Trino 探针。

卷六共 45 节,沿一条查询的执行链路阅读。卷五解释单机算子,卷六补充物理分布、跨节点交换、任务重试,以及带快照和权限的查询交付。

本页是《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核(本卷)

全书概览

项目内容
书稿《大规模分布式计算深入解析·分布式 SQL 执行与 MPP 内核》
篇数45 篇(15 章 × 3 节)
领域分布式查询执行 × MPP × 数据分布与交换 × 查询服务化
实验工程下载卷六实验包 ,含 Java 8 模型、SQLite 语义反例和 Trino 484 探针
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 MPP 执行模型总览

节文章
1.11.1 从单机到集群:计划为什么必须分裂(fragment/stage)
1.21.2 Coordinator、Worker 与查询生命周期
1.31.3 MPP、批处理与流引擎的执行模型对照

第 2 章 数据分布与分区

节文章
2.12.1 hash 分区与 bucket:分布函数与并行度
2.22.2 range/list/replicate 与 colocate 分布
2.32.3 分区裁剪与数据倾斜的静态来源

第 3 章 数据交换(Exchange)

节文章
3.13.1 repartition、broadcast 与 gather 的语义
3.23.2 exchange 的缓冲、批与流控
3.33.3 跨节点 pipeline 执行与 morsel 调度

第 4 章 分布式 Join

节文章
4.14.1 broadcast join 与 shuffle join 的判据
4.24.2 colocate join 与 bucketed join
4.34.3 semi/anti join、runtime filter 与 bloom 下推

第 5 章 分布式聚合

节文章
5.15.1 两阶段聚合:partial 与 final
5.25.2 count distinct 与 HyperLogLog 近似
5.35.3 聚合下推与预聚合(rollup 与 MV)

第 6 章 全局排序与 TopN

节文章
6.16.1 全局排序的归并与限额
6.26.2 TopN 下推与局部 TopN
6.36.3 窗口函数的分区要求与 shuffle 代价

第 7 章 查询调度与资源管理

节文章
7.17.1 查询队列与 admission control
7.27.2 资源组、并发隔离与内存配额
7.37.3 spill、远端溢写与 OOM 防护

第 8 章 Connector 与联邦查询

节文章
8.18.1 connector 抽象:split、分区与并行度
8.28.2 谓词与列下推到外部数据源
8.38.3 跨源 join 与数据移动的代价决策

第 9 章 物化视图与自动改写

节文章
9.19.1 物化视图的定义、刷新与增量维护
9.29.2 查询改写:MV 匹配与聚合上卷
9.39.3 透明加速的边界、失效与回退

第 10 章 缓存体系

节文章
10.110.1 元数据缓存与分区发现
10.210.2 文件缓存与结果缓存
10.310.3 缓存一致性、失效与命中率建模

第 11 章 湖仓加速

节文章
11.111.1 Iceberg/Delta/Hudi 的 MPP 读取路径
11.211.2 元数据与清单的规划开销
11.311.3 湖上 MPP 与专用数仓的取舍

第 12 章 分布式查询容错

节文章
12.112.1 worker 失败与 partial retry
12.212.2 结果去重、幂等与重试放大
12.312.3 查询取消与资源回收

第 13 章 引擎对比

节文章
13.113.1 Trino/Presto 的 connector 与 MPP 模型
13.213.2 StarRocks/Doris 的存算与 colocate
13.313.3 ClickHouse 的分布式表与两阶段聚合

第 14 章 查询服务化与网关

节文章
14.114.1 查询网关、路由与限流
14.214.2 语义层与查询重写
14.314.3 多引擎联邦与数据虚拟化

第 15 章 卷六收口

节文章
15.115.1 分布式执行的设计空间总结
15.215.2 六卷主线回顾(模型/存储/调度/执行/一致性)
15.315.3 从 MPP 引擎到自研查询服务

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python