《大规模分布式计算深入解析·执行引擎与存储格式内核》全 45 篇,是《大规模分布式计算深入解析》系列的卷五。前四卷回答计算如何被调度、状态如何被重放、表如何被事务化、模型如何被并行;本卷下钻最后一个原理位问题:一条查询从计划到算子到磁盘字节,性能究竟由什么决定。从执行模型、表达式与代码生成,到文件格式、编码与裁剪,再到算子实现、优化器与自适应执行,最后收口于存算分离、云数仓、实时湖仓与性能工程;每节配一个可运行的 Java 最小验证,共 116 个断言。
本页是《大规模分布式计算深入解析·执行引擎与存储格式内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核(本卷) · 卷六 分布式 SQL 执行与 MPP 内核
下载卷五 Java 8 实验 · DuckDB 原生对照脚本
全书概览
| 项目 | 内容 |
|---|---|
| 书稿 | 《大规模分布式计算深入解析·执行引擎与存储格式内核》 |
| 篇数 | 45 篇(15 章 × 3 节) |
| 领域 | 执行引擎内核 × 列式存储 × 查询优化 × 存算分离 × 实时湖仓 |
| 实验工程 | bd-engine-lab,纯 Java 8,javac -d out $(find src -name '*.java') && java -cp out lab.RunAll,116 个断言全过 |
| 上级专题 | 书稿专题 |
全书目录
前置
| 节 | 文章 |
|---|---|
| — | 目录与学习路径 |
第 1 章 执行模型基础
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 火山模型:迭代器与逐行开销 |
| 1.2 | 1.2 向量化执行:批处理与 CPU 效率 |
| 1.3 | 1.3 Push 模型与 Morsel 驱动并行 |
第 2 章 表达式求值与代码生成
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 表达式树与解释开销 |
| 2.2 | 2.2 全阶段代码生成(Tungsten) |
| 2.3 | 2.3 JIT 与向量化原语(DuckDB/Velox) |
第 3 章 列式文件格式
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 Parquet 布局:row group、page 与 column chunk |
| 3.2 | 3.2 编码与压缩:字典、RLE、Bit-packing、Zstd |
| 3.3 | 3.3 ORC 对比与格式选型 |
第 4 章 统计信息与数据裁剪
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 min/max 与 zone map |
| 4.2 | 4.2 布隆过滤器与 Puffin 统计 |
| 4.3 | 4.3 文件级统计与跳过策略 |
第 5 章 扫描与谓词下推
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 谓词下推到存储层 |
| 5.2 | 5.2 延迟物化与列裁剪 |
| 5.3 | 5.3 并行扫描与 IO 调度 |
第 6 章 Join 算子
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 Hash join:build 与 probe |
| 6.2 | 6.2 Sort-merge join 与 spill |
| 6.3 | 6.3 Broadcast、嵌套循环与 runtime filter |
第 7 章 聚合与窗口算子
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 Hash aggregate 与分组 |
| 7.2 | 7.2 Sort-based aggregate 与 spill |
| 7.3 | 7.3 窗口算子与增量计算 |
第 8 章 查询优化器
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 逻辑计划与规则优化 |
| 8.2 | 8.2 CBO 与统计信息 |
| 8.3 | 8.3 Join reorder 与代价模型 |
第 9 章 自适应执行
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 AQE 与运行时统计 |
| 9.2 | 9.2 动态分区裁剪 |
| 9.3 | 9.3 自适应 join 与倾斜处理 |
第 10 章 存算分离
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 对象存储语义:S3 一致性与 List 代价 |
| 10.2 | 10.2 缓存层:本地盘与分布式缓存 |
| 10.3 | 10.3 计算下推与本地性重建 |
第 11 章 现代执行引擎对比
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 DuckDB:单机 Morsel 与向量化 |
| 11.2 | 11.2 Velox 与 ClickHouse 执行栈 |
| 11.3 | 11.3 DataFusion 与 Spark 的取舍 |
第 12 章 Serverless 与云数仓
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 Snowflake:微分区与虚拟仓库 |
| 12.2 | 12.2 BigQuery/Athena 的无服务器模型 |
| 12.3 | 12.3 弹性、冷启动与成本 |
第 13 章 实时湖仓表模型
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 Paimon 的 LSM 表模型 |
| 13.2 | 13.2 Hudi 的 COW/MOR 与增量读 |
| 13.3 | 13.3 流式读写与 Compaction |
第 14 章 性能工程
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 基准方法学与 TPC-DS |
| 14.2 | 14.2 剖析与热点定位 |
| 14.3 | 14.3 从慢查询到根因 |
第 15 章 卷五收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 执行引擎设计空间总结 |
| 15.2 | 15.2 五卷主线回顾(模型/存储/调度/执行/一致) |
| 15.3 | 15.3 从引擎到自研执行层 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷五 目录与学习路径 :45 篇的三条阅读路线、十五章依赖关系与逐节索引。
- 卷一 计算模型与分布式文件系统 :任务级重放与 HDFS/YARN 的完整框架。
- 卷二 批处理引擎:Spark 内核 :RDD 血缘、DAG 调度与 Shuffle,是本卷算子章节的引擎背景。
- 卷三 流计算与状态引擎:Flink 内核 :状态检查点与端到端精确一次。
- 卷四 调度、数据湖与分布式训练 :Iceberg/Delta 元数据与目录事务,是本卷 13 章表模型的前置。
- 卷六 分布式 SQL 执行与 MPP 内核 :把本卷的单机算子和字节账本扩展到跨节点执行,是计划分裂、exchange 与分布式 join/聚合的直接续编。