posts

《大规模分布式计算深入解析·执行引擎与存储格式内核》 · 全书目录与章节索引(45 篇)

《大规模分布式计算深入解析》卷五的 45 篇全书索引:从火山模型、向量化与 Push 执行,到表达式求值与代码生成,再到 Parquet/ORC 布局、编码压缩、zone map 与布隆裁剪、谓词下推与延迟物化,接着是 join、聚合、窗口算子与 CBO、AQE,最后收于存算分离、DuckDB/Velox、Snowflake、Paimon/Hudi 与性能工程;每节配可运行的 Java 最小验证,共 116 个断言。

《大规模分布式计算深入解析·执行引擎与存储格式内核》全 45 篇,是《大规模分布式计算深入解析》系列的卷五。前四卷回答计算如何被调度、状态如何被重放、表如何被事务化、模型如何被并行;本卷下钻最后一个原理位问题:一条查询从计划到算子到磁盘字节,性能究竟由什么决定。从执行模型、表达式与代码生成,到文件格式、编码与裁剪,再到算子实现、优化器与自适应执行,最后收口于存算分离、云数仓、实时湖仓与性能工程;每节配一个可运行的 Java 最小验证,共 116 个断言。

本页是《大规模分布式计算深入解析·执行引擎与存储格式内核》的全书目录:按章节顺序列出全部 45 篇,点击标题直达正文。也可以从目录与学习路径 进入按顺序通读。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核(本卷) · 卷六 分布式 SQL 执行与 MPP 内核

下载卷五 Java 8 实验 · DuckDB 原生对照脚本

全书概览

项目内容
书稿《大规模分布式计算深入解析·执行引擎与存储格式内核》
篇数45 篇(15 章 × 3 节)
领域执行引擎内核 × 列式存储 × 查询优化 × 存算分离 × 实时湖仓
实验工程bd-engine-lab,纯 Java 8,javac -d out $(find src -name '*.java') && java -cp out lab.RunAll,116 个断言全过
上级专题书稿专题

全书目录

前置

节文章
—目录与学习路径

第 1 章 执行模型基础

节文章
1.11.1 火山模型:迭代器与逐行开销
1.21.2 向量化执行:批处理与 CPU 效率
1.31.3 Push 模型与 Morsel 驱动并行

第 2 章 表达式求值与代码生成

节文章
2.12.1 表达式树与解释开销
2.22.2 全阶段代码生成(Tungsten)
2.32.3 JIT 与向量化原语(DuckDB/Velox)

第 3 章 列式文件格式

节文章
3.13.1 Parquet 布局:row group、page 与 column chunk
3.23.2 编码与压缩:字典、RLE、Bit-packing、Zstd
3.33.3 ORC 对比与格式选型

第 4 章 统计信息与数据裁剪

节文章
4.14.1 min/max 与 zone map
4.24.2 布隆过滤器与 Puffin 统计
4.34.3 文件级统计与跳过策略

第 5 章 扫描与谓词下推

节文章
5.15.1 谓词下推到存储层
5.25.2 延迟物化与列裁剪
5.35.3 并行扫描与 IO 调度

第 6 章 Join 算子

节文章
6.16.1 Hash join:build 与 probe
6.26.2 Sort-merge join 与 spill
6.36.3 Broadcast、嵌套循环与 runtime filter

第 7 章 聚合与窗口算子

节文章
7.17.1 Hash aggregate 与分组
7.27.2 Sort-based aggregate 与 spill
7.37.3 窗口算子与增量计算

第 8 章 查询优化器

节文章
8.18.1 逻辑计划与规则优化
8.28.2 CBO 与统计信息
8.38.3 Join reorder 与代价模型

第 9 章 自适应执行

节文章
9.19.1 AQE 与运行时统计
9.29.2 动态分区裁剪
9.39.3 自适应 join 与倾斜处理

第 10 章 存算分离

节文章
10.110.1 对象存储语义:S3 一致性与 List 代价
10.210.2 缓存层:本地盘与分布式缓存
10.310.3 计算下推与本地性重建

第 11 章 现代执行引擎对比

节文章
11.111.1 DuckDB:单机 Morsel 与向量化
11.211.2 Velox 与 ClickHouse 执行栈
11.311.3 DataFusion 与 Spark 的取舍

第 12 章 Serverless 与云数仓

节文章
12.112.1 Snowflake:微分区与虚拟仓库
12.212.2 BigQuery/Athena 的无服务器模型
12.312.3 弹性、冷启动与成本

第 13 章 实时湖仓表模型

节文章
13.113.1 Paimon 的 LSM 表模型
13.213.2 Hudi 的 COW/MOR 与增量读
13.313.3 流式读写与 Compaction

第 14 章 性能工程

节文章
14.114.1 基准方法学与 TPC-DS
14.214.2 剖析与热点定位
14.314.3 从慢查询到根因

第 15 章 卷五收口

节文章
15.115.1 执行引擎设计空间总结
15.215.2 五卷主线回顾(模型/存储/调度/执行/一致)
15.315.3 从引擎到自研执行层

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python