本卷围绕一个问题组织 15 章:数据到底怎么被持久化与检索。承接前七卷的文件系统、目录提交与共识基础,本卷深入介质与 IO 账本、LSM-Tree 与布隆、Compaction 放大三角、WAL 与崩溃恢复,再向上一路长成分片、事务、副本与索引的分布式 KV。
全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八(本卷) · 卷九
三条阅读路线
路线 A:引擎内核(按依赖顺序)
从介质账本一路读到压缩与恢复,适合想理解「LSM 为什么长这样」的读者。
- 第 1–2 章 介质与 IO 账本、LSM 三件套、写路径与读路径。
- 第 3 章 布隆与索引:假阳性账本、稀疏索引与负查加速。
- 第 4–5 章 Compaction 放大三角、压实调度、WAL 与崩溃恢复。
- 第 15 章 引擎设计空间总结,把前五章的决策轴收口。
路线 B:分布式存储(面向数据库与中间件)
从单机 KV 往上长成分布式,先建立分片、事务与副本的账本,再补索引与缓存。
- 第 6 章 分片模型、定位路由、副本组。
- 第 7 章 单分片锁、跨片 2PC、隔离与读己之写。
- 第 8 章 副本同步、选主租约、脑裂防护。
- 第 9 章 二级索引与物化,第 10 章 缓存体系。
- 第 14 章 TiKV 与 CockroachDB 的存储侧对照。
路线 C:数据布局与选型(面向架构)
从对象存储、内存 KV 与时序日志切入,把内核章节当参考手册。
- 第 11 章 对象存储与存算分离,第 12 章 内存 KV。
- 第 13 章 时序与日志存储的磁盘模型。
- 第 14 章 单机引擎对照与存储演进。
- 第 1、5 章 回查介质账本与 WAL 语义。
- 第 15 章 八卷主线回顾,判断自研还是选型。
九卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 文件块与副本的存储侧原型 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 分区数据如何被持久化 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 状态后端的持久化接口 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录事务 / 梯度汇聚 | 湖格式与目录的存储底座 |
| 卷五 执行引擎与存储格式内核 | 单机性能由什么决定 | 字节与时间账本 | 列式与压缩的引擎侧接口 |
| 卷六 分布式 SQL 执行与 MPP 内核 | 算子如何跨节点执行 | 交换字节与调度账本 | MPP 引擎的存储接口 |
| 卷七 分布式一致性、复制与事务内核 | 多副本如何共同持有一份数据 | 日志前缀与多数派交集 | 一致性边界如何落到副本组 |
| 卷八 分布式存储与 KV 引擎内核 | 数据到底怎么被持久化与检索 | 追加日志与层间合并 | 存储地基,为消息日志提供段与页缓存 |
| 卷九 分布式消息与事件流平台内核 | 一条消息如何被可靠写入、复制与读走 | 分区有序与 ISR 高水位 | 九卷收口于第 15 章 |
动手复现
下载实验包后按 README 运行。Java 8 的 120 条断言用于复算示例。SQLite 3.51.0 有正常关闭重开和进程直接退出两种实验,另可观察 checkpoint、覆盖索引与连接间可见性。
十五章依赖图
flowchart TD
C1[1 介质与 IO 模型] --> C2[2 LSM-Tree 结构]
C2 --> C3[3 布隆与索引]
C2 --> C4[4 Compaction 策略]
C3 --> C4
C2 --> C5[5 WAL 与崩溃恢复]
C5 --> C6[6 分布式 KV 架构]
C4 --> C6
C6 --> C7[7 分布式 KV 的事务]
C6 --> C8[8 副本与选主]
C8 --> C7
C6 --> C9[9 二级索引与物化]
C7 --> C9
C4 --> C10[10 缓存体系]
C9 --> C10
C6 --> C11[11 对象存储]
C11 --> C12[12 内存 KV 与热数据]
C12 --> C13[13 时序与日志存储]
C2 --> C14[14 引擎对比与选型]
C4 --> C14
C6 --> C14
C14 --> C15[15 卷八收口]
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 写一次数据为什么这么快 | 1、2、5 | 追加式写 + WAL 组提交 + MemTable 吸收高频写 |
| 读一次要读几个文件 | 2、3、10 | L0 全扫 4 文件 + 每层 1 文件 + 布隆负查 0 磁盘 + 缓存命中 |
| 压实为什么有放大三角 | 4、14 | 写/读/空间放大不可兼得,Level 10x/1.1x 对 Tiered 4x/2.0x |
| 数据跨机怎么不丢不裂 | 6、7、8 | 分片定位 + 2PC + 多数派 + 租约与 fencing |
| 对象/内存/时序怎么选型 | 11、12、13、14 | 存算分离、内存 1000 倍取舍、追加日志、引擎对照 |
逐节索引
| 节 | 标题 | 读完可以核对 |
|---|---|---|
| 1.1 | 1.1 介质延迟与吞吐账本 | 按请求大小、并发与设备层次比较随机访问和流式吞吐。 |
| 1.2 | 1.2 页缓存、顺序写和同步 | 用 SQLite 插入探针区分按键顺序、引擎写入和设备持久化。 |
| 1.3 | 1.3 块、段与页 | 沿文件偏移理解设备块、引擎页与日志段的职责。 |
| 2.1 | 2.1 MemTable、SST 与层级 | 解释内存写入、层级文件和版本发布的协作。 |
| 2.2 | 2.2 WAL 到 L0 的顺序 | 按 RocksDB 写选项划分确认和恢复边界。 |
| 2.3 | 2.3 LSM 点查与扫描 | 分开点查过滤和范围扫描的归并成本。 |
| 3.1 | 3.1 Bloom 假阳性 | 按目标误差和键数选择过滤器预算。 |
| 3.2 | 3.2 稀疏索引与块定位 | 从文件内键边界找到候选块,再核验记录。 |
| 3.3 | 3.3 负查、假阳性与缓存 | 量化过滤器拦下的候选访问以及剩余 I/O。 |
| 4.1 | 4.1 Level 与 Tiered 压实 | 对照按范围与按 run 的两种文件演进。 |
| 4.2 | 4.2 读、写与空间放大 | 给每种放大定义独立分母与统计时段。 |
| 4.3 | 4.3 压实调度与停写 | 解释后台队列积压如何传到前台延迟。 |
| 5.1 | 5.1 WAL 同步与组提交 | 分开每次刷盘等待和每记录摊销成本。 |
| 5.2 | 5.2 异常退出后的日志重放 | 用 SQLite WAL 实测区分已提交、未提交和断电保证。 |
| 5.3 | 5.3 日志回收与归档 | 依据稳定覆盖水位管理日志生命周期。 |
| 6.1 | 6.1 Range 和 Hash 分片 | 从访问模式与数据倾斜选择键到分片的映射。 |
| 6.2 | 6.2 路由缓存与迁移 | 追踪版本化路由、增量追赶与所有权切换。 |
| 6.3 | 6.3 副本组与一致性组 | 解释键域所有权和组内复制边界。 |
| 7.1 | 7.1 单分片事务的本地路径 | 区分锁、版本与应用顺序的职责。 |
| 7.2 | 7.2 跨分片 2PC | 给出消息口径和故障后权威决议。 |
| 7.3 | 7.3 MVCC 隔离与读己之写 | 说明事务视图与会话可见性各检查的状态。 |
| 8.1 | 8.1 quorum、确认和 RPO | 按日志和故障模型确定已确认数据能否恢复。 |
| 8.2 | 8.2 选主与租约 | 按配置、时钟和确认条件解释租约读。 |
| 8.3 | 8.3 脑裂、外部写和 fencing | 把任期安全延伸到独立的目标资源。 |
| 9.1 | 9.1 本地与全局索引 | 从路由、写入和可见性比较两种索引。 |
| 9.2 | 9.2 索引和主数据原子变更 | 用失败历史核对二级索引的约束。 |
| 9.3 | 9.3 物化视图回填 | 把全量快照和增量流交接到同一个水位。 |
| 10.1 | 10.1 块缓存、行缓存与 MemTable | 分别统计索引块、数据块、值和内存写入。 |
| 10.2 | 10.2 Redis Cluster 槽与重定向 | 用 MOVED 和 ASK 区分持久路由改变及迁移中临时定位。 |
| 10.3 | 10.3 失效、陈旧值与击穿 | 用版本控制整理删除缓存和回填的竞态。 |
| 11.1 | 11.1 S3 对象级契约 | 区分单对象读写、列表和多对象发布。 |
| 11.2 | 11.2 对象存储上的 KV 引擎 | 追踪不可变 SST、热缓存、权威 manifest 与垃圾回收。 |
| 11.3 | 11.3 湖仓存算分离 | 用同一版本贯穿作业、元数据和对象回收。 |
| 12.1 | 12.1 内存 KV 的结构成本 | 计算值、索引、对象头和分配器占用。 |
| 12.2 | 12.2 AOF、RDB 与复制 | 按故障窗口理解三条持久与恢复路径。 |
| 12.3 | 12.3 内存与磁盘 KV 选型 | 按尾延迟、驻留集和恢复窗口对照。 |
| 13.1 | 13.1 时序数据的布局 | 用时间与序列键组织分段,规定迟到写路径。 |
| 13.2 | 13.2 批量提交与压缩 | 分开编码吞吐、等待批次与数据保留。 |
| 13.3 | 13.3 日志、消息和段归档 | 对照追加存储及读路径的对象边界。 |
| 14.1 | 14.1 RocksDB、LevelDB、Badger 与 WiredTiger | 按数据布局、回收、事务能力和使用版本比较。 |
| 14.2 | 14.2 TiKV 与 CockroachDB 的存储侧 | 对齐共识、存储引擎与事务层的共同抽象及区别。 |
| 14.3 | 14.3 宽表、文档与图模型 | 从访问模式决定键编码和索引。 |
| 15.1 | 15.1 存储引擎的设计空间 | 用工作负载、确认合同和可观察成本建立取舍。 |
| 15.2 | 15.2 存储接入系列主线 | 把引擎状态接到计算、事务、消息和检索的发布路径。 |
| 15.3 | 15.3 从引擎到 KV 服务 | 用切换与重试验证数据面和控制面的契约。 |
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。