《大规模分布式计算深入解析·分布式存储与 KV 引擎内核》 · 目录与学习路径(45 篇)

卷八 15 章 45 节学习路径。从介质与 IO 账本出发,经 LSM-Tree、布隆与 Compaction、WAL 与崩溃恢复,到分布式 KV 的分片/事务/副本、二级索引与缓存、对象存储与内存 KV、时序日志与引擎选型,含 Java 8 模型和本地 sqlite3 原生探针。

本卷围绕一个问题组织 15 章:数据到底怎么被持久化与检索。承接前七卷的文件系统、目录提交与共识基础,本卷深入介质与 IO 账本、LSM-Tree 与布隆、Compaction 放大三角、WAL 与崩溃恢复,再向上一路长成分片、事务、副本与索引的分布式 KV。

全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八(本卷) · 卷九

系列导读与实验 · 下载卷八实验包

三条阅读路线

路线 A:引擎内核(按依赖顺序)

从介质账本一路读到压缩与恢复,适合想理解「LSM 为什么长这样」的读者。

  1. 第 1–2 章 介质与 IO 账本、LSM 三件套、写路径与读路径。
  2. 第 3 章 布隆与索引:假阳性账本、稀疏索引与负查加速。
  3. 第 4–5 章 Compaction 放大三角、压实调度、WAL 与崩溃恢复。
  4. 第 15 章 引擎设计空间总结,把前五章的决策轴收口。

路线 B:分布式存储(面向数据库与中间件)

从单机 KV 往上长成分布式,先建立分片、事务与副本的账本,再补索引与缓存。

  1. 第 6 章 分片模型、定位路由、副本组。
  2. 第 7 章 单分片锁、跨片 2PC、隔离与读己之写。
  3. 第 8 章 副本同步、选主租约、脑裂防护。
  4. 第 9 章 二级索引与物化,第 10 章 缓存体系。
  5. 第 14 章 TiKV 与 CockroachDB 的存储侧对照。

路线 C:数据布局与选型(面向架构)

从对象存储、内存 KV 与时序日志切入,把内核章节当参考手册。

  1. 第 11 章 对象存储与存算分离,第 12 章 内存 KV。
  2. 第 13 章 时序与日志存储的磁盘模型。
  3. 第 14 章 单机引擎对照与存储演进。
  4. 第 1、5 章 回查介质账本与 WAL 语义。
  5. 第 15 章 八卷主线回顾,判断自研还是选型。

九卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放文件块与副本的存储侧原型
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算分区数据如何被持久化
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点状态后端的持久化接口
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录事务 / 梯度汇聚湖格式与目录的存储底座
卷五 执行引擎与存储格式内核单机性能由什么决定字节与时间账本列式与压缩的引擎侧接口
卷六 分布式 SQL 执行与 MPP 内核算子如何跨节点执行交换字节与调度账本MPP 引擎的存储接口
卷七 分布式一致性、复制与事务内核多副本如何共同持有一份数据日志前缀与多数派交集一致性边界如何落到副本组
卷八 分布式存储与 KV 引擎内核数据到底怎么被持久化与检索追加日志与层间合并存储地基,为消息日志提供段与页缓存
卷九 分布式消息与事件流平台内核一条消息如何被可靠写入、复制与读走分区有序与 ISR 高水位九卷收口于第 15 章

动手复现

下载实验包后按 README 运行。Java 8 的 120 条断言用于复算示例。SQLite 3.51.0 有正常关闭重开和进程直接退出两种实验,另可观察 checkpoint、覆盖索引与连接间可见性。

十五章依赖图

flowchart TD
  C1[1 介质与 IO 模型] --> C2[2 LSM-Tree 结构]
  C2 --> C3[3 布隆与索引]
  C2 --> C4[4 Compaction 策略]
  C3 --> C4
  C2 --> C5[5 WAL 与崩溃恢复]
  C5 --> C6[6 分布式 KV 架构]
  C4 --> C6
  C6 --> C7[7 分布式 KV 的事务]
  C6 --> C8[8 副本与选主]
  C8 --> C7
  C6 --> C9[9 二级索引与物化]
  C7 --> C9
  C4 --> C10[10 缓存体系]
  C9 --> C10
  C6 --> C11[11 对象存储]
  C11 --> C12[12 内存 KV 与热数据]
  C12 --> C13[13 时序与日志存储]
  C2 --> C14[14 引擎对比与选型]
  C4 --> C14
  C6 --> C14
  C14 --> C15[15 卷八收口]

五组问题追踪

问题章节关键结论
写一次数据为什么这么快1、2、5追加式写 + WAL 组提交 + MemTable 吸收高频写
读一次要读几个文件2、3、10L0 全扫 4 文件 + 每层 1 文件 + 布隆负查 0 磁盘 + 缓存命中
压实为什么有放大三角4、14写/读/空间放大不可兼得,Level 10x/1.1x 对 Tiered 4x/2.0x
数据跨机怎么不丢不裂6、7、8分片定位 + 2PC + 多数派 + 租约与 fencing
对象/内存/时序怎么选型11、12、13、14存算分离、内存 1000 倍取舍、追加日志、引擎对照

逐节索引

节标题读完可以核对
1.11.1 介质延迟与吞吐账本按请求大小、并发与设备层次比较随机访问和流式吞吐。
1.21.2 页缓存、顺序写和同步用 SQLite 插入探针区分按键顺序、引擎写入和设备持久化。
1.31.3 块、段与页沿文件偏移理解设备块、引擎页与日志段的职责。
2.12.1 MemTable、SST 与层级解释内存写入、层级文件和版本发布的协作。
2.22.2 WAL 到 L0 的顺序按 RocksDB 写选项划分确认和恢复边界。
2.32.3 LSM 点查与扫描分开点查过滤和范围扫描的归并成本。
3.13.1 Bloom 假阳性按目标误差和键数选择过滤器预算。
3.23.2 稀疏索引与块定位从文件内键边界找到候选块,再核验记录。
3.33.3 负查、假阳性与缓存量化过滤器拦下的候选访问以及剩余 I/O。
4.14.1 Level 与 Tiered 压实对照按范围与按 run 的两种文件演进。
4.24.2 读、写与空间放大给每种放大定义独立分母与统计时段。
4.34.3 压实调度与停写解释后台队列积压如何传到前台延迟。
5.15.1 WAL 同步与组提交分开每次刷盘等待和每记录摊销成本。
5.25.2 异常退出后的日志重放用 SQLite WAL 实测区分已提交、未提交和断电保证。
5.35.3 日志回收与归档依据稳定覆盖水位管理日志生命周期。
6.16.1 Range 和 Hash 分片从访问模式与数据倾斜选择键到分片的映射。
6.26.2 路由缓存与迁移追踪版本化路由、增量追赶与所有权切换。
6.36.3 副本组与一致性组解释键域所有权和组内复制边界。
7.17.1 单分片事务的本地路径区分锁、版本与应用顺序的职责。
7.27.2 跨分片 2PC给出消息口径和故障后权威决议。
7.37.3 MVCC 隔离与读己之写说明事务视图与会话可见性各检查的状态。
8.18.1 quorum、确认和 RPO按日志和故障模型确定已确认数据能否恢复。
8.28.2 选主与租约按配置、时钟和确认条件解释租约读。
8.38.3 脑裂、外部写和 fencing把任期安全延伸到独立的目标资源。
9.19.1 本地与全局索引从路由、写入和可见性比较两种索引。
9.29.2 索引和主数据原子变更用失败历史核对二级索引的约束。
9.39.3 物化视图回填把全量快照和增量流交接到同一个水位。
10.110.1 块缓存、行缓存与 MemTable分别统计索引块、数据块、值和内存写入。
10.210.2 Redis Cluster 槽与重定向用 MOVED 和 ASK 区分持久路由改变及迁移中临时定位。
10.310.3 失效、陈旧值与击穿用版本控制整理删除缓存和回填的竞态。
11.111.1 S3 对象级契约区分单对象读写、列表和多对象发布。
11.211.2 对象存储上的 KV 引擎追踪不可变 SST、热缓存、权威 manifest 与垃圾回收。
11.311.3 湖仓存算分离用同一版本贯穿作业、元数据和对象回收。
12.112.1 内存 KV 的结构成本计算值、索引、对象头和分配器占用。
12.212.2 AOF、RDB 与复制按故障窗口理解三条持久与恢复路径。
12.312.3 内存与磁盘 KV 选型按尾延迟、驻留集和恢复窗口对照。
13.113.1 时序数据的布局用时间与序列键组织分段,规定迟到写路径。
13.213.2 批量提交与压缩分开编码吞吐、等待批次与数据保留。
13.313.3 日志、消息和段归档对照追加存储及读路径的对象边界。
14.114.1 RocksDB、LevelDB、Badger 与 WiredTiger按数据布局、回收、事务能力和使用版本比较。
14.214.2 TiKV 与 CockroachDB 的存储侧对齐共识、存储引擎与事务层的共同抽象及区别。
14.314.3 宽表、文档与图模型从访问模式决定键编码和索引。
15.115.1 存储引擎的设计空间用工作负载、确认合同和可观察成本建立取舍。
15.215.2 存储接入系列主线把引擎状态接到计算、事务、消息和检索的发布路径。
15.315.3 从引擎到 KV 服务用切换与重试验证数据面和控制面的契约。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图