《大规模分布式计算深入解析·分布式一致性、复制与事务内核》 · 目录与学习路径(45 篇)

卷七 15 章 45 节学习路径。从一致性模型与复制日志出发,经 Paxos 与 Raft、时钟与一致读、2PC 与 MVCC,到分布式锁与多区域复制,含 24 张正文章节机制图、Java 8 模型和本地 etcd、PostgreSQL 实验。

本卷围绕一个问题组织 15 章:多台机器如何安全地共同持有一份数据。前六卷把一致性边界当作给定条件,本卷拆开边界本身——复制日志、多数派、时钟、一致读、事务与锁。

全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八

系列导读与实验 · 下载卷七实验包

三条阅读路线

路线 A:协议内核(按依赖顺序)

从一致性模型一路读到多区域复制,适合想理解「共识算法为什么长这样」的读者。

  1. 第 1–2 章 一致性模型、会话保证、复制日志与提交点。
  2. 第 3 章 多数派与 quorum:交集、灵活配置与尾延迟。
  3. 第 4–5 章 Paxos 家族与 Raft 内核:选举、复制、快照。
  4. 第 6–7 章 时钟、因果与一致读:不确定区间与租约。
  5. 第 8 章 成员变更:单步变更、学习者与脑裂防护。

路线 B:事务与存储(面向数据库)

从「一次写如何原子提交、一次读看到什么」入手,先建立 MVCC 与 2PC 账本,再补共识背景。

  1. 第 9 章 2PC:prepare/commit、协调者日志与阻塞窗口。
  2. 第 10 章 MVCC:版本链、快照隔离、写偏斜与膨胀。
  3. 第 11 章 跨分片事务:Percolator、Spanner 与全局 TSO。
  4. 第 5–6 章 回查 Raft 与时钟,理解提交点为什么可信。
  5. 第 15 章 设计空间总结与收口。

路线 C:运维与选型(面向架构)

从多区域部署、锁服务与故障演练入手,把内核章节当参考手册。

  1. 第 12 章 分布式锁与选主:fencing、Redis/ZooKeeper/etcd 取舍。
  2. 第 13 章 多区域复制:同步/异步 RPO 与多数派写延迟。
  3. 第 14 章 工程化:升级回滚、可观测性与混沌实验。
  4. 第 1、6 章 回查一致性模型与时钟假设。
  5. 第 15 章 七卷主线回顾,判断自研还是选型。

七卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放副本重算思路的对照面
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算失败重算与日志重放的差别
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点本卷 9、14 章的前置
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录事务 / 梯度汇聚12 章选主与 13 章复制的直接前提
卷五 执行引擎与存储格式内核单机性能由什么决定字节与时间账本10 章 MVCC 的存储侧基础
卷六 分布式 SQL 执行与 MPP 内核算子如何跨节点执行交换字节与调度账本把一致性当边界,本卷拆开边界
卷七 分布式一致性、复制与事务内核多副本如何共同持有一份数据日志前缀与多数派交集七卷收口于第 15 章

动手复现

下载实验包并解压,按包内 README 运行。Java 模型和 Python 反例覆盖多数派候选、HLC、TrueTime 与旧持有者。原生 etcd 3.6.0 实验覆盖网络分区、一致读、快照安装、learner 晋升和恢复。PostgreSQL 18.4 实验覆盖 2PC 参与者、写偏斜和目标存储围栏。

十五章依赖图

flowchart TD
  C1[1 一致性模型] --> C2[2 复制与日志]
  C2 --> C3[3 多数派与 Quorum]
  C3 --> C4[4 Paxos 家族]
  C4 --> C5[5 Raft 内核]
  C5 --> C6[6 时钟与顺序]
  C5 --> C7[7 一致读与租约]
  C5 --> C8[8 成员变更]
  C5 --> C9[9 2PC 与补偿]
  C7 --> C10[10 MVCC 与隔离]
  C9 --> C10
  C9 --> C11[11 跨分片与全局时间戳]
  C10 --> C11
  C8 --> C12[12 分布式锁与选主]
  C11 --> C13[13 多区域复制]
  C12 --> C13
  C13 --> C14[14 工程化与运维]
  C14 --> C15[15 卷七收口]

五组问题追踪

问题章节关键结论
一致性到底要付什么代价1、6、7模型越强,跨区等待与不确定区间越大
一台机器坏了为什么不丢数据2、3、5日志前缀匹配 + 读写多数派交集 + 提交规则
谁说了算:leader 怎么选出来4、5、8提案号/任期、随机超时、单步成员变更
一次跨行跨库写怎么原子完成9、10、112PC 阻塞窗口、快照隔离、全局时间戳
多区域与运维怎么落地12、13、14fencing token、RPO/延迟账本、混沌验证

逐节索引

节标题读完可以核对
1.1一致性模型谱系与代价线性一致与最终一致的延迟差价
1.2客户端会话保证读己之写、单调读、因果的判定条件
1.3CAP 与 PACELC 的账本分区时的可用比例与延迟代价
2.1leader/follower 与日志匹配选举限制与日志前缀的对应
2.2commit index 与状态机应用提交点、多数派与应用滞后
2.3同步、异步与 RPO 账本最多丢多少条、等几个副本
3.1读写 quorum 的交集R+W−N 的推算与偶然交集
3.2灵活 quorum 与故障切换读多写少时的可调组合
3.3quorum 的延迟与容错慢副本如何决定尾延迟
4.1Basic Paxos 的两阶段两轮 RTT 与提案号单调
4.2Multi-Paxos:leader 续租与批量批量摊薄与空洞填补
4.3活锁、随机化与工程上的 Paxos冲突退避与重试放大
5.1Raft 选举:任期与随机超时分裂投票的期望轮数
5.2Raft 日志复制与提交安全性多数派提交与当前任期规则
5.3快照、日志压缩与追赶压缩比与落后节点的追平时间
6.1物理时钟偏差与 NTP每日漂移、同步误差与单调时钟
6.2Lamport 时钟与向量时钟因果链与并发判定
6.3HLC 与 TrueTime不确定区间与 commit-wait
7.1ReadIndex 与 lease read两种一致读的成本与前提
7.2follower 读与快照读readIndex 与 appliedIndex 的关系
7.3线性一致读的延迟账本批量摊薄与失联 step-down
8.1单步变更与联合共识两阶段多数派的交集下界
8.2学习者与非投票成员迁移、压缩与追平时间
8.3分区恢复与脑裂防护多数派闸门与写冲突计数
9.12PC 的 prepare/commit 与日志消息数、日志记录与提交点
9.2阻塞窗口与启发式决策协调者故障时的锁持有
9.3XA、Saga 与 TCC 的取舍补偿动作与资源放大
10.1版本链、快照与可见性快照判定与版本数
10.2快照隔离、写偏斜与 SSI反依赖检出与中止数
10.3长事务、GC 与版本膨胀版本堆积与回收窗口
11.1Percolator:时间戳与提交点2PC 消息与协调者吞吐
11.2Spanner:TrueTime 与 Paxos 组commit-wait 与组内批量
11.3全局 TSO 的批量与瓶颈时间戳吞吐上限
12.1租约锁与 fencing tokentoken 单调与安全余量
12.2Redis/ZooKeeper/etcd 的锁获取成本与单点上限
12.3锁过期、GC 停顿与幂等停顿与 TTL 的比较
13.1跨区域同步与异步的 RPO丢数据边界与写延迟
13.2跨区域多数派写的延迟写等待与本地读
13.3多活冲突:LWW 与 CRDT并发判定与收敛时间
14.1成员变更、升级与回滚窗口快照阈值与选举窗口
14.2提交延迟、应用滞后与可观测性滞后条数与吞吐上限
14.3混沌实验:分区、时钟与磁盘多数派闸门与租约安全
15.1一致性设计空间总结六个决策轴与代价
15.2七卷主线回顾七种一致性边界的对照
15.3从共识到元数据服务选主、多数派与吞吐上限

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图