本卷围绕一个问题组织 15 章:多台机器如何安全地共同持有一份数据。前六卷把一致性边界当作给定条件,本卷拆开边界本身——复制日志、多数派、时钟、一致读、事务与锁。
全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八
三条阅读路线
路线 A:协议内核(按依赖顺序)
从一致性模型一路读到多区域复制,适合想理解「共识算法为什么长这样」的读者。
- 第 1–2 章 一致性模型、会话保证、复制日志与提交点。
- 第 3 章 多数派与 quorum:交集、灵活配置与尾延迟。
- 第 4–5 章 Paxos 家族与 Raft 内核:选举、复制、快照。
- 第 6–7 章 时钟、因果与一致读:不确定区间与租约。
- 第 8 章 成员变更:单步变更、学习者与脑裂防护。
路线 B:事务与存储(面向数据库)
从「一次写如何原子提交、一次读看到什么」入手,先建立 MVCC 与 2PC 账本,再补共识背景。
- 第 9 章 2PC:prepare/commit、协调者日志与阻塞窗口。
- 第 10 章 MVCC:版本链、快照隔离、写偏斜与膨胀。
- 第 11 章 跨分片事务:Percolator、Spanner 与全局 TSO。
- 第 5–6 章 回查 Raft 与时钟,理解提交点为什么可信。
- 第 15 章 设计空间总结与收口。
路线 C:运维与选型(面向架构)
从多区域部署、锁服务与故障演练入手,把内核章节当参考手册。
- 第 12 章 分布式锁与选主:fencing、Redis/ZooKeeper/etcd 取舍。
- 第 13 章 多区域复制:同步/异步 RPO 与多数派写延迟。
- 第 14 章 工程化:升级回滚、可观测性与混沌实验。
- 第 1、6 章 回查一致性模型与时钟假设。
- 第 15 章 七卷主线回顾,判断自研还是选型。
七卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 副本重算思路的对照面 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 失败重算与日志重放的差别 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 本卷 9、14 章的前置 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录事务 / 梯度汇聚 | 12 章选主与 13 章复制的直接前提 |
| 卷五 执行引擎与存储格式内核 | 单机性能由什么决定 | 字节与时间账本 | 10 章 MVCC 的存储侧基础 |
| 卷六 分布式 SQL 执行与 MPP 内核 | 算子如何跨节点执行 | 交换字节与调度账本 | 把一致性当边界,本卷拆开边界 |
| 卷七 分布式一致性、复制与事务内核 | 多副本如何共同持有一份数据 | 日志前缀与多数派交集 | 七卷收口于第 15 章 |
动手复现
下载实验包并解压,按包内 README 运行。Java 模型和 Python 反例覆盖多数派候选、HLC、TrueTime 与旧持有者。原生 etcd 3.6.0 实验覆盖网络分区、一致读、快照安装、learner 晋升和恢复。PostgreSQL 18.4 实验覆盖 2PC 参与者、写偏斜和目标存储围栏。
十五章依赖图
flowchart TD
C1[1 一致性模型] --> C2[2 复制与日志]
C2 --> C3[3 多数派与 Quorum]
C3 --> C4[4 Paxos 家族]
C4 --> C5[5 Raft 内核]
C5 --> C6[6 时钟与顺序]
C5 --> C7[7 一致读与租约]
C5 --> C8[8 成员变更]
C5 --> C9[9 2PC 与补偿]
C7 --> C10[10 MVCC 与隔离]
C9 --> C10
C9 --> C11[11 跨分片与全局时间戳]
C10 --> C11
C8 --> C12[12 分布式锁与选主]
C11 --> C13[13 多区域复制]
C12 --> C13
C13 --> C14[14 工程化与运维]
C14 --> C15[15 卷七收口]
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 一致性到底要付什么代价 | 1、6、7 | 模型越强,跨区等待与不确定区间越大 |
| 一台机器坏了为什么不丢数据 | 2、3、5 | 日志前缀匹配 + 读写多数派交集 + 提交规则 |
| 谁说了算:leader 怎么选出来 | 4、5、8 | 提案号/任期、随机超时、单步成员变更 |
| 一次跨行跨库写怎么原子完成 | 9、10、11 | 2PC 阻塞窗口、快照隔离、全局时间戳 |
| 多区域与运维怎么落地 | 12、13、14 | fencing token、RPO/延迟账本、混沌验证 |
逐节索引
| 节 | 标题 | 读完可以核对 |
|---|---|---|
| 1.1 | 一致性模型谱系与代价 | 线性一致与最终一致的延迟差价 |
| 1.2 | 客户端会话保证 | 读己之写、单调读、因果的判定条件 |
| 1.3 | CAP 与 PACELC 的账本 | 分区时的可用比例与延迟代价 |
| 2.1 | leader/follower 与日志匹配 | 选举限制与日志前缀的对应 |
| 2.2 | commit index 与状态机应用 | 提交点、多数派与应用滞后 |
| 2.3 | 同步、异步与 RPO 账本 | 最多丢多少条、等几个副本 |
| 3.1 | 读写 quorum 的交集 | R+W−N 的推算与偶然交集 |
| 3.2 | 灵活 quorum 与故障切换 | 读多写少时的可调组合 |
| 3.3 | quorum 的延迟与容错 | 慢副本如何决定尾延迟 |
| 4.1 | Basic Paxos 的两阶段 | 两轮 RTT 与提案号单调 |
| 4.2 | Multi-Paxos:leader 续租与批量 | 批量摊薄与空洞填补 |
| 4.3 | 活锁、随机化与工程上的 Paxos | 冲突退避与重试放大 |
| 5.1 | Raft 选举:任期与随机超时 | 分裂投票的期望轮数 |
| 5.2 | Raft 日志复制与提交安全性 | 多数派提交与当前任期规则 |
| 5.3 | 快照、日志压缩与追赶 | 压缩比与落后节点的追平时间 |
| 6.1 | 物理时钟偏差与 NTP | 每日漂移、同步误差与单调时钟 |
| 6.2 | Lamport 时钟与向量时钟 | 因果链与并发判定 |
| 6.3 | HLC 与 TrueTime | 不确定区间与 commit-wait |
| 7.1 | ReadIndex 与 lease read | 两种一致读的成本与前提 |
| 7.2 | follower 读与快照读 | readIndex 与 appliedIndex 的关系 |
| 7.3 | 线性一致读的延迟账本 | 批量摊薄与失联 step-down |
| 8.1 | 单步变更与联合共识 | 两阶段多数派的交集下界 |
| 8.2 | 学习者与非投票成员 | 迁移、压缩与追平时间 |
| 8.3 | 分区恢复与脑裂防护 | 多数派闸门与写冲突计数 |
| 9.1 | 2PC 的 prepare/commit 与日志 | 消息数、日志记录与提交点 |
| 9.2 | 阻塞窗口与启发式决策 | 协调者故障时的锁持有 |
| 9.3 | XA、Saga 与 TCC 的取舍 | 补偿动作与资源放大 |
| 10.1 | 版本链、快照与可见性 | 快照判定与版本数 |
| 10.2 | 快照隔离、写偏斜与 SSI | 反依赖检出与中止数 |
| 10.3 | 长事务、GC 与版本膨胀 | 版本堆积与回收窗口 |
| 11.1 | Percolator:时间戳与提交点 | 2PC 消息与协调者吞吐 |
| 11.2 | Spanner:TrueTime 与 Paxos 组 | commit-wait 与组内批量 |
| 11.3 | 全局 TSO 的批量与瓶颈 | 时间戳吞吐上限 |
| 12.1 | 租约锁与 fencing token | token 单调与安全余量 |
| 12.2 | Redis/ZooKeeper/etcd 的锁 | 获取成本与单点上限 |
| 12.3 | 锁过期、GC 停顿与幂等 | 停顿与 TTL 的比较 |
| 13.1 | 跨区域同步与异步的 RPO | 丢数据边界与写延迟 |
| 13.2 | 跨区域多数派写的延迟 | 写等待与本地读 |
| 13.3 | 多活冲突:LWW 与 CRDT | 并发判定与收敛时间 |
| 14.1 | 成员变更、升级与回滚窗口 | 快照阈值与选举窗口 |
| 14.2 | 提交延迟、应用滞后与可观测性 | 滞后条数与吞吐上限 |
| 14.3 | 混沌实验:分区、时钟与磁盘 | 多数派闸门与租约安全 |
| 15.1 | 一致性设计空间总结 | 六个决策轴与代价 |
| 15.2 | 七卷主线回顾 | 七种一致性边界的对照 |
| 15.3 | 从共识到元数据服务 | 选主、多数派与吞吐上限 |
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。