《大规模分布式计算深入解析·分布式消息与事件流平台内核》 · 目录与学习路径(45 篇)

卷九 15 章 45 节学习路径。从消息模型与分区有序出发,经追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次、协议与网络、控制器与 KRaft,到 Pulsar 与 RocketMQ 内核、事件流处理与实时数据基础设施,含 Java 8 模型和 Kafka 4.3.0 原生探针。

本卷围绕一个问题组织 15 章:一条消息如何被可靠地写入、复制、读走,并变成事件流。前八卷把消息系统当作数据入口,本卷拆开消息系统本身——主题与分区有序、追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次,再对照 Pulsar 的分段存储与 RocketMQ 的 CommitLog 两套内核,最后收口于事件流处理与实时数据基础设施。

全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八 · 卷九 · 卷十(本卷)

系列导读与实验 · 下载卷九实验包

三条阅读路线

路线 A:消息内核(按依赖顺序)

从消息模型一路读到生产与消费,适合想理解「Kafka 为什么长这样」的读者。

  1. 第 1–2 章 主题与分区、追加日志与段、页缓存与索引。
  2. 第 3 章 副本与 ISR:有效 min ISR、高水位与 Leader Epoch。
  3. 第 4–5 章 生产路径与消费路径:ack、批量、幂等、拉取与 offset 提交。
  4. 第 13 章 可靠性工程,把前三块的故障面收口。

路线 B:一致性进阶(面向中间件开发者)

把消息系统的有序、副本与事务与前八卷的一致性语言对齐,再补协议与元数据。

  1. 第 6 章 重平衡协议:入组两阶段与增量重平衡。
  2. 第 7 章 事务与端到端 Exactly-once:协调器、2PC 与闭环。
  3. 第 8 章 协议与网络:record batch、版本协商与配额。
  4. 第 9 章 控制器与 KRaft:元数据日志上的 Raft。
  5. 第 14 章 与 Flink/Spark 的端到端语义衔接。

路线 C:引擎对照与选型(面向架构)

从三大平台对照切入,把内核章节当参考手册。

  1. 第 10 章 Pulsar 内核:ledger、写入集合、确认集合与存算分离。
  2. 第 11 章 RocketMQ 内核:CommitLog、同步双写与特殊消息。
  3. 第 14 章 三大平台对照与生态集成。
  4. 第 12 章 事件流处理:拓扑、流表二象与窗口。
  5. 第 15 章 九卷主线回顾,判断自建还是选型。

九卷主线对照

卷核心问题一致性边界本卷关系
卷一 计算模型与分布式文件系统计算如何被切分与重放任务级重放文件块与副本的入口侧对应
卷二 批处理引擎:Spark 内核血缘如何驱动重算血缘重算批量数据的生产端与消费端
卷三 流计算与状态引擎:Flink 内核状态如何被检查点化状态检查点两阶段提交与端到端一致性的消费侧
卷四 调度、数据湖与分布式训练资源与目录如何被事务化目录事务 / 梯度汇聚数据湖的入口与落点
卷五 执行引擎与存储格式内核单机性能由什么决定字节与时间账本追加日志与页缓存的引擎侧对应
卷六 分布式 SQL 执行与 MPP 内核算子如何跨节点执行交换字节与调度账本流数据的 SQL 消费入口
卷七 分布式一致性、复制与事务内核多副本如何共同持有一份数据日志前缀与多数派交集用于比较元数据共识、数据面复制和事务终局
卷八 分布式存储与 KV 引擎内核数据到底怎么被持久化与检索追加日志与层间合并段、页缓存与索引的存储地基
卷九 分布式消息与事件流平台内核一条消息如何被可靠写入、复制与读走分区有序与 ISR 高水位九卷收口于第 15 章

动手复现

下载实验包后按 README 运行。120 条 Java 8 断言覆盖算例。原生 Kafka 4.3.0 探针分别检查单副本有效 min ISR、三节点 ISR 变化与切主、单 broker 性能。事务恢复仍需按事务标记和位点单独演练。

十五章依赖图

flowchart TD
  C1[1 消息模型与主题结构] --> C2[2 日志存储内核]
  C1 --> C3[3 副本与 ISR]
  C2 --> C3
  C3 --> C4[4 生产路径]
  C2 --> C5[5 消费路径]
  C4 --> C5
  C3 --> C6[6 重平衡协议]
  C5 --> C6
  C4 --> C7[7 事务与端到端 Exactly-once]
  C5 --> C7
  C6 --> C8[8 协议与网络]
  C7 --> C8
  C3 --> C9[9 控制器与元数据]
  C8 --> C9
  C2 --> C10[10 Pulsar 内核]
  C3 --> C10
  C2 --> C11[11 RocketMQ 内核]
  C3 --> C11
  C1 --> C12[12 事件流处理]
  C5 --> C12
  C7 --> C12
  C3 --> C13[13 可靠性工程]
  C4 --> C13
  C5 --> C13
  C7 --> C13
  C10 --> C14[14 引擎对照与生态集成]
  C11 --> C14
  C12 --> C14
  C9 --> C14
  C14 --> C15[15 卷九收口]

五组问题追踪

问题章节关键结论
消息凭什么写得这么快2、4追加式写 + 页缓存 + 批量攒吞吐,10MB 约 1s
读走一条消息要走几步1、5、8分区路由 + 拉取长轮询 + record batch,消费快于生产
多副本怎么保证不丢不重3、7、13ISR 高水位 + Leader Epoch + 幂等与事务、min.insync 双保险
成员进进出出怎么不抖6、9两阶段入组、增量重平衡、静态成员与心跳
三大平台怎么选型10、11、14Kafka 日志、Pulsar 存算分离、RocketMQ CommitLog 的取舍

逐节索引

节标题读完可以核对
1.11.1 主题、分区与顺序按 topic、partition 和 offset 说明顺序合同。
1.21.2 路由键与分区器用序列化后的键确定分区选择与扩容边界。
1.31.3 消费者组和并行度说明消费者分配、组间独立和空闲成员。
2.12.1 追加日志、段与保留跟踪 active 段从追加到滚动、保留和回收。
2.22.2 页缓存和顺序追加区分追加、文件系统缓存、设备写入和生产确认。
2.32.3 Offset 与时间索引从目标 offset 或时间戳定位稀疏索引和批。
3.13.1 副本因子、Leader 与 ISR数据分区依动态 ISR 与配置完成确认和选主。
3.23.2 ISR、高水位与读边界分开 LEO、HW 和事务的 LSO。
3.33.3 Leader Epoch 与最低同步副本数用版本源码和单节点探针核对有效门槛。
4.14.1 acks 与故障确认边界区分无应答、leader 应答与同步副本应答。
4.24.2 批量、linger 与压缩按版本和工作负载量化生产者参数。
4.34.3 幂等生产者用 PID、epoch、序列与请求约束解释重传去重。
5.15.1 拉取、长轮询与批处理说明 Fetch 调度、poll 与业务执行的层次。
5.25.2 提交位点与投递语义用崩溃时点对照至多一次和至少一次。
5.35.3 Lag 口径和治理先定义终点,再解释落后与恢复。
6.16.1 Classic JoinGroup 和 SyncGroup按 classic 协议讲分组和下发分配。
6.26.2 Eager、Cooperative 与增量协议按撤销规模和协议路径比较消费暂停。
6.36.3 分配策略和静态成员解释 Range、RoundRobin 及静态成员身份。
7.17.1 事务协调器与身份跟踪事务状态主题、生产者 epoch 和恢复。
7.27.2 事务提交与 LSO把多分区 marker 和消费者可见范围连起来。
7.37.3 Kafka 内事务闭环定义输入位点和输出记录的原子可见范围。
8.18.1 Kafka 请求与版本协商从头字段到版本协商说明二进制协议。
8.28.2 RecordBatch 与压缩解释校验、批编码和 fetch 大小。
8.38.3 配额与 Throttle说明客户端、用户及 broker 的配额与观测。
9.19.1 控制器和 Broker 的分工按当前 KRaft 架构解释控制面与数据面。
9.29.2 Broker 注册与心跳说明元数据缓存、成员租约和 fencing。
9.39.3 KRaft 元数据日志解释控制器提交和数据分区复制的边界。
10.110.1 Topic 和 ManagedLedger从 broker、ledger 与 bookie 描述持久主题。
10.210.2 BookKeeper 写集合与恢复分别使用 ensemble、write quorum、ack quorum。
10.310.3 Bundle 路由与存算分离区分 broker ownership、游标服务与持久存储。
11.111.1 CommitLog 与 ConsumeQueue解释共享顺序追加与队列索引分离。
11.211.2 复制确认与刷盘说明 RocketMQ 传统主从及现代部署模型的合同。
11.311.3 延时、事务与重试区分旧延时档位、新定时消息及事务 half 消息。
12.112.1 Streams 拓扑、任务与重分区从逻辑 DAG 落到 Task 和内部主题。
12.212.2 流表二象与状态恢复对应变更日志、最新状态与可查询视图。
12.312.3 窗口、迟到和结果发布按 stream time、grace 和 suppress 分析迟到数据。
13.113.1 副本失效和重新加入 ISR用非 leader 停机与后续切主验证数据面。
13.213.2 减少数据丢失风险按成功确认、重复处理和故障域建立合同。
13.313.3 吞吐、延迟与 Lag 指标为监控数据附上负载、拓扑与语义。
14.114.1 Kafka、Pulsar、RocketMQ 的存储比较按分区、写集合、复制和读取路径逐项评估。
14.214.2 Flink 与 Spark 的 Kafka 连接器把计算的状态保证和外部 Sink 保证分别列出。
14.314.3 事件网格与跨区域语义明确转发、路由、复制和权限边界。
15.115.1 事件平台的设计空间以合同、吞吐、延迟和恢复成本约束参数。
15.215.2 事件流如何衔接全书跟踪一条事件从输入、重放到可查询结果。
15.315.3 从 Topic 到实时基础设施列出命名、容量、升级、回放和外部交付的验收路径。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图