本卷围绕一个问题组织 15 章:一条消息如何被可靠地写入、复制、读走,并变成事件流。前八卷把消息系统当作数据入口,本卷拆开消息系统本身——主题与分区有序、追加日志与段、ISR 与高水位、生产消费路径、重平衡协议、事务与端到端精确一次,再对照 Pulsar 的分段存储与 RocketMQ 的 CommitLog 两套内核,最后收口于事件流处理与实时数据基础设施。
全书目录与章节索引 · 卷一 · 卷二 · 卷三 · 卷四 · 卷五 · 卷六 · 卷七 · 卷八 · 卷九 · 卷十(本卷)
三条阅读路线
路线 A:消息内核(按依赖顺序)
从消息模型一路读到生产与消费,适合想理解「Kafka 为什么长这样」的读者。
- 第 1–2 章 主题与分区、追加日志与段、页缓存与索引。
- 第 3 章 副本与 ISR:有效 min ISR、高水位与 Leader Epoch。
- 第 4–5 章 生产路径与消费路径:ack、批量、幂等、拉取与 offset 提交。
- 第 13 章 可靠性工程,把前三块的故障面收口。
路线 B:一致性进阶(面向中间件开发者)
把消息系统的有序、副本与事务与前八卷的一致性语言对齐,再补协议与元数据。
- 第 6 章 重平衡协议:入组两阶段与增量重平衡。
- 第 7 章 事务与端到端 Exactly-once:协调器、2PC 与闭环。
- 第 8 章 协议与网络:record batch、版本协商与配额。
- 第 9 章 控制器与 KRaft:元数据日志上的 Raft。
- 第 14 章 与 Flink/Spark 的端到端语义衔接。
路线 C:引擎对照与选型(面向架构)
从三大平台对照切入,把内核章节当参考手册。
- 第 10 章 Pulsar 内核:ledger、写入集合、确认集合与存算分离。
- 第 11 章 RocketMQ 内核:CommitLog、同步双写与特殊消息。
- 第 14 章 三大平台对照与生态集成。
- 第 12 章 事件流处理:拓扑、流表二象与窗口。
- 第 15 章 九卷主线回顾,判断自建还是选型。
九卷主线对照
| 卷 | 核心问题 | 一致性边界 | 本卷关系 |
|---|---|---|---|
| 卷一 计算模型与分布式文件系统 | 计算如何被切分与重放 | 任务级重放 | 文件块与副本的入口侧对应 |
| 卷二 批处理引擎:Spark 内核 | 血缘如何驱动重算 | 血缘重算 | 批量数据的生产端与消费端 |
| 卷三 流计算与状态引擎:Flink 内核 | 状态如何被检查点化 | 状态检查点 | 两阶段提交与端到端一致性的消费侧 |
| 卷四 调度、数据湖与分布式训练 | 资源与目录如何被事务化 | 目录事务 / 梯度汇聚 | 数据湖的入口与落点 |
| 卷五 执行引擎与存储格式内核 | 单机性能由什么决定 | 字节与时间账本 | 追加日志与页缓存的引擎侧对应 |
| 卷六 分布式 SQL 执行与 MPP 内核 | 算子如何跨节点执行 | 交换字节与调度账本 | 流数据的 SQL 消费入口 |
| 卷七 分布式一致性、复制与事务内核 | 多副本如何共同持有一份数据 | 日志前缀与多数派交集 | 用于比较元数据共识、数据面复制和事务终局 |
| 卷八 分布式存储与 KV 引擎内核 | 数据到底怎么被持久化与检索 | 追加日志与层间合并 | 段、页缓存与索引的存储地基 |
| 卷九 分布式消息与事件流平台内核 | 一条消息如何被可靠写入、复制与读走 | 分区有序与 ISR 高水位 | 九卷收口于第 15 章 |
动手复现
下载实验包后按 README 运行。120 条 Java 8 断言覆盖算例。原生 Kafka 4.3.0 探针分别检查单副本有效 min ISR、三节点 ISR 变化与切主、单 broker 性能。事务恢复仍需按事务标记和位点单独演练。
十五章依赖图
flowchart TD
C1[1 消息模型与主题结构] --> C2[2 日志存储内核]
C1 --> C3[3 副本与 ISR]
C2 --> C3
C3 --> C4[4 生产路径]
C2 --> C5[5 消费路径]
C4 --> C5
C3 --> C6[6 重平衡协议]
C5 --> C6
C4 --> C7[7 事务与端到端 Exactly-once]
C5 --> C7
C6 --> C8[8 协议与网络]
C7 --> C8
C3 --> C9[9 控制器与元数据]
C8 --> C9
C2 --> C10[10 Pulsar 内核]
C3 --> C10
C2 --> C11[11 RocketMQ 内核]
C3 --> C11
C1 --> C12[12 事件流处理]
C5 --> C12
C7 --> C12
C3 --> C13[13 可靠性工程]
C4 --> C13
C5 --> C13
C7 --> C13
C10 --> C14[14 引擎对照与生态集成]
C11 --> C14
C12 --> C14
C9 --> C14
C14 --> C15[15 卷九收口]
五组问题追踪
| 问题 | 章节 | 关键结论 |
|---|---|---|
| 消息凭什么写得这么快 | 2、4 | 追加式写 + 页缓存 + 批量攒吞吐,10MB 约 1s |
| 读走一条消息要走几步 | 1、5、8 | 分区路由 + 拉取长轮询 + record batch,消费快于生产 |
| 多副本怎么保证不丢不重 | 3、7、13 | ISR 高水位 + Leader Epoch + 幂等与事务、min.insync 双保险 |
| 成员进进出出怎么不抖 | 6、9 | 两阶段入组、增量重平衡、静态成员与心跳 |
| 三大平台怎么选型 | 10、11、14 | Kafka 日志、Pulsar 存算分离、RocketMQ CommitLog 的取舍 |
逐节索引
| 节 | 标题 | 读完可以核对 |
|---|---|---|
| 1.1 | 1.1 主题、分区与顺序 | 按 topic、partition 和 offset 说明顺序合同。 |
| 1.2 | 1.2 路由键与分区器 | 用序列化后的键确定分区选择与扩容边界。 |
| 1.3 | 1.3 消费者组和并行度 | 说明消费者分配、组间独立和空闲成员。 |
| 2.1 | 2.1 追加日志、段与保留 | 跟踪 active 段从追加到滚动、保留和回收。 |
| 2.2 | 2.2 页缓存和顺序追加 | 区分追加、文件系统缓存、设备写入和生产确认。 |
| 2.3 | 2.3 Offset 与时间索引 | 从目标 offset 或时间戳定位稀疏索引和批。 |
| 3.1 | 3.1 副本因子、Leader 与 ISR | 数据分区依动态 ISR 与配置完成确认和选主。 |
| 3.2 | 3.2 ISR、高水位与读边界 | 分开 LEO、HW 和事务的 LSO。 |
| 3.3 | 3.3 Leader Epoch 与最低同步副本数 | 用版本源码和单节点探针核对有效门槛。 |
| 4.1 | 4.1 acks 与故障确认边界 | 区分无应答、leader 应答与同步副本应答。 |
| 4.2 | 4.2 批量、linger 与压缩 | 按版本和工作负载量化生产者参数。 |
| 4.3 | 4.3 幂等生产者 | 用 PID、epoch、序列与请求约束解释重传去重。 |
| 5.1 | 5.1 拉取、长轮询与批处理 | 说明 Fetch 调度、poll 与业务执行的层次。 |
| 5.2 | 5.2 提交位点与投递语义 | 用崩溃时点对照至多一次和至少一次。 |
| 5.3 | 5.3 Lag 口径和治理 | 先定义终点,再解释落后与恢复。 |
| 6.1 | 6.1 Classic JoinGroup 和 SyncGroup | 按 classic 协议讲分组和下发分配。 |
| 6.2 | 6.2 Eager、Cooperative 与增量协议 | 按撤销规模和协议路径比较消费暂停。 |
| 6.3 | 6.3 分配策略和静态成员 | 解释 Range、RoundRobin 及静态成员身份。 |
| 7.1 | 7.1 事务协调器与身份 | 跟踪事务状态主题、生产者 epoch 和恢复。 |
| 7.2 | 7.2 事务提交与 LSO | 把多分区 marker 和消费者可见范围连起来。 |
| 7.3 | 7.3 Kafka 内事务闭环 | 定义输入位点和输出记录的原子可见范围。 |
| 8.1 | 8.1 Kafka 请求与版本协商 | 从头字段到版本协商说明二进制协议。 |
| 8.2 | 8.2 RecordBatch 与压缩 | 解释校验、批编码和 fetch 大小。 |
| 8.3 | 8.3 配额与 Throttle | 说明客户端、用户及 broker 的配额与观测。 |
| 9.1 | 9.1 控制器和 Broker 的分工 | 按当前 KRaft 架构解释控制面与数据面。 |
| 9.2 | 9.2 Broker 注册与心跳 | 说明元数据缓存、成员租约和 fencing。 |
| 9.3 | 9.3 KRaft 元数据日志 | 解释控制器提交和数据分区复制的边界。 |
| 10.1 | 10.1 Topic 和 ManagedLedger | 从 broker、ledger 与 bookie 描述持久主题。 |
| 10.2 | 10.2 BookKeeper 写集合与恢复 | 分别使用 ensemble、write quorum、ack quorum。 |
| 10.3 | 10.3 Bundle 路由与存算分离 | 区分 broker ownership、游标服务与持久存储。 |
| 11.1 | 11.1 CommitLog 与 ConsumeQueue | 解释共享顺序追加与队列索引分离。 |
| 11.2 | 11.2 复制确认与刷盘 | 说明 RocketMQ 传统主从及现代部署模型的合同。 |
| 11.3 | 11.3 延时、事务与重试 | 区分旧延时档位、新定时消息及事务 half 消息。 |
| 12.1 | 12.1 Streams 拓扑、任务与重分区 | 从逻辑 DAG 落到 Task 和内部主题。 |
| 12.2 | 12.2 流表二象与状态恢复 | 对应变更日志、最新状态与可查询视图。 |
| 12.3 | 12.3 窗口、迟到和结果发布 | 按 stream time、grace 和 suppress 分析迟到数据。 |
| 13.1 | 13.1 副本失效和重新加入 ISR | 用非 leader 停机与后续切主验证数据面。 |
| 13.2 | 13.2 减少数据丢失风险 | 按成功确认、重复处理和故障域建立合同。 |
| 13.3 | 13.3 吞吐、延迟与 Lag 指标 | 为监控数据附上负载、拓扑与语义。 |
| 14.1 | 14.1 Kafka、Pulsar、RocketMQ 的存储比较 | 按分区、写集合、复制和读取路径逐项评估。 |
| 14.2 | 14.2 Flink 与 Spark 的 Kafka 连接器 | 把计算的状态保证和外部 Sink 保证分别列出。 |
| 14.3 | 14.3 事件网格与跨区域语义 | 明确转发、路由、复制和权限边界。 |
| 15.1 | 15.1 事件平台的设计空间 | 以合同、吞吐、延迟和恢复成本约束参数。 |
| 15.2 | 15.2 事件流如何衔接全书 | 跟踪一条事件从输入、重放到可查询结果。 |
| 15.3 | 15.3 从 Topic 到实时基础设施 | 列出命名、容量、升级、回放和外部交付的验收路径。 |
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。