《大规模分布式计算深入解析》1.1 主题、分区与顺序

按 topic、partition 和 offset 说明顺序合同。

按 topic、partition 和 offset 说明顺序合同。

实现机制

分区内记录有独立的 append 次序,多个分区没有共享 offset。业务事件时间可乱序,分区排序也不等同于消费者的并行处理结束次序。

三分区和 58 B 属本书算例。有效吞吐取决于批、压缩、客户端与 broker I/O。

主题、分区与顺序的执行路径

flowchart TD
    N0["业务记录"]
    N1["序列化 key"]
    N0 --> N1
    N2["选择 topic 与 partition"]
    N1 --> N2
    N3["leader 赋 offset 并追加"]
    N2 --> N3
    N4["同组消费者分配和读取"]
    N3 --> N4
    N2 -- "无显式 key" --> F0["依生产者版本及分区器选择"]

验证

同时向两个分区写入,比较各自 offset 和业务时间。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图