《大规模分布式计算深入解析》14.1 Kafka、Pulsar、RocketMQ 的存储比较

按分区、写集合、复制和读取路径逐项评估。

按分区、写集合、复制和读取路径逐项评估。

实现机制

Kafka 数据分区按 ISR 复制,Pulsar 使用 ManagedLedger 和 BookKeeper,RocketMQ 使用 CommitLog 与队列位置索引。版本和部署模型决定实际交互。

以确认语义、积压读、磁盘热点、扩缩和排障复杂度比较;单一段大小不能代表系统。

Kafka、Pulsar、RocketMQ 的存储比较的执行路径

flowchart TD
    N0["事件进入队列或日志"]
    N1["按契约确认保存"]
    N0 --> N1
    N2["消费计算和 checkpoint"]
    N1 --> N2
    N3["目标系统提交或接受幂等写"]
    N2 --> N3
    N4["下游读到可见结果"]
    N3 --> N4
    N3 -- "写后进程退出" --> F0["按目标提交记录或请求 ID 判定是否重放"]

验证

以同一保留期和确认目标填写架构账本。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图