Kafka 消息队列专题 on PlumePHP

Kafka 配额与限流治理：多租户隔离、客户端限额与背压

Tue, 29 Sep 2026 14:00:00 +0800

Kafka 集群一旦被「某个重度客户端吃光资源」，所有人都得跟着遭殃。**配额（Quota）**是 broker 内建的限流闸门：按客户端维度限制吞吐与请求率，让集群在共享下依然公平。本文讲清配额的原理、配置、实施机制与多租户实践。

Kafka Producer 深入：批量、压缩与吞吐延迟权衡

Tue, 29 Sep 2026 13:00:00 +0800

Producer 的吞吐瓶颈往往不在 broker，而在客户端自己——批量太小、压缩没开、acks 选错，都会让写入效率断崖。本文深入 Producer 的发送管线：批量怎么组、压缩怎么选、延迟与吞吐怎么权衡，以及错误与幂等怎么兜底。

Kafka Broker 网络线程模型：请求处理、零拷贝与背压

Tue, 29 Sep 2026 12:00:00 +0800

同一个 broker 同时服务上千连接与数万请求，Kafka 靠的不是「一个请求一个线程」，而是一套事件驱动的线程模型。理解这套模型，才能回答「为什么连接多就卡」「为什么读请求那么快」「队列参数怎么调」这三个经典问题。

Kafka 副本机制与控制器深入：ISR、Leader 选举与分区迁移

Tue, 29 Sep 2026 11:00:00 +0800

Kafka 的可靠性建立在「多副本」之上，但副本不是简单复制——ISR、HW、Leader 选举、控制器这些机制决定了数据一致性边界。本文深入副本与控制器：它们怎么协作、故障时怎么决策、以及数据到底会不会丢。

Kafka 存储内核：日志段、留存策略与日志压缩

Tue, 29 Sep 2026 10:00:00 +0800

Kafka 的「日志」不是打印的日志，而是追加式写的分片文件——它是 Kafka 高性能的物理基础，也是磁盘消耗与维护的源头。本文深入存储层：日志段怎么组织、留存怎么回收、Compact 主题怎么压缩，以及磁盘问题怎么排查。

Kafka 消费组与再平衡深入：协议演进、分配策略与稳定性调优

Tue, 29 Sep 2026 09:00:00 +0800

「又再平衡了」是 Kafka 消费者最大的痛点：一触发，整个消费组秒级停顿，吞吐断崖。本文不讲消费组怎么用，而是深入再平衡的协议与机制——为什么会发生、如何发生的、怎样让它少发生，以及发生了如何快速恢复。

Kafka 投递语义与可靠性模式：重试、幂等消费与死信队列

Sun, 27 Sep 2026 15:00:00 +0800

Kafka 的持久化与 ACK 机制解决了「消息不丢」，但重复是常态：生产端重试可能多写、消费端崩溃重启可能多读、事务回滚可能重放。可靠性工程的核心不是「消灭重复」，而是让重复无害化。本文系统讲解三种投递语义、重试与指数退避、幂等消费的去重手段，以及死信队列（DLQ） 这一最后防线的设计与治理。

Kafka 性能调优与容量规划：从生产者到 Broker 的全链路压测指南

Sun, 27 Sep 2026 14:00:00 +0800

Kafka 的默认配置目标是「安全稳妥」，离「跑满硬件」还有很大距离。同样是 3 节点集群，调优前后的吞吐可以相差一个数量级。但调优不是乱拧参数——它受吞吐、延迟、持久化三者的权衡支配，且瓶颈通常不在 CPU 而在磁盘与网络。本文从性能模型出发，逐层讲透生产者、消费者、Broker三端的调优参数，并给出容量估算公式与官方压测工具的实战用法。

Kafka 跨集群复制与容灾：MirrorMaker 2 实战与故障切换

Sun, 27 Sep 2026 13:00:00 +0800

单集群的 Kubernetes 集群高可用解决的是「节点故障」；地域级故障（机房宕机、可用区失联）只能靠多集群。Kafka 的 MirrorMaker 2（MM2） 是官方跨集群复制方案：把一个集群的 Topic 消息实时镜像到另一个集群，并同步消费偏移量，让你在故障时能快速切换消费位置。本文讲透 MM2 的工作原理、复制拓扑、偏移量同步，并给出容灾切换演练的完整流程。

KRaft 架构深度：Kafka 无 ZooKeeper 化与平滑迁移实战

Sun, 27 Sep 2026 12:00:00 +0800

从 2009 年诞生到 2021 年，Kafka 的元数据一直由 ZooKeeper 管理。但 ZooKeeper 本身就是一个要单独运维的分布式系统——它成了 Kafka 高可用链条上最脆、也最难扩的一环。KRaft（Kafka Raft） 自 Kafka 3.3 起成为生产可用选项，把元数据管理内嵌进 Kafka 自身，用 Raft 共识协议实现控制器自协调。本文讲透 KRaft 的设计原理、对比 ZooKeeper 的取舍，并给出从 ZooKeeper 平滑迁移到 KRaft 的完整实战路径。

Kafka Schema Registry：消息契约管理与 Schema 演进实战

Sun, 27 Sep 2026 11:00:00 +0800

Kafka 只把消息当「字节数组」存储——它不关心你的消息长什么样。于是灾难悄然发生：生产者升级了字段，老消费者反序列化直接崩溃；不同团队对同一事件的字段命名各执一词；一条消息的「约定」只能靠口口相传。Schema Registry 就是来解决「消息契约」问题的：它集中管理 Topic 的 Schema 版本、强制兼容性检查、让生产与消费两端「签同一份合同」。本文讲透序列化选型、兼容性级别、演进策略与多环境治理。

Kafka 事务与 Exactly-Once 语义：从幂等生产者到端到端精确一次

Sun, 27 Sep 2026 10:00:00 +0800

在分布式消息系统中，「至少一次（at-least-once）」是默认语义：生产者重试会导致重复消息，消费者崩溃重启会导致重复消费。大多数场景下靠幂等消费兜底即可。但订单支付、账户转账这类强一致业务，需要真正的 Exactly-Once（精确一次）。Kafka 从 0.11 起引入事务机制，让「多分区原子写入」「消费-处理-产出原子化」成为可能。本文从幂等生产者讲起，深入事务协调器与两阶段提交，再到 read-process-write 端到端模式与 Outbox 集成，帮你判断何时用、怎么用、代价是什么。

Go + Kafka 客户端实战：Sarama、Segmentio 与 Consumer Group