Kafka 配额与限流治理：多租户隔离、客户端限额与背压
系统讲解 Kafka 配额（Quota）与限流机制：网络配额（produce/fetch）、请求配额（request）、动态配额配置、配额实施机制（metric/token bucket/throttle 响应）、客户端限流感知与重试、多租户隔离设计、配额监控与告警、以及配额与背压（TCP 窗口/队列）配合的工程治理实践
posts
Kafka 消息队列专题
Apache Kafka 是全球最广泛采用的分布式流处理平台，被用于构建高吞吐事件驱动架构、实时数据管道与流式计算系统。本专题从核心概念出发，深入讲解 Topic/Partition/Consumer Group 设计原理、生产者 ACK 策略与幂等性实现、消费者偏移量管理与再平衡机制、KRaft 元数据架构替代 ZooKeeper、Kafka Connect 数据集成与 CDC 方案、Kafka Streams 流处理编程模型，以及集群容量规划、运维监控与安全最佳实践，帮助开发者掌握 Kafka 企业级生产部署全链路能力，并深入消费组再平衡协议（Eager/CooperativeSticky/分区分配策略）、存储内核（日志段/留存策略/日志压缩/分层存储）、副本与控制器机制（ISR/HW/Leader 选举/KRaft）、broker 网络线程模型（请求队列/零拷贝/背压）、Producer 批量与吞吐调优（压缩/acks/幂等）与配额限流治理（多租户隔离/动态配额）。
Kafka Producer 深入：批量、压缩与吞吐延迟权衡
系统讲解 Kafka Producer 内部机制：发送缓冲与批量（RecordBatch/buffer.memory/batch.size/linger.ms）、消息压缩（gzip/snappy/lz4/zstd 对比）、acks 语义与吞吐延迟权衡、分区器与 key 路由、幂等生产者与事务衔接、发送错误处理（重试/可重试与不可重试错误）、以及吞吐调优（批量大小/压缩级别/并发发送/监控指标）的工程实践
Kafka Broker 网络线程模型：请求处理、零拷贝与背压
系统讲解 Kafka Broker 请求处理架构：SocketServer 与网络线程、请求队列与响应队列、IO 线程与 Kafka Apis 处理器、生产者/消费者/分区操作的请求类型、零拷贝发送（sendfile）原理、请求背压与限流、以及网络层调优（num.network.threads/num.io.threads/连接数）的工程实践
Kafka 副本机制与控制器深入：ISR、Leader 选举与分区迁移
系统讲解 Kafka 副本同步与控制器机制：ISR（在同步副本）定义与收缩扩张、HW 与 LEO 的推进逻辑、Leader 选举（ISR 优先/恢复优先）、控制器职责与选举（KRaft 时代的控制器）、分区迁移与副本调整、以及副本不同步的排查与数据可靠性边界
Kafka 存储内核：日志段、留存策略与日志压缩
系统讲解 Kafka 存储内核：日志段（LogSegment）与索引文件（.log/.index/.timeindex）、追加写入与刷盘策略、日志留存策略（时间/大小/segment 删除与合并）、Compact 主题与日志压缩（墓碑消息/清除点/压缩线程）、分层存储（Tiered Storage）、以及存储调优与磁盘故障排查的工程实践
Kafka 消费组与再平衡深入：协议演进、分配策略与稳定性调优
系统讲解 Kafka 消费组与再平衡机制：消费组模型与心跳协议、Eager 与 CooperativeSticky 两代再平衡协议、JoinGroup/SyncGroup/Heartbeat 完整流程、四种分区分配策略（Range/RoundRobin/Sticky/CooperativeSticky）、再平衡频繁的根因排查（max.poll.interval/session.timeout/处理耗时）、静态成员与滚动重启、以及位移提交与再平衡配合的稳定性工程实践
Kafka 投递语义与可靠性模式：重试、幂等消费与死信队列
系统讲解 Kafka 投递语义与可靠性模式：三种投递语义（at-most-once/at-least-once/exactly-once）、至少一次的重复来源、幂等消费（幂等表与唯一键去重）、重试与指数退避策略、死信队列（DLQ）设计与治理、端到端可靠性架构、常见坑与最佳实践
Kafka 性能调优与容量规划：从生产者到 Broker 的全链路压测指南
系统讲解 Kafka 性能调优与容量规划：性能模型（吞吐/延迟/持久化三角）、生产者调优（批量/压缩/重试/buffer）、消费者调优（fetch/并发/批量处理）、Broker 调优（磁盘/页缓存/分区数/segment）、压缩与序列化选型、容量规划估算、kafka-producer-perf-test 压测方法
Kafka 跨集群复制与容灾：MirrorMaker 2 实战与故障切换
系统讲解 Kafka 跨集群复制与容灾：为什么需要多集群复制、MirrorMaker 2 架构与工作原理、复制拓扑（active-standby/active-active/hub-spoke）、消息与偏移量同步机制、故障切换流程与演练、Replicator/集群联邦等方案对比、常见坑与最佳实践
KRaft 架构深度：Kafka 无 ZooKeeper 化与平滑迁移实战
系统讲解 Kafka KRaft 架构：ZooKeeper 时代的架构与瓶颈、KRaft 设计原理（控制器仲裁与元数据日志）、KRaft vs ZooKeeper 全面对比、迁移前评估、混合模式到完整 KRaft 的迁移步骤、KRaft 集群运维与故障处理、常见坑与最佳实践
Kafka Schema Registry：消息契约管理与 Schema 演进实战
系统讲解 Kafka Schema Registry 消息契约管理：为什么需要统一 Schema、Avro/Protobuf/JSON Schema 序列化选型、兼容性级别（BACKWARD/FORWARD/FULL）、Schema 演进实战、Serdes 客户端集成、多环境契约治理与 Schema Registry 高可用运维
Kafka 事务与 Exactly-Once 语义：从幂等生产者到端到端精确一次
系统讲解 Kafka 事务机制与 Exactly-Once 语义：幂等生产者原理、事务协调器与两阶段提交、read-process-write 端到端精确一次模式、事务消费与隔离级别、Outbox 模式集成、事务性能代价与适用场景
事件驱动架构：Event Sourcing、CQRS 与 Saga 模式
事件驱动架构核心模式：事件溯源 Event Sourcing、命令查询职责分离 CQRS、Outbox 模式、Saga 编排与协调，以及与 Kafka 微服务集成的完整实践
Kafka 运维监控与故障恢复：JMX 指标、Lag 监控与分区重分配
Kafka 生产集群运维：JMX 核心指标、Consumer Lag 监控告警、分区重分配、Broker 扩缩容与数据恢复
Kafka 详解：分布式日志系统、ISR 与一致性保证
Kafka 核心架构：Broker/Topic/Partition/Replica/ISR、一致性保证、与 RabbitMQ 设计差异
Kafka 生产者与消费者实战：批量发送、ACK 策略与 Consumer Group
Kafka 客户端编程核心：Producer 批量发送与幂等性、Consumer Group 分区分配、Rebalance 与位移提交
Kafka 安全指南：SASL、SSL 与 ACL
Kafka 安全加固：SASL/SCRAM/GSSAPI 认证、SSL/TLS 加密传输、ACL 权限控制
Kafka vs RabbitMQ vs Redis Streams：消息队列选型完全指南
Kafka、RabbitMQ、Redis Streams 三大消息队列的 12 维度深度对比、吞吐量/延迟基准与 8 场景选型决策树
Kafka Streams 与 KSQL 流处理实战：窗口、Join 与状态存储
Kafka Streams DSL/Processor API、窗口操作、Join、状态存储、KSQL 查询与实时流处理实战
Kafka Connect 与 CDC 集成实战：Debezium、Schema Registry 与数据同步
Kafka Connect Source/Sink Connector、Debezium CDC 监听数据库变更、Schema Registry 与 Avro/Protobuf/JSON Schema