集群升级与滚动重启实践
系统讲解 Kafka 集群升级与滚动重启实践：ZooKeeper 到 KRaft 的迁移路径、升级前兼容性检查清单、滚动重启的正确顺序与 ISR 观察、inter.broker.protocol 与 log.message.format 版本控制、客户端协议升级、监控指标与回滚预案
category
Kafka
共 48 篇文章。
Kafka 应用测试策略：Testcontainers 与集成测试
系统讲解 Kafka 应用测试策略：测试金字塔中 Kafka 的位置、MockProducer/MockConsumer 单元测试、Embedded Kafka 与 Testcontainers 集成测试对比、Spring Boot @EmbeddedKafka 实战、端到端与契约测试、CI 中的容器编排与性能优化
压缩算法选型：lz4、zstd、snappy 与 gzip
系统讲解 Kafka 压缩算法选型：压缩发生在生产端还是 broker、lz4/snappy/gzip/zstd 四种算法的压缩比与吞吐实测、批量大小对压缩率的影响、broker 端重压缩配置、消息格式版本兼容性，以及按场景选择算法的决策方法
Kafka 与 Flink 流批一体集成
系统讲解 Kafka 与 Flink 的流批一体集成：Kafka Source 并行度与分区映射、checkpoint 与 offset 提交、两阶段提交 Sink 实现端到端精确一次、水位线与乱序处理、流批一体模式、反压与调优参数，以及生产环境常见坑
延迟队列与优先级消费实现
系统讲解 Kafka 延迟队列与优先级消费的实现：为什么 Kafka 没有原生延迟队列、定时轮询与延迟 topic 时间戳过滤、多级延迟 topic 时间轮、外部调度器方案、优先级 topic 拆分与权重消费，以及延迟精度、堆积与成本之间的权衡取舍与监控指标
消息顺序性保证与乱序治理
系统讲解 Kafka 消息顺序性保证与乱序治理：分区内有序的真实边界、分区键设计与热点分区均衡、生产端 max.in.flight 与重试导致的乱序、消费端多线程并发与顺序冲突、跨分区与全局有序的折中方案、乱序检测与序号补偿重排，以及顺序与吞吐之间的量化权衡取舍
Kafka 大消息处理
系统解决 Kafka 大消息难题：生产端与 broker 上限参数的成组放大、内存与副本同步的连锁代价、压缩与批量的覆盖边界、claim check 外存引用模式、分片与消费端重组、背压控制、对象生命周期与死信处理、方案选型对比、参数一致性排查与排错
Kafka Streams 拓扑测试
系统讲解 Kafka Streams 测试：TopologyTestDriver 初始化与输入输出通道、事件时间推进与窗口断言、状态存储校验、序列化与 Schema 测试、Testcontainers 容器化端到端集成测试、CI 中的测试策略与常见陷阱
Kafka Java 客户端参数精调
面向生产精调 Kafka Java 客户端：RecordAccumulator 缓冲与 linger 权衡、四种压缩算法选型、超时与重试参数的语义约束、消费者 fetch 与背压控制、max.poll.interval 陷阱、客户端 JMX 指标采集
Kafka 日志段与索引内部机制
拆解 Kafka 分区日志的物理实现：段文件命名与滚动、记录批次的二进制布局、偏移索引与时间索引的稀疏结构、二分查找定位、零拷贝 sendfile 与页缓存、磁盘布局与 IO 模式、日志清理压缩的段级粒度、JBOD 与 RAID 的取舍、索引损坏修复与排错要点
Kafka Streams 状态存储与 RocksDB 调优
深入 Kafka Streams 状态存储：KV 与窗口状态语义、changelog 变更日志与故障恢复、RocksDB 内存与压缩调优、standby 副本加速、再平衡下的状态迁移与本地目录管理、可查询状态、常见故障排查、恢复时间估算与调优清单
Kafka Connect 与 Debezium CDC 实战
以 Debezium 与 Kafka Connect 为核心讲透 CDC 生产落地：逻辑解码与初始快照衔接、Schema Registry 兼容性策略、重复与顺序保证、复制槽膨胀与断点续传、增量快照补救、监控指标与典型故障处置、下游幂等与吞吐调优
Kubernetes 上的 Kafka：Strimzi Operator 生产实践
从有状态服务的视角讲透如何在 Kubernetes 上跑 Kafka：StatefulSet 的稳定网络标识与 Operator 模式的价值、Strimzi 的 Cluster Operator 与 Entity Operator 架构、核心 CRD 模型、Kafka CR 的 replicas 与 listeners 与 config 与 jvmOptions 与 storage 字段、StorageClass 与 PVC 持久化与 JBOD 与在线扩容、podAntiAffinity 与 topologySpreadConstraints 与机架感知的跨 AZ 高可用、滚动升级与扩容与分区再均衡与优雅停机、JMX Prometheus Exporter 与 PodMonitor 与 Cruise Control 监控运维，以及一整套真实踩坑清单
ksqlDB 流式 SQL：流表模型、窗口聚合与生产运维
系统讲解 ksqlDB 在 Kafka 之上做流式 SQL 处理的完整知识体系：ksqlDB 与 Kafka Streams 的关系与架构分层、STREAM 与 TABLE 的语义差异与 changelog 主键模型、CREATE STREAM 与 WITH 子句的数据映射、Schema Registry 与 Avro 集成、TUMBLING/HOPPING/SESSION 三种窗口与 GRACE PERIOD 宽限期、Push 查询与 Pull 查询的路由与一致性、物化表与持久查询、流表 join 与重分区，以及何时选 ksqlDB 何时回归 Kafka Streams 的取舍对比与生产运维踩坑
Kafka 消费延迟诊断：Lag 定位、分区倾斜与治理
从 Lag 的本质口径出发，系统讲解 Kafka 消费延迟的诊断与治理：log-end-offset 与 current-offset 的三者关系、时间口径 lag 与消息数 lag 的区别、kafka-consumer-groups.sh 与 JMX 指标采集、Prometheus 告警阈值设计、分层瓶颈定位决策树、生产端突增与网络往返瓶颈、消费端单条处理耗时与下游拖慢、GC 与序列化开销、分区倾斜与并行度扩容代价、pause/resume 背压与动态限流、降级丢弃策略与积压恢复演练，附完整参数调优清单与生产踩坑记录
Kafka 分层存储：KIP-405 冷热数据卸载与对象存储实践
深入解析 Kafka 分层存储与 KIP-405 的完整实现：从本地盘容量与成本的矛盾出发，拆解 Remote Log Manager 与 RLMM 的组件分工、local.retention.ms 等本地保留窗口与卸载触发条件、对象存储上的 segment 布局与元数据文件、冷热读写路径与回源延迟、存储成本与流量费的量化权衡，并给出启用顺序、回退风险与监控指标的生产实践。
Kafka Share Groups 与队列语义：KIP-932 共享消费模型
深入剖析 Kafka KIP-932 引入的 Share Groups 共享消费模型：从经典消费组的分区独占困境出发，讲解共享分区、记录级获取与确认、获取锁与锁超时、投递计数与重投上限、poison message 与死信队列模式、并发度突破分区数上限的并行消费、与消费组在位移模型和顺序性上的差异对比，以及适用场景、版本限制与生产迁移实践
Kafka Connect 自定义 Connector 开发实战
深入讲解 Kafka Connect 自定义 Connector 的开发路径：Worker、Connector、Task、Converter、Transform 五层扩展点、standalone 与 distributed 部署差异、SourceTask 与 SinkTask 的接口契约、poll 与 put 批处理语义、offset 存储模型、tasks.max 与分区级并行度取舍、offset 提交时机与 Exactly-Once 语义、Sink 端幂等与事务写入、SMT 与 Predicate 组合、插件打包与 REST API 运维，并给出生产参数表、监控指标与踩坑清单
Kafka 配额与限流治理：多租户隔离、客户端限额与背压
系统讲解 Kafka 配额（Quota）与限流机制：网络配额（produce/fetch）、请求配额（request）、动态配额配置、配额实施机制（metric/token bucket/throttle 响应）、客户端限流感知与重试、多租户隔离设计、配额监控与告警、以及配额与背压（TCP 窗口/队列）配合的工程治理实践
Kafka Producer 深入：批量、压缩与吞吐延迟权衡
系统讲解 Kafka Producer 内部机制：发送缓冲与批量（RecordBatch/buffer.memory/batch.size/linger.ms）、消息压缩（gzip/snappy/lz4/zstd 对比）、acks 语义与吞吐延迟权衡、分区器与 key 路由、幂等生产者与事务衔接、发送错误处理（重试/可重试与不可重试错误）、以及吞吐调优（批量大小/压缩级别/并发发送/监控指标）的工程实践