https://plumephp.com/categories/kafka/Recent content in Kafka on PlumePHPHugozh-CNThu, 08 Oct 2026 00:50:00 +0800https://plumephp.com/kafka-upgrade-rolling-restart/Thu, 08 Oct 2026 00:50:00 +0800https://plumephp.com/kafka-upgrade-rolling-restart/系统讲解 Kafka 集群升级与滚动重启实践：ZooKeeper 到 KRaft 的迁移路径、升级前兼容性检查清单、滚动重启的正确顺序与 ISR 观察、inter.broker.protocol 与 log.message.format 版本控制、客户端协议升级、监控指标与回滚预案https://plumephp.com/kafka-testing-testcontainers/Thu, 08 Oct 2026 00:49:00 +0800https://plumephp.com/kafka-testing-testcontainers/系统讲解 Kafka 应用测试策略：测试金字塔中 Kafka 的位置、MockProducer/MockConsumer 单元测试、Embedded Kafka 与 Testcontainers 集成测试对比、Spring Boot @EmbeddedKafka 实战、端到端与契约测试、CI 中的容器编排与性能优化https://plumephp.com/kafka-compression-algorithms/Thu, 08 Oct 2026 00:48:00 +0800https://plumephp.com/kafka-compression-algorithms/系统讲解 Kafka 压缩算法选型：压缩发生在生产端还是 broker、lz4/snappy/gzip/zstd 四种算法的压缩比与吞吐实测、批量大小对压缩率的影响、broker 端重压缩配置、消息格式版本兼容性，以及按场景选择算法的决策方法https://plumephp.com/kafka-flink-integration/Thu, 08 Oct 2026 00:47:00 +0800https://plumephp.com/kafka-flink-integration/系统讲解 Kafka 与 Flink 的流批一体集成：Kafka Source 并行度与分区映射、checkpoint 与 offset 提交、两阶段提交 Sink 实现端到端精确一次、水位线与乱序处理、流批一体模式、反压与调优参数，以及生产环境常见坑https://plumephp.com/kafka-delay-priority-queues/Thu, 08 Oct 2026 00:46:00 +0800https://plumephp.com/kafka-delay-priority-queues/系统讲解 Kafka 延迟队列与优先级消费的实现：为什么 Kafka 没有原生延迟队列、定时轮询与延迟 topic 时间戳过滤、多级延迟 topic 时间轮、外部调度器方案、优先级 topic 拆分与权重消费，以及延迟精度、堆积与成本之间的权衡取舍与监控指标https://plumephp.com/kafka-message-ordering-guarantees/Thu, 08 Oct 2026 00:45:00 +0800https://plumephp.com/kafka-message-ordering-guarantees/系统讲解 Kafka 消息顺序性保证与乱序治理：分区内有序的真实边界、分区键设计与热点分区均衡、生产端 max.in.flight 与重试导致的乱序、消费端多线程并发与顺序冲突、跨分区与全局有序的折中方案、乱序检测与序号补偿重排，以及顺序与吞吐之间的量化权衡取舍https://plumephp.com/kafka-large-message-handling/Wed, 07 Oct 2026 12:55:00 +0800https://plumephp.com/kafka-large-message-handling/系统解决 Kafka 大消息难题：生产端与 broker 上限参数的成组放大、内存与副本同步的连锁代价、压缩与批量的覆盖边界、claim check 外存引用模式、分片与消费端重组、背压控制、对象生命周期与死信处理、方案选型对比、参数一致性排查与排错https://plumephp.com/kafka-streams-testing/Wed, 07 Oct 2026 12:53:00 +0800https://plumephp.com/kafka-streams-testing/系统讲解 Kafka Streams 测试：TopologyTestDriver 初始化与输入输出通道、事件时间推进与窗口断言、状态存储校验、序列化与 Schema 测试、Testcontainers 容器化端到端集成测试、CI 中的测试策略与常见陷阱https://plumephp.com/kafka-client-tuning-java/Wed, 07 Oct 2026 12:51:00 +0800https://plumephp.com/kafka-client-tuning-java/面向生产精调 Kafka Java 客户端：RecordAccumulator 缓冲与 linger 权衡、四种压缩算法选型、超时与重试参数的语义约束、消费者 fetch 与背压控制、max.poll.interval 陷阱、客户端 JMX 指标采集https://plumephp.com/kafka-log-segment-internals/Wed, 07 Oct 2026 12:49:00 +0800https://plumephp.com/kafka-log-segment-internals/拆解 Kafka 分区日志的物理实现：段文件命名与滚动、记录批次的二进制布局、偏移索引与时间索引的稀疏结构、二分查找定位、零拷贝 sendfile 与页缓存、磁盘布局与 IO 模式、日志清理压缩的段级粒度、JBOD 与 RAID 的取舍、索引损坏修复与排错要点https://plumephp.com/kafka-streams-state-stores/Wed, 07 Oct 2026 12:47:00 +0800https://plumephp.com/kafka-streams-state-stores/深入 Kafka Streams 状态存储：KV 与窗口状态语义、changelog 变更日志与故障恢复、RocksDB 内存与压缩调优、standby 副本加速、再平衡下的状态迁移与本地目录管理、可查询状态、常见故障排查、恢复时间估算与调优清单https://plumephp.com/kafka-cdc-debezium-practice/Wed, 07 Oct 2026 12:45:00 +0800https://plumephp.com/kafka-cdc-debezium-practice/以 Debezium 与 Kafka Connect 为核心讲透 CDC 生产落地：逻辑解码与初始快照衔接、Schema Registry 兼容性策略、重复与顺序保证、复制槽膨胀与断点续传、增量快照补救、监控指标与典型故障处置、下游幂等与吞吐调优https://plumephp.com/kafka-connect-custom-connector/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-connect-custom-connector/深入讲解 Kafka Connect 自定义 Connector 的开发路径：Worker、Connector、Task、Converter、Transform 五层扩展点、standalone 与 distributed 部署差异、SourceTask 与 SinkTask 的接口契约、poll 与 put 批处理语义、offset 存储模型、tasks.max 与分区级并行度取舍、offset 提交时机与 Exactly-Once 语义、Sink 端幂等与事务写入、SMT 与 Predicate 组合、插件打包与 REST API 运维，并给出生产参数表、监控指标与踩坑清单https://plumephp.com/kafka-share-groups-queue-semantics/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-share-groups-queue-semantics/深入剖析 Kafka KIP-932 引入的 Share Groups 共享消费模型：从经典消费组的分区独占困境出发，讲解共享分区、记录级获取与确认、获取锁与锁超时、投递计数与重投上限、poison message 与死信队列模式、并发度突破分区数上限的并行消费、与消费组在位移模型和顺序性上的差异对比，以及适用场景、版本限制与生产迁移实践https://plumephp.com/kafka-tiered-storage/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-tiered-storage/深入解析 Kafka 分层存储与 KIP-405 的完整实现：从本地盘容量与成本的矛盾出发，拆解 Remote Log Manager 与 RLMM 的组件分工、local.retention.ms 等本地保留窗口与卸载触发条件、对象存储上的 segment 布局与元数据文件、冷热读写路径与回源延迟、存储成本与流量费的量化权衡，并给出启用顺序、回退风险与监控指标的生产实践。https://plumephp.com/kafka-consumer-lag-diagnosis/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-consumer-lag-diagnosis/从 Lag 的本质口径出发，系统讲解 Kafka 消费延迟的诊断与治理：log-end-offset 与 current-offset 的三者关系、时间口径 lag 与消息数 lag 的区别、kafka-consumer-groups.sh 与 JMX 指标采集、Prometheus 告警阈值设计、分层瓶颈定位决策树、生产端突增与网络往返瓶颈、消费端单条处理耗时与下游拖慢、GC 与序列化开销、分区倾斜与并行度扩容代价、pause/resume 背压与动态限流、降级丢弃策略与积压恢复演练，附完整参数调优清单与生产踩坑记录https://plumephp.com/kafka-ksqldb-streaming-sql/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-ksqldb-streaming-sql/系统讲解 ksqlDB 在 Kafka 之上做流式 SQL 处理的完整知识体系：ksqlDB 与 Kafka Streams 的关系与架构分层、STREAM 与 TABLE 的语义差异与 changelog 主键模型、CREATE STREAM 与 WITH 子句的数据映射、Schema Registry 与 Avro 集成、TUMBLING/HOPPING/SESSION 三种窗口与 GRACE PERIOD 宽限期、Push 查询与 Pull 查询的路由与一致性、物化表与持久查询、流表 join 与重分区，以及何时选 ksqlDB 何时回归 Kafka Streams 的取舍对比与生产运维踩坑https://plumephp.com/kafka-kubernetes-strimzi/Fri, 02 Oct 2026 09:00:00 +0800https://plumephp.com/kafka-kubernetes-strimzi/从有状态服务的视角讲透如何在 Kubernetes 上跑 Kafka：StatefulSet 的稳定网络标识与 Operator 模式的价值、Strimzi 的 Cluster Operator 与 Entity Operator 架构、核心 CRD 模型、Kafka CR 的 replicas 与 listeners 与 config 与 jvmOptions 与 storage 字段、StorageClass 与 PVC 持久化与 JBOD 与在线扩容、podAntiAffinity 与 topologySpreadConstraints 与机架感知的跨 AZ 高可用、滚动升级与扩容与分区再均衡与优雅停机、JMX Prometheus Exporter 与 PodMonitor 与 Cruise Control 监控运维，以及一整套真实踩坑清单https://plumephp.com/kafka-quotas-throttling/Tue, 29 Sep 2026 14:00:00 +0800https://plumephp.com/kafka-quotas-throttling/系统讲解 Kafka 配额（Quota）与限流机制：网络配额（produce/fetch）、请求配额（request）、动态配额配置、配额实施机制（metric/token bucket/throttle 响应）、客户端限流感知与重试、多租户隔离设计、配额监控与告警、以及配额与背压（TCP 窗口/队列）配合的工程治理实践https://plumephp.com/kafka-producer-batching-tuning/Tue, 29 Sep 2026 13:00:00 +0800https://plumephp.com/kafka-producer-batching-tuning/系统讲解 Kafka Producer 内部机制：发送缓冲与批量（RecordBatch/buffer.memory/batch.size/linger.ms）、消息压缩（gzip/snappy/lz4/zstd 对比）、acks 语义与吞吐延迟权衡、分区器与 key 路由、幂等生产者与事务衔接、发送错误处理（重试/可重试与不可重试错误）、以及吞吐调优（批量大小/压缩级别/并发发送/监控指标）的工程实践https://plumephp.com/kafka-network-thread-model/Tue, 29 Sep 2026 12:00:00 +0800https://plumephp.com/kafka-network-thread-model/系统讲解 Kafka Broker 请求处理架构：SocketServer 与网络线程、请求队列与响应队列、IO 线程与 Kafka Apis 处理器、生产者/消费者/分区操作的请求类型、零拷贝发送（sendfile）原理、请求背压与限流、以及网络层调优（num.network.threads/num.io.threads/连接数）的工程实践https://plumephp.com/kafka-replication-controller-internals/Tue, 29 Sep 2026 11:00:00 +0800https://plumephp.com/kafka-replication-controller-internals/系统讲解 Kafka 副本同步与控制器机制：ISR（在同步副本）定义与收缩扩张、HW 与 LEO 的推进逻辑、Leader 选举（ISR 优先/恢复优先）、控制器职责与选举（KRaft 时代的控制器）、分区迁移与副本调整、以及副本不同步的排查与数据可靠性边界https://plumephp.com/kafka-storage-log-compaction/Tue, 29 Sep 2026 10:00:00 +0800https://plumephp.com/kafka-storage-log-compaction/系统讲解 Kafka 存储内核：日志段（LogSegment）与索引文件（.log/.index/.timeindex）、追加写入与刷盘策略、日志留存策略（时间/大小/segment 删除与合并）、Compact 主题与日志压缩（墓碑消息/清除点/压缩线程）、分层存储（Tiered Storage）、以及存储调优与磁盘故障排查的工程实践https://plumephp.com/kafka-consumer-group-rebalance/Tue, 29 Sep 2026 09:00:00 +0800https://plumephp.com/kafka-consumer-group-rebalance/系统讲解 Kafka 消费组与再平衡机制：消费组模型与心跳协议、Eager 与 CooperativeSticky 两代再平衡协议、JoinGroup/SyncGroup/Heartbeat 完整流程、四种分区分配策略（Range/RoundRobin/Sticky/CooperativeSticky）、再平衡频繁的根因排查（max.poll.interval/session.timeout/处理耗时）、静态成员与滚动重启、以及位移提交与再平衡配合的稳定性工程实践https://plumephp.com/kafka-delivery-semantics/Sun, 27 Sep 2026 15:00:00 +0800https://plumephp.com/kafka-delivery-semantics/系统讲解 Kafka 投递语义与可靠性模式：三种投递语义（at-most-once/at-least-once/exactly-once）、至少一次的重复来源、幂等消费（幂等表与唯一键去重）、重试与指数退避策略、死信队列（DLQ）设计与治理、端到端可靠性架构、常见坑与最佳实践https://plumephp.com/kafka-performance-tuning/Sun, 27 Sep 2026 14:00:00 +0800https://plumephp.com/kafka-performance-tuning/系统讲解 Kafka 性能调优与容量规划：性能模型（吞吐/延迟/持久化三角）、生产者调优（批量/压缩/重试/buffer）、消费者调优（fetch/并发/批量处理）、Broker 调优（磁盘/页缓存/分区数/segment）、压缩与序列化选型、容量规划估算、kafka-producer-perf-test 压测方法https://plumephp.com/kafka-mirror-maker/Sun, 27 Sep 2026 13:00:00 +0800https://plumephp.com/kafka-mirror-maker/系统讲解 Kafka 跨集群复制与容灾：为什么需要多集群复制、MirrorMaker 2 架构与工作原理、复制拓扑（active-standby/active-active/hub-spoke）、消息与偏移量同步机制、故障切换流程与演练、Replicator/集群联邦等方案对比、常见坑与最佳实践https://plumephp.com/kafka-kraft/Sun, 27 Sep 2026 12:00:00 +0800https://plumephp.com/kafka-kraft/系统讲解 Kafka KRaft 架构：ZooKeeper 时代的架构与瓶颈、KRaft 设计原理（控制器仲裁与元数据日志）、KRaft vs ZooKeeper 全面对比、迁移前评估、混合模式到完整 KRaft 的迁移步骤、KRaft 集群运维与故障处理、常见坑与最佳实践https://plumephp.com/kafka-schema-registry/Sun, 27 Sep 2026 11:00:00 +0800https://plumephp.com/kafka-schema-registry/系统讲解 Kafka Schema Registry 消息契约管理：为什么需要统一 Schema、Avro/Protobuf/JSON Schema 序列化选型、兼容性级别（BACKWARD/FORWARD/FULL）、Schema 演进实战、Serdes 客户端集成、多环境契约治理与 Schema Registry 高可用运维https://plumephp.com/kafka-transactions/Sun, 27 Sep 2026 10:00:00 +0800https://plumephp.com/kafka-transactions/系统讲解 Kafka 事务机制与 Exactly-Once 语义：幂等生产者原理、事务协调器与两阶段提交、read-process-write 端到端精确一次模式、事务消费与隔离级别、Outbox 模式集成、事务性能代价与适用场景https://plumephp.com/kafka-go-client/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-go-client/Go 开发 Kafka 应用：Sarama 与 Segmentio kafka-go 客户端、Consumer Group、事务生产者、Go 微服务集成https://plumephp.com/kafka-connect-integration/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-connect-integration/Kafka Connect Source/Sink Connector、Debezium CDC 监听数据库变更、Schema Registry 与 Avro/Protobuf/JSON Schemahttps://plumephp.com/kafka-streams-processing/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-streams-processing/Kafka Streams DSL/Processor API、窗口操作、Join、状态存储、KSQL 查询与实时流处理实战https://plumephp.com/kafka-vs-rabbitmq-vs-redis-streams/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-vs-rabbitmq-vs-redis-streams/Kafka、RabbitMQ、Redis Streams 三大消息队列的 12 维度深度对比、吞吐量/延迟基准与 8 场景选型决策树https://plumephp.com/kafka-security/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-security/Kafka 安全加固：SASL/SCRAM/GSSAPI 认证、SSL/TLS 加密传输、ACL 权限控制https://plumephp.com/kafka-producer-consumer/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-producer-consumer/Kafka 客户端编程核心：Producer 批量发送与幂等性、Consumer Group 分区分配、Rebalance 与位移提交https://plumephp.com/kafka-intro/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-intro/Kafka 核心架构：Broker/Topic/Partition/Replica/ISR、一致性保证、与 RabbitMQ 设计差异https://plumephp.com/kafka-monitoring-operations/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/kafka-monitoring-operations/Kafka 生产集群运维：JMX 核心指标、Consumer Lag 监控告警、分区重分配、Broker 扩缩容与数据恢复https://plumephp.com/event-driven-architecture/Mon, 17 Aug 2026 10:00:00 +0800https://plumephp.com/event-driven-architecture/事件驱动架构核心模式：事件溯源 Event Sourcing、命令查询职责分离 CQRS、Outbox 模式、Saga 编排与协调，以及与 Kafka 微服务集成的完整实践https://plumephp.com/kafka-spring-boot/Fri, 14 Aug 2026 18:08:00 +0800https://plumephp.com/kafka-spring-boot/Spring Kafka 配置、@KafkaListener、并发消费者、事务与错误处理https://plumephp.com/kafka-streams/Fri, 14 Aug 2026 18:07:00 +0800https://plumephp.com/kafka-streams/Kafka Streams: KStream、KTable、窗口聚合与 Exactly-Once 语义https://plumephp.com/kafka-connect/Fri, 14 Aug 2026 18:06:00 +0800https://plumephp.com/kafka-connect/Kafka Connect Source/Sink Connector、Debezium CDC、数据管道构建与 Kafka Connect 生产实践。https://plumephp.com/kafka-cluster-ha/Fri, 14 Aug 2026 18:05:00 +0800https://plumephp.com/kafka-cluster-ha/Kafka Broker 角色、Controller 选举机制、ISR 副本同步、Leader 故障转移与 KRaft 模式下的无 ZooKeeper 架构。https://plumephp.com/kafka-topic-design/Fri, 14 Aug 2026 18:04:00 +0800https://plumephp.com/kafka-topic-design/Kafka Topic 分区数设计、键分区顺序保证、Topic 命名规范与最佳实践，掌握高吞吐场景下的 Topic 规划方法论。https://plumephp.com/kafka-consumer/Fri, 14 Aug 2026 18:03:00 +0800https://plumephp.com/kafka-consumer/Kafka 消费者: Consumer Group 机制、Rebalance、自动/手动提交偏移量https://plumephp.com/kafka-producer/Fri, 14 Aug 2026 18:02:00 +0800https://plumephp.com/kafka-producer/Kafka 生产者: ACK 策略、重试机制、幂等性与事务消息保证https://plumephp.com/kafka-introduction/Fri, 14 Aug 2026 18:01:00 +0800https://plumephp.com/kafka-introduction/Kafka 基础: Topic、Partition、Broker、偏移量与日志存储结构https://plumephp.com/posts/kafka/Fri, 14 Aug 2026 18:00:00 +0800https://plumephp.com/posts/kafka/Apache Kafka 是全球最广泛采用的分布式流处理平台，被用于构建高吞吐事件驱动架构、实时数据管道与流式计算系统。本专题从核心概念出发，深入讲解 Topic/Partition/Consumer Group 设计原理、生产者 ACK 策略与幂等性实现、消费者偏移量管理与再平衡机制、KRaft 元数据架构替代 ZooKeeper、Kafka Connect 数据集成与 CDC 方案、Kafka Streams 流处理编程模型，以及集群容量规划、运维监控与安全最佳实践，帮助开发者掌握 Kafka 企业级生产部署全链路能力，并深入消费组再平衡协议（Eager/CooperativeSticky/分区分配策略）、存储内核（日志段/留存策略/日志压缩/分层存储）、副本与控制器机制（ISR/HW/Leader 选举/KRaft）、broker 网络线程模型（请求队列/零拷贝/背压）、Producer 批量与吞吐调优（压缩/acks/幂等）与配额限流治理（多租户隔离/动态配额），并延伸分层存储与冷数据卸载（KIP-405/Remote Log Manager/成本与延迟）、Kubernetes 上的 Strimzi Operator 部署（Kafka CR/拓扑反亲和/PVC 扩容/滚动升级）、Share Groups 队列语义（KIP-932/ack 与超时重投/并发度）、消费延迟（Lag）分层诊断与治理（分区倾斜/并行度/背压限流）、自定义 Connector 开发（Source 与 Sink 接口/offset 与 Exactly-Once/SMT）与 ksqlDB 流式 SQL（流与表/窗口聚合/Pull 与 Push 查询/物化视图），并补齐 Debezium CDC 实战（快照与增量/事务边界/Exactly-Once）、Kafka Streams 状态存储与 RocksDB 调优（变更日志/待机副本/状态重建）、日志段与索引内部机制（稀疏索引/页缓存/索引重建）、Java 客户端参数精调（fetch 与 max.poll/心跳与重试）、Streams 拓扑测试（TopologyTestDriver/时间语义）与大消息处理（分片与引用传递/外部存储）。