07. Kafka Streams 流处理
Kafka Streams: KStream、KTable、窗口聚合与 Exactly-Once 语义
category
Kafka
共 48 篇文章。
06. Kafka Connect 数据集成
Kafka Connect Source/Sink Connector、Debezium CDC、数据管道构建与 Kafka Connect 生产实践。
05. Kafka 集群与高可用架构
Kafka Broker 角色、Controller 选举机制、ISR 副本同步、Leader 故障转移与 KRaft 模式下的无 ZooKeeper 架构。
04. Topic 设计与分区策略
Kafka Topic 分区数设计、键分区顺序保证、Topic 命名规范与最佳实践，掌握高吞吐场景下的 Topic 规划方法论。
03. Kafka 消费者组与偏移量管理
Kafka 消费者: Consumer Group 机制、Rebalance、自动/手动提交偏移量
02. Kafka 生产者 API 与发送语义
Kafka 生产者: ACK 策略、重试机制、幂等性与事务消息保证
01. Kafka 核心概念与架构
Kafka 基础: Topic、Partition、Broker、偏移量与日志存储结构
Kafka 消息队列专题
Apache Kafka 是全球最广泛采用的分布式流处理平台，被用于构建高吞吐事件驱动架构、实时数据管道与流式计算系统。本专题从核心概念出发，深入讲解 Topic/Partition/Consumer Group 设计原理、生产者 ACK 策略与幂等性实现、消费者偏移量管理与再平衡机制、KRaft 元数据架构替代 ZooKeeper、Kafka Connect 数据集成与 CDC 方案、Kafka Streams 流处理编程模型，以及集群容量规划、运维监控与安全最佳实践，帮助开发者掌握 Kafka 企业级生产部署全链路能力，并深入消费组再平衡协议（Eager/CooperativeSticky/分区分配策略）、存储内核（日志段/留存策略/日志压缩/分层存储）、副本与控制器机制（ISR/HW/Leader 选举/KRaft）、broker 网络线程模型（请求队列/零拷贝/背压）、Producer 批量与吞吐调优（压缩/acks/幂等）与配额限流治理（多租户隔离/动态配额），并延伸分层存储与冷数据卸载（KIP-405/Remote Log Manager/成本与延迟）、Kubernetes 上的 Strimzi Operator 部署（Kafka CR/拓扑反亲和/PVC 扩容/滚动升级）、Share Groups 队列语义（KIP-932/ack 与超时重投/并发度）、消费延迟（Lag）分层诊断与治理（分区倾斜/并行度/背压限流）、自定义 Connector 开发（Source 与 Sink 接口/offset 与 Exactly-Once/SMT）与 ksqlDB 流式 SQL（流与表/窗口聚合/Pull 与 Push 查询/物化视图），并补齐 Debezium CDC 实战（快照与增量/事务边界/Exactly-Once）、Kafka Streams 状态存储与 RocksDB 调优（变更日志/待机副本/状态重建）、日志段与索引内部机制（稀疏索引/页缓存/索引重建）、Java 客户端参数精调（fetch 与 max.poll/心跳与重试）、Streams 拓扑测试（TopologyTestDriver/时间语义）与大消息处理（分片与引用传递/外部存储）。