《大规模分布式计算深入解析》14.2 Flink 与 Spark 的 Kafka 连接器

把计算的状态保证和外部 Sink 保证分别列出。

把计算的状态保证和外部 Sink 保证分别列出。

实现机制

Flink KafkaSink 的 EXACTLY_ONCE 依赖 checkpoint、事务和下游 read_committed 配置,还要匹配事务超时和重启周期。

Spark 3.5.7 Structured Streaming 内置 Kafka sink 是 at-least-once,重试可产生重复。若要结果有效一次,需外部去重或有协议支持的提交设计。

本章流程图见 14.1 Kafka、Pulsar、RocketMQ 的存储比较 。

验证

对照卷三 的检查点,从外部写成功后进程退出处重新演算。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图