把计算的状态保证和外部 Sink 保证分别列出。
实现机制
Flink KafkaSink 的 EXACTLY_ONCE 依赖 checkpoint、事务和下游 read_committed 配置,还要匹配事务超时和重启周期。
Spark 3.5.7 Structured Streaming 内置 Kafka sink 是 at-least-once,重试可产生重复。若要结果有效一次,需外部去重或有协议支持的提交设计。
本章流程图见 14.1 Kafka、Pulsar、RocketMQ 的存储比较 。
验证
对照卷三 的检查点,从外部写成功后进程退出处重新演算。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。