9.3 幂等与写入语义
幂等是同一操作重复执行效果不再变化。先定义“同一”:是同eventId、同业务主键、同版本,还是同批号。错误地把部分成功的批标记为全部成功会丢未写记录;把旧版本重试按主键覆盖可能使新值倒退。
三种常见写法
| 写法 | 吸收的重复 | 仍需验收 |
|---|---|---|
| eventId唯一去重 | 同一事件重复投递 | 去重保留、payload变化、并发 |
| 按业务key覆盖 | 同key同值的重复更新 | 版本顺序、删除、中间历史 |
| 同事务ID恢复提交 | 相同事务commit重试 | 外部超时、fencing、读者隔离 |
去重键在TTL后消失可能允许旧事件再次写入;但TTL无限长也有容量和保留成本。按业务发生时间、事件最大重试期限和合规历史合同定义边界,不能凭“MapState只有一次比较”证明端到端正确性。
具体反例
T1写key=K/version1,T2随后写version2;T1延迟重试若不检查版本,会把值退回1,尽管每个单独的set操作都幂等。若sink支持compare-version再写入,可以拒绝旧版本;否则需要其他顺序/事务协议。
稳定eventId去重与整个batch完成标记不同。批含a/b,a成功后失败,重试应只去掉a并继续b;直接把批标记完成会漏b,这不是所有幂等方案的必然结局。
实验与证据边界
ProtocolModels.Transactions只实现固定事务负载的同ID幂等提交;并不模拟任意upsert版本比较。ListState是否去重的算术例不证明生产去重表实现,必须另有真实写路径和故障对账。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。