《大规模分布式计算深入解析》9.3 幂等与写入语义

区分逐事件去重、主键覆盖、版本保护和事务;重复函数调用不等于重复外部效果。

9.3 幂等与写入语义

幂等是同一操作重复执行效果不再变化。先定义“同一”:是同eventId、同业务主键、同版本,还是同批号。错误地把部分成功的批标记为全部成功会丢未写记录;把旧版本重试按主键覆盖可能使新值倒退。

三种常见写法

写法吸收的重复仍需验收
eventId唯一去重同一事件重复投递去重保留、payload变化、并发
按业务key覆盖同key同值的重复更新版本顺序、删除、中间历史
同事务ID恢复提交相同事务commit重试外部超时、fencing、读者隔离

去重键在TTL后消失可能允许旧事件再次写入;但TTL无限长也有容量和保留成本。按业务发生时间、事件最大重试期限和合规历史合同定义边界,不能凭“MapState只有一次比较”证明端到端正确性。

具体反例

T1写key=K/version1,T2随后写version2;T1延迟重试若不检查版本,会把值退回1,尽管每个单独的set操作都幂等。若sink支持compare-version再写入,可以拒绝旧版本;否则需要其他顺序/事务协议。

稳定eventId去重与整个batch完成标记不同。批含a/b,a成功后失败,重试应只去掉a并继续b;直接把批标记完成会漏b,这不是所有幂等方案的必然结局。

交付语义合同 · 提交恢复图 。

实验与证据边界

ProtocolModels.Transactions只实现固定事务负载的同ID幂等提交;并不模拟任意upsert版本比较。ListState是否去重的算术例不证明生产去重表实现,必须另有真实写路径和故障对账。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

commit · state

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路