《大规模分布式计算深入解析》7.3 保存点(savepoint)与升级

按UID、序列化、键组和格式验收升级;非整除可合法,未映射旧状态默认拒绝。

7.3 保存点(savepoint)与升级

保存点和检查点都需要元数据来识别状态归属。两者差别主要是目的、生命周期/所有权、格式和支持的升级操作,不是“只有保存点带完整元数据”。checkpoint还可以按配置外部保留,保存点也分canonical与native。

先确定格式和兼容性

问题验收内容
有状态算子能否识别保持UID/映射,不依赖拓扑位置偶然相同
状态内容能否读取serializer snapshot与schema兼容
keyed state如何切分最大并行度与键语义兼容、目标并行度合法
格式支持什么变更canonical/native及aligned/unaligned能力表
源和sink是否可恢复源保留、外部事务/提交版本兼容

默认恢复要求旧状态可映射到新作业。删除有状态算子或改变UID时,未映射状态通常导致恢复失败;确实放弃时显式使用 --allowNonRestoredState(-n),并记录放弃范围。这个选项不是忽略任意serializer不兼容的万能开关。

非整除不是错误

128键组、并行度3,区间为0–42、43–85、86–127,即43/43/42组。不要求128能被3整除。并行度超过最大并行度则非法;修改最大并行度或key语义需要单独迁移设计,不用“只改一个数字”承诺兼容。

rescale会整组迁移键状态;operator list/union/broadcast state遵守各自重新分配规则。保持key-group数量并不证明新UDF仍能正确理解旧值,也不证明外部系统无重复。

机制图

flowchart TD
  S["固定完成保存点路径与源/sink恢复合同"] --> F["核对snapshot格式支持的变更"]
  F --> UID{"旧状态能按UID映射?"}
  UID -- 否 --> ALLOW{"明确放弃并显式允许未恢复状态?"}
  ALLOW -- 否 --> STOP["默认拒绝,保留旧资源便于回滚"]
  ALLOW -- 是 --> DROP["只跳过审核过的未映射状态"]
  UID -- 是 --> SER["校验serializer/key语义与maxParallelism"]
  DROP --> SER
  SER --> RANGE["重分配键组;非整除可形成相差一组的区间"]
  RANGE --> CHECK["校验恢复值、外部结果及新流量,再切换"]

升级与回滚

停止/排空与保存点的具体命令取决于是否需要drain、是否含事件时间定时器、sink结束提交和源行为。先确认保存点成功且可读取,再启动新版本并对账。回滚时不得让两版本无栅栏地同时写同一输出;保留旧状态文件不代表外部已提交结果自动撤销。

实验与证据边界

Java restore模型默认拒绝未映射UID,显式允许才跳过;BoundaryProbe遍历128键组原生区间。StateMappingProbe调用真实StateAssignmentOperation的映射入口验证默认拒绝/允许,但不执行整条保存点升级或全部schema迁移。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

savepoints · formats

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路