7.3 保存点(savepoint)与升级
保存点和检查点都需要元数据来识别状态归属。两者差别主要是目的、生命周期/所有权、格式和支持的升级操作,不是“只有保存点带完整元数据”。checkpoint还可以按配置外部保留,保存点也分canonical与native。
先确定格式和兼容性
| 问题 | 验收内容 |
|---|---|
| 有状态算子能否识别 | 保持UID/映射,不依赖拓扑位置偶然相同 |
| 状态内容能否读取 | serializer snapshot与schema兼容 |
| keyed state如何切分 | 最大并行度与键语义兼容、目标并行度合法 |
| 格式支持什么变更 | canonical/native及aligned/unaligned能力表 |
| 源和sink是否可恢复 | 源保留、外部事务/提交版本兼容 |
默认恢复要求旧状态可映射到新作业。删除有状态算子或改变UID时,未映射状态通常导致恢复失败;确实放弃时显式使用 --allowNonRestoredState(-n),并记录放弃范围。这个选项不是忽略任意serializer不兼容的万能开关。
非整除不是错误
128键组、并行度3,区间为0–42、43–85、86–127,即43/43/42组。不要求128能被3整除。并行度超过最大并行度则非法;修改最大并行度或key语义需要单独迁移设计,不用“只改一个数字”承诺兼容。
rescale会整组迁移键状态;operator list/union/broadcast state遵守各自重新分配规则。保持key-group数量并不证明新UDF仍能正确理解旧值,也不证明外部系统无重复。
机制图
flowchart TD
S["固定完成保存点路径与源/sink恢复合同"] --> F["核对snapshot格式支持的变更"]
F --> UID{"旧状态能按UID映射?"}
UID -- 否 --> ALLOW{"明确放弃并显式允许未恢复状态?"}
ALLOW -- 否 --> STOP["默认拒绝,保留旧资源便于回滚"]
ALLOW -- 是 --> DROP["只跳过审核过的未映射状态"]
UID -- 是 --> SER["校验serializer/key语义与maxParallelism"]
DROP --> SER
SER --> RANGE["重分配键组;非整除可形成相差一组的区间"]
RANGE --> CHECK["校验恢复值、外部结果及新流量,再切换"]
升级与回滚
停止/排空与保存点的具体命令取决于是否需要drain、是否含事件时间定时器、sink结束提交和源行为。先确认保存点成功且可读取,再启动新版本并对账。回滚时不得让两版本无栅栏地同时写同一输出;保留旧状态文件不代表外部已提交结果自动撤销。
实验与证据边界
Java restore模型默认拒绝未映射UID,显式允许才跳过;BoundaryProbe遍历128键组原生区间。StateMappingProbe调用真实StateAssignmentOperation的映射入口验证默认拒绝/允许,但不执行整条保存点升级或全部schema迁移。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。