7.1 算子重放与状态重载
恢复的一致性要求,不是把每个算子当前的值拼起来,而是恢复同一个被协调的切面。一个旧source位点配一个较新的sum会重复累计;较新source位点配旧sum会漏掉记录。
装载的对象
| 对象 | 所有者 | 恢复职责 |
|---|---|---|
| 源split与位点 | source/coordinator相关状态 | 重新分配并从可用位置读取 |
| keyed state | 按key-group分片的后端 | 按目标并行度分配与反序列化 |
| operator state | 算子恢复合同 | 列表拆分、union或broadcast等规则 |
| channel state | 非对齐等相应模式 | 恢复被快照保护的在途记录 |
| 外部事务恢复信息 | sink/committer | 提交或清理相应事务 |
下载完字节还需序列化兼容、可用的源数据保留和资源配额。源的历史数据若已过期,检查点元数据存在也不能保证恢复成功。
运行时范围不是一条固定口号
按failover策略和分区类型可确定重启区域;典型长流水线可能形成一个大区域。批阶段中可重用的阻塞结果可能减少重算。不要把“只恢复单算子旧状态会错”改写成“所有任务无条件全局停止”。具体新旧拓扑兼容性见7.3。
恢复成本的分母
可按下载字节/可用带宽、构建RocksDB或反序列化耗时、source重新建立连接、积压/净追平速率拆分。1GiB=1024MiB;若假设10ms/MiB,则纯线性处理为10.24秒,未包括调度、外部连接、并发、cache和追平,不应再乘一个无依据1.4作为通用常数。
本地恢复是优化:只有保存的本地文件仍可用且任务能利用时才减少远端读取。节点全损不可依赖它;增量checkpoint也不能仅凭本次上传字节推导恢复需读字节。
实验与证据边界
本机CheckpointProbe从完成checkpoint恢复源位点和键值;教学Snapshots验证完成句柄对应的文件集合。没有在该探针中验证跨节点local recovery、channel state和外部事务。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
checkpoints · backends · failover
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。