《大规模分布式计算深入解析》7.1 算子重放与状态重载

源位置、状态与通道恢复共同定义一致边界;恢复范围按拓扑和策略决定。

7.1 算子重放与状态重载

恢复的一致性要求,不是把每个算子当前的值拼起来,而是恢复同一个被协调的切面。一个旧source位点配一个较新的sum会重复累计;较新source位点配旧sum会漏掉记录。

装载的对象

对象所有者恢复职责
源split与位点source/coordinator相关状态重新分配并从可用位置读取
keyed state按key-group分片的后端按目标并行度分配与反序列化
operator state算子恢复合同列表拆分、union或broadcast等规则
channel state非对齐等相应模式恢复被快照保护的在途记录
外部事务恢复信息sink/committer提交或清理相应事务

下载完字节还需序列化兼容、可用的源数据保留和资源配额。源的历史数据若已过期,检查点元数据存在也不能保证恢复成功。

运行时范围不是一条固定口号

按failover策略和分区类型可确定重启区域;典型长流水线可能形成一个大区域。批阶段中可重用的阻塞结果可能减少重算。不要把“只恢复单算子旧状态会错”改写成“所有任务无条件全局停止”。具体新旧拓扑兼容性见7.3。

恢复成本的分母

可按下载字节/可用带宽、构建RocksDB或反序列化耗时、source重新建立连接、积压/净追平速率拆分。1GiB=1024MiB;若假设10ms/MiB,则纯线性处理为10.24秒,未包括调度、外部连接、并发、cache和追平,不应再乘一个无依据1.4作为通用常数。

本地恢复是优化:只有保存的本地文件仍可用且任务能利用时才减少远端读取。节点全损不可依赖它;增量checkpoint也不能仅凭本次上传字节推导恢复需读字节。

恢复流程图 · 共享文件恢复 。

实验与证据边界

本机CheckpointProbe从完成checkpoint恢复源位点和键值;教学Snapshots验证完成句柄对应的文件集合。没有在该探针中验证跨节点local recovery、channel state和外部事务。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

checkpoints · backends · failover

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路