《大规模分布式计算深入解析》7.2 检查点失败处理

检查点完成与超时由事件顺序裁决;分别解释间隔、暂停、并发和失败容忍。

7.2 检查点失败处理

一次checkpoint失败不一定立即使作业失败,是否计入可容忍失败及是否触发failover,要看异常类型与运行时配置。不能把所有失败都简化为一个“失败次数到上限”的计数器,也不能把失败点保留数量当作失败容忍度。

超时是被调度的取消事件

协调器为pending checkpoint注册超时取消任务。若完成先被处理,后续取消不会把完成点改成失败;取消先完成时,迟到的确认不能使被取消尝试复活。恰好同毫秒不保证哪个先执行;“耗时==timeout稳定不超时”只是旧模型比较式,不是Flink服务契约。

机制图

stateDiagram-v2
  [*] --> Pending
  Pending --> Completed: 所需确认满足并完成元数据提交
  Pending --> Cancelled: 超时/取消先执行
  Pending --> Failed: 持久化或参与者错误
  Completed --> Completed: 忽略迟到取消
  Cancelled --> Cancelled: 迟到确认不复活
  Failed --> Failed: 该尝试不成为恢复点

四个时间量

配置触发间隔控制周期请求,checkpoint duration从触发到完成;最小暂停约束完成后到下一次的间歇;max-concurrent限制同时pending数量。排队、存储和背压还会延后实际触发。

在明确单个并发、快照3秒、最小暂停5秒且无额外排队的算例中,起始到下次起始至少约8秒;实际还受配置周期影响。这个算例不能外推为任意并发配置的统一公式。对齐超时切换非对齐和整个checkpoint超时是两种事件。

排障与保留

分别观察对齐、同步捕获、异步持久化、确认/元数据阶段。非对齐可能减少barrier等待,却增加通道快照和I/O。增量checkpoint复用文件,但compaction重写也会放大上传。

完成点保留用于可用恢复资源及运维回滚,不把一次失败点加入已完成集合。保留3个完成点不等于只能容忍2次失败;旧完成点可持续保留,真正限制还包括源数据保留、存储可用性和重启/容忍配置。

实验与证据边界

Attempt以明确调用顺序测试完成先/取消先。minInterval只保留为“串行duration+pause算例”,不是实际调度器。原生探针没有靠wall-clock碰巧相等来证明竞态安全。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

checkpoints · backends · failover

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路