6.1 快照协议:barrier 对齐
以 Flink 1.20.3 与检查点 N 为例。协调器统一发起,参与的源记录可恢复位置并向下游传播 barrier。源的快照和各算子的状态共同组成全局一致切面。
对齐模式的两个输入
输入 A 首先收到 barrier N,算子暂停消费 A。在 B 收到 barrier 前继续消费 B 的前缀。待两条输入都到达 N,捕获本地状态、向下游传播 barrier 并恢复消费。捕获快照和异步持久化耗时可分别监控。较早通道的积压可出现在网络缓冲和上游,背压会限制继续发送。每秒 1 万条持续进入且等待 200 毫秒时,无节流近似为 2000 条积压,实际通常还受缓冲和流控约束。
非对齐模式与恢复
非对齐模式允许 barrier 优先通过,以记录通道中的在途数据维持一致的恢复边界。恢复时重建算子状态、源位置和相应通道状态。它可减少对齐延迟。快照 I/O、在途数据规模和恢复成本仍会受流量与背压影响。使用对齐超时切换时,应区分开始对齐、切换成非对齐和最终完成三个事件。
协调器收齐所需确认后才将 N 标记完成。超时或部分持久化失败时,不完整的 N 不成为新的全局恢复点。外部 Sink 的可见边界取决于连接器提交协议,见 9.2 与 13.1。
来源:Flink 1.20 检查点与背压 、容错说明 。
Flink 两输入检查点示意
示意单个多输入算子。对齐前先到通道暂停,后到通道继续消费。非对齐快照需记录跨越边界的在途数据。是否完成全局检查点仍由协调器依据确认决定。
flowchart TD
A[协调器触发检查点 N] --> B[算子收到第一个 barrier]
B --> C{此次采用对齐模式}
C -->|是| D[暂停已收到 barrier 的输入]
D --> E[继续消费其余输入直到各自收到 barrier]
E --> F[捕获算子状态并恢复消费]
C -->|否| G[允许 barrier 优先通过]
G --> H[快照包含算子状态与相应通道状态]
F --> I[异步持久化并向协调器确认]
H --> I
I --> J{检查点完成}
J -->|是| K[登记全局恢复点并通知参与者]
J -->|否| L[按失败策略处理并保留此前可用恢复点]
三个常见误解
- “需要停掉所有输入才能对齐”。先到通道暂停,等待未到通道处理到其标记。
- “一个算子写完就是全局完成”。协调器还需汇总其余参与任务的确认。
- “非对齐检查点总会更快”。它减少对齐等待,额外在途数据仍会增加 I/O。
一句话总结本节
对齐通过暂停先到输入得到一致切面,非对齐通过记录在途状态得到可恢复切面。检查点完成取决于所有要求的确认。
双输入到达顺序、超时与恢复点
设上一个完成检查点为 N−1。对齐超时只在相应配置下切换。检查点 N 的部分确认无法提供全局恢复点。
sequenceDiagram
participant A as 输入 A
participant B as 输入 B
participant O as 算子
participant C as 协调器
C->>A: 触发 N
C->>B: 触发 N
A->>O: A 的 barrier N 先到
O->>O: 暂停消费 A
B->>O: B 继续交付 barrier 前记录
alt B 的 barrier 在对齐窗口内到达
B->>O: barrier N
O->>O: 捕获状态并恢复消费
else 配置了对齐超时后切换
O->>O: 转入非对齐,记录相应通道状态
end
O-->>C: 异步持久化完成后确认
alt N 全局完成
C-->>O: N 成为可恢复点
else N 未完成时故障
C-->>O: 从 N−1 恢复
end
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。