12.1 统一 API 与批执行模式
本节限定Flink1.20.3的DataStream运行模式,不能把SQL planner、旧DataSet和DataStream的默认配置混用。源通过boundedness合同声明输入是否有界,不是等它运行很久后才猜测。
模式矩阵
| 配置 | 全部源BOUNDED | 存在声明UNBOUNDED的源 |
|---|---|---|
| STREAMING(默认) | 可运行有界流 | 可运行无界流 |
| BATCH | 选择批执行 | 图生成检查拒绝 |
| AUTOMATIC | 选择批执行 | 选择流执行 |
“有界即自动跑批”仅适用于AUTOMATIC等相应配置,不是默认STREAMING的行为。显式UNBOUNDED+BATCH不会按书中旧说法正常RUNNING后无限缓存,而是在构图合法性检查时拒绝。源错误声明BOUNDED、实际永不结束属于违反源合同的另一种故障。
机制图
flowchart TD
CONF["读取 execution.runtime-mode:默认 STREAMING"] --> MODE{"配置模式"}
MODE -- STREAMING --> STREAM["有界/无界均可;流式恢复契约"]
MODE -- BATCH --> BOUND{"所有源声明 BOUNDED?"}
MODE -- AUTOMATIC --> AUTO{"所有源声明 BOUNDED?"}
BOUND -- 否 --> REJECT["图生成阶段拒绝非法组合"]
BOUND -- 是 --> BATCH["批调度与可复用中间结果;不依赖流checkpoint"]
AUTO -- 是 --> BATCH
AUTO -- 否 --> STREAM
BATCH --> BSINK["具体 Unified Sink 的批结束/提交能力另验"]
STREAM --> SSINK["源位置、内部状态、外部效果分别验收"]
BATCH的恢复不同
批模式可以分阶段调度、物化中间结果、按key排序处理状态,失败时利用仍存在的中间结果并重算缺失部分。1.20 BATCH不依赖流式checkpoint,依赖CheckpointListener的连接器路径不能想当然复用;具体Unified Sink要支持相应批结束/提交。
有界数据从头重算可以得到完整结果,因此“无checkpoint必至多一次”不成立。外部效果还需按sink判断:重复append、最终文件发布、幂等更新和事务committable各有不同边界。
相同最终结果的条件
有界输入在两模式下可有相同最终语义,但中间更新、处理顺序、定时器和资源不同。处理时间或非确定性UDF、外部lookup变化、自定义算子对顺序的假设会影响可复现性。流模式也可以维护全局去重但状态可能无界,不能说API完全无法表达;应说明有界内存/终止/最终输出条件。
批运行的事件时间策略、定时器以及状态后端与流模式不同。选型先核对源有界性及算子/连接器支持,再比较吞吐、可见延迟和恢复成本,不用一个通用三布尔函数代替。
实验与证据边界
BoundaryProbe读取默认配置;SemanticsProbe执行无checkpoint BATCH、在map首次attempt注入失败,最终sum=10,并验证UNBOUNDED+BATCH构图拒绝。该批探针不证明任意外部sink的提交原子性。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。