《大规模分布式计算深入解析》12.1 统一 API 与批执行模式

DataStream默认STREAMING;AUTOMATIC按有界性选模式,BATCH有独立恢复与提交合同。

12.1 统一 API 与批执行模式

本节限定Flink1.20.3的DataStream运行模式,不能把SQL planner、旧DataSet和DataStream的默认配置混用。源通过boundedness合同声明输入是否有界,不是等它运行很久后才猜测。

模式矩阵

配置全部源BOUNDED存在声明UNBOUNDED的源
STREAMING(默认)可运行有界流可运行无界流
BATCH选择批执行图生成检查拒绝
AUTOMATIC选择批执行选择流执行

“有界即自动跑批”仅适用于AUTOMATIC等相应配置,不是默认STREAMING的行为。显式UNBOUNDED+BATCH不会按书中旧说法正常RUNNING后无限缓存,而是在构图合法性检查时拒绝。源错误声明BOUNDED、实际永不结束属于违反源合同的另一种故障。

机制图

flowchart TD
    CONF["读取 execution.runtime-mode:默认 STREAMING"] --> MODE{"配置模式"}
    MODE -- STREAMING --> STREAM["有界/无界均可;流式恢复契约"]
    MODE -- BATCH --> BOUND{"所有源声明 BOUNDED?"}
    MODE -- AUTOMATIC --> AUTO{"所有源声明 BOUNDED?"}
    BOUND -- 否 --> REJECT["图生成阶段拒绝非法组合"]
    BOUND -- 是 --> BATCH["批调度与可复用中间结果;不依赖流checkpoint"]
    AUTO -- 是 --> BATCH
    AUTO -- 否 --> STREAM
    BATCH --> BSINK["具体 Unified Sink 的批结束/提交能力另验"]
    STREAM --> SSINK["源位置、内部状态、外部效果分别验收"]

BATCH的恢复不同

批模式可以分阶段调度、物化中间结果、按key排序处理状态,失败时利用仍存在的中间结果并重算缺失部分。1.20 BATCH不依赖流式checkpoint,依赖CheckpointListener的连接器路径不能想当然复用;具体Unified Sink要支持相应批结束/提交。

有界数据从头重算可以得到完整结果,因此“无checkpoint必至多一次”不成立。外部效果还需按sink判断:重复append、最终文件发布、幂等更新和事务committable各有不同边界。

相同最终结果的条件

有界输入在两模式下可有相同最终语义,但中间更新、处理顺序、定时器和资源不同。处理时间或非确定性UDF、外部lookup变化、自定义算子对顺序的假设会影响可复现性。流模式也可以维护全局去重但状态可能无界,不能说API完全无法表达;应说明有界内存/终止/最终输出条件。

批运行的事件时间策略、定时器以及状态后端与流模式不同。选型先核对源有界性及算子/连接器支持,再比较吞吐、可见延迟和恢复成本,不用一个通用三布尔函数代替。

实验与证据边界

BoundaryProbe读取默认配置;SemanticsProbe执行无checkpoint BATCH、在map首次attempt注入失败,最终sum=10,并验证UNBOUNDED+BATCH构图拒绝。该批探针不证明任意外部sink的提交原子性。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

modes

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路