《大规模分布式计算深入解析》1.3 Flink 定位与架构概览

本节给出运行时的角色分工:客户端构建并提交作业图,主节点负责调度、检查点协调与资源申请,工作节点以槽为单位执行子任务。文中讲作业图到执行图的展开关系、三种部署模式的取舍、主节点高可用保存的是元数据而非状态,并追踪一条数据从源到汇经过的组件。

前两节确立了「无界输入 + 事件时间」这两个前提。这一节回答第三个问题:这样一套语义,需要什么样的运行时来承载。答案是一个主从结构:一个主节点管协调,多个工作节点管执行,客户端只负责把作业交出去。

三个角色:客户端、主节点、工作节点

角色位置职责
客户端提交端构建作业图、提交、可选地拉取结果
主节点集群调度、检查点协调、资源申请
工作节点集群执行子任务、管理槽与内存、网络传输

客户端不参与计算:它把作业「编译」成图就退出(分离模式),或者留在原地等结果(附着模式)。这一点和批处理引擎差别很大——批的驱动常常就是客户端本身。

三种角色可以跑在同一台机器上:本地模式就是这么做的。架构讨论里区分它们,是因为生产部署中它们的故障域、扩容方式与监控指标完全不同。

主节点:调度、检查点协调、资源申请

主节点里跑着三个关键组件:

组件职责
分发器接收提交、为每个作业拉起一个作业主控
作业主控单个作业的调度与检查点协调
资源管理器申请与释放槽

检查点协调在作业主控里:它周期性地向所有源注入屏障,收集各子任务的确认,全部到齐才把这次检查点标记为完成。所以主节点不只是「派活的」,它还持有「这次快照是否成立」的判断权。

主节点不在数据面上:它看到的是「哪个子任务在哪个槽、检查点是否完成」,看不到具体记录。所以它可以跑在很小的机器上,但必须稳定——它一挂,整个作业的协调就停。

工作节点:槽、内存、网络

资源说明
槽资源分配单位,默认一个槽跑一条任务链
内存网络缓冲、托管内存、堆内对象
网络上游输出分区、下游输入通道

槽是静态切分的:工作节点启动时声明自己有几个槽,每个槽能跑一条任务链;槽内不共享处理器时间,但共享网络缓冲与内存池。槽的数量决定了这个节点最多能承载多少条并行的链,而且它在启动时就固定,想改只能重启节点——这正是资源规划必须提前做的原因。

客户端与作业图的提交

用户代码 → 逻辑图(StreamGraph)
        → 作业图(JobGraph,算子链已合并)
        → 提交给主节点
阶段产物谁做
逻辑图描述算子与连接关系用户 API 调用时构建
作业图已完成链合并与分区选择客户端侧优化
执行图按并行度展开的可调度单元主节点生成

算子链在作业图阶段就已经合并:所以「链」不是运行时碰巧形成的,而是提交前就定下来的部署决策。这也解释了为什么「调并行度会改变链结构」——并行度是链合并的判据之一。

作业图到执行图:三层概念

一条链、并行度为 4 的算子,在执行图里展开成 4 个执行顶点:

概念含义数量关系
作业顶点作业图里的一个节点(可能是一条链)由作业图决定
执行顶点按并行度展开后的一个子任务等于并行度
执行一次执行尝试(含失败重试)每个顶点至少一次

重试不改变图,只增加执行:一次失败会新建一个执行实例,挂在同一个执行顶点下。所以「图有多大」看执行顶点,「跑过几次」看执行实例,两者不能混。一个三步作业展开后可以这样数:

作业图 3 个顶点(源链、处理链、汇)
并行度 4、4、2 → 执行顶点 4 + 4 + 2 = 10

三件套定位:状态、事件时间、一致性检查点

能力含义缺了它会怎样
有状态流处理状态由引擎托管、按 key 分区应用自己维护状态,无法一致恢复
事件时间结果由数据自身的时间决定结果不可复现
一致性检查点全局一致的快照,绑定状态与源位置恢复后状态与读取位置对不上

事件时间、有状态计算与一致checkpoint是可组合的能力,并非互为存在前提:无状态事件时间处理、处理时间的有状态作业、无checkpoint的有界重算都可有意义。需要恢复一致的长期状态时,应协调源位置、内部状态及外部效果;具体语义按6.2与12.1核对。

定位可以说得更直白:它不追求「所有负载都最快」,而是把「无界、有状态、事件时间」这三件事做到能进生产。批处理能跑、查询也能跑,但那是长在这套语义上的能力,不是立身之本。

三种部署模式的取舍

模式集群生命周期适用
会话模式长驻,多作业共享交互式开发、小作业
单作业模式每作业一个集群生产隔离
应用模式每应用一个集群,入口在集群内跑生产、依赖较多

应用模式把「提交」也搬进了集群:客户端不再需要下载全部依赖,避免了「客户端版本与集群版本不一致」这一类问题。代价是升级依赖要重新打包镜像。

会话模式的问题在「共享」:一个作业把槽占满,其他作业只能排队;一个作业把内存打爆,同一节点上的作业一起受影响。所以它适合开发与验证,不适合承载核心链路。

主节点高可用:保存的是元数据

组件作用
多个主节点一主多备
选主服务决定谁是活跃节点
元数据存储保存作业图与检查点指针

高可用保存的是「作业的元数据」而不是「状态」:状态在检查点里,元数据在高可用存储里,两者都恢复,作业才能从断点续跑。只做其中一半,恢复出来的作业要么找不到图,要么找不到状态。元数据存储通常选分布式协调服务(体量小、强一致)或对象存储(放得下大作业图)。

一条数据的旅程

源子任务读入 → 网络分区 → 下游输入通道 → 链内传递
→ 状态更新 → 输出分区 → 汇子任务写出
环节谁负责
读入与读取位置源子任务
跨节点传输工作节点网络栈(缓冲与反压)
状态读写状态后端
检查点屏障与数据走同一条通道

屏障和数据走同一条通道,这是「对齐」能成立的根本原因:屏障到达意味着「这条通道上、屏障之前的数据都已经处理完」,不需要额外的旁路确认。

沿着这条链能定位大多数问题:延迟高先看网络通道与反压,结果错先看状态后端与检查点,数据重复先看汇是否幂等。

反压下屏障还能对齐吗

能对齐,但代价会显形:对齐要求「先到的通道等后到的」,等待期间其余通道的记录必须缓冲。

上游 1 万条/秒、对齐耗时 200ms
→ 缓冲 = 10000 × 0.2 = 2000 条(CheckpointSuite 用例 3)
模式快照内容适用
对齐只快照状态反压可控、状态中等
非对齐状态加在途数据反压严重、状态很大

非对齐的代价是快照更大:CheckpointSuite 用例 4 与 5 里,300MB 状态在对齐模式只写 300MB,非对齐模式要连同 100MB 在途数据一起写成 400MB。反压越严重,在途数据越多,这个差额越大。

资源申请与槽共享

默认一个槽只跑一条任务链(所有算子放在同一个共享组)。也可以把重负载算子拆到独立组:

配置效果槽位数
同组(默认)整条链占一个槽等于最大并行度向上取整
拆组不同组各占槽各组最大并行度之和

槽位数由「每组最大并行度」决定,不是并行度之和:4 个算子并行度 4、4、4、2,同一组时只需 4 个槽;StreamSuite 用例 9 按每节点 3 槽计算,向上取整到 2 个节点,共 6 个槽——多出来的 2 个是「整机分配」的余量。

三个常见误解

误解一:主节点也参与计算。 真相:主节点只做调度、协调与资源申请,数据不经过它;它挂了作业停摆,但不会「算错」。

误解二:槽越多吞吐越高。 真相:槽数决定能跑多少条链,吞吐还受网络缓冲、状态后端与反压限制。

误解三:高可用等于状态不丢。 真相:高可用只保存作业元数据与检查点指针,状态本身要靠检查点持久化到外部存储。

一句话总结本节

运行时是一个主从结构:客户端构建并提交作业图,主节点负责调度、检查点协调与资源申请,工作节点以槽为单位执行子任务,槽数决定并行承载能力。作业图在执行图里按并行度展开成执行顶点,重试只增加执行实例、不改变图。有状态流处理、事件时间和一致检查点各有职责,组合与恢复条件需分别定义。部署上会话模式省资源但不隔离,单作业与应用模式隔离好但多一份集群开销;主节点高可用保存的是元数据,不是状态。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路