1.3 Flink 定位与架构概览
前两节确立了「无界输入 + 事件时间」这两个前提。这一节回答第三个问题:这样一套语义,需要什么样的运行时来承载。答案是一个主从结构:一个主节点管协调,多个工作节点管执行,客户端只负责把作业交出去。
三个角色:客户端、主节点、工作节点
| 角色 | 位置 | 职责 |
|---|---|---|
| 客户端 | 提交端 | 构建作业图、提交、可选地拉取结果 |
| 主节点 | 集群 | 调度、检查点协调、资源申请 |
| 工作节点 | 集群 | 执行子任务、管理槽与内存、网络传输 |
客户端不参与计算:它把作业「编译」成图就退出(分离模式),或者留在原地等结果(附着模式)。这一点和批处理引擎差别很大——批的驱动常常就是客户端本身。
三种角色可以跑在同一台机器上:本地模式就是这么做的。架构讨论里区分它们,是因为生产部署中它们的故障域、扩容方式与监控指标完全不同。
主节点:调度、检查点协调、资源申请
主节点里跑着三个关键组件:
| 组件 | 职责 |
|---|---|
| 分发器 | 接收提交、为每个作业拉起一个作业主控 |
| 作业主控 | 单个作业的调度与检查点协调 |
| 资源管理器 | 申请与释放槽 |
检查点协调在作业主控里:它周期性地向所有源注入屏障,收集各子任务的确认,全部到齐才把这次检查点标记为完成。所以主节点不只是「派活的」,它还持有「这次快照是否成立」的判断权。
主节点不在数据面上:它看到的是「哪个子任务在哪个槽、检查点是否完成」,看不到具体记录。所以它可以跑在很小的机器上,但必须稳定——它一挂,整个作业的协调就停。
工作节点:槽、内存、网络
| 资源 | 说明 |
|---|---|
| 槽 | 资源分配单位,默认一个槽跑一条任务链 |
| 内存 | 网络缓冲、托管内存、堆内对象 |
| 网络 | 上游输出分区、下游输入通道 |
槽是静态切分的:工作节点启动时声明自己有几个槽,每个槽能跑一条任务链;槽内不共享处理器时间,但共享网络缓冲与内存池。槽的数量决定了这个节点最多能承载多少条并行的链,而且它在启动时就固定,想改只能重启节点——这正是资源规划必须提前做的原因。
客户端与作业图的提交
用户代码 → 逻辑图(StreamGraph)
→ 作业图(JobGraph,算子链已合并)
→ 提交给主节点
| 阶段 | 产物 | 谁做 |
|---|---|---|
| 逻辑图 | 描述算子与连接关系 | 用户 API 调用时构建 |
| 作业图 | 已完成链合并与分区选择 | 客户端侧优化 |
| 执行图 | 按并行度展开的可调度单元 | 主节点生成 |
算子链在作业图阶段就已经合并:所以「链」不是运行时碰巧形成的,而是提交前就定下来的部署决策。这也解释了为什么「调并行度会改变链结构」——并行度是链合并的判据之一。
作业图到执行图:三层概念
一条链、并行度为 4 的算子,在执行图里展开成 4 个执行顶点:
| 概念 | 含义 | 数量关系 |
|---|---|---|
| 作业顶点 | 作业图里的一个节点(可能是一条链) | 由作业图决定 |
| 执行顶点 | 按并行度展开后的一个子任务 | 等于并行度 |
| 执行 | 一次执行尝试(含失败重试) | 每个顶点至少一次 |
重试不改变图,只增加执行:一次失败会新建一个执行实例,挂在同一个执行顶点下。所以「图有多大」看执行顶点,「跑过几次」看执行实例,两者不能混。一个三步作业展开后可以这样数:
作业图 3 个顶点(源链、处理链、汇)
并行度 4、4、2 → 执行顶点 4 + 4 + 2 = 10
三件套定位:状态、事件时间、一致性检查点
| 能力 | 含义 | 缺了它会怎样 |
|---|---|---|
| 有状态流处理 | 状态由引擎托管、按 key 分区 | 应用自己维护状态,无法一致恢复 |
| 事件时间 | 结果由数据自身的时间决定 | 结果不可复现 |
| 一致性检查点 | 全局一致的快照,绑定状态与源位置 | 恢复后状态与读取位置对不上 |
事件时间、有状态计算与一致checkpoint是可组合的能力,并非互为存在前提:无状态事件时间处理、处理时间的有状态作业、无checkpoint的有界重算都可有意义。需要恢复一致的长期状态时,应协调源位置、内部状态及外部效果;具体语义按6.2与12.1核对。
定位可以说得更直白:它不追求「所有负载都最快」,而是把「无界、有状态、事件时间」这三件事做到能进生产。批处理能跑、查询也能跑,但那是长在这套语义上的能力,不是立身之本。
三种部署模式的取舍
| 模式 | 集群生命周期 | 适用 |
|---|---|---|
| 会话模式 | 长驻,多作业共享 | 交互式开发、小作业 |
| 单作业模式 | 每作业一个集群 | 生产隔离 |
| 应用模式 | 每应用一个集群,入口在集群内跑 | 生产、依赖较多 |
应用模式把「提交」也搬进了集群:客户端不再需要下载全部依赖,避免了「客户端版本与集群版本不一致」这一类问题。代价是升级依赖要重新打包镜像。
会话模式的问题在「共享」:一个作业把槽占满,其他作业只能排队;一个作业把内存打爆,同一节点上的作业一起受影响。所以它适合开发与验证,不适合承载核心链路。
主节点高可用:保存的是元数据
| 组件 | 作用 |
|---|---|
| 多个主节点 | 一主多备 |
| 选主服务 | 决定谁是活跃节点 |
| 元数据存储 | 保存作业图与检查点指针 |
高可用保存的是「作业的元数据」而不是「状态」:状态在检查点里,元数据在高可用存储里,两者都恢复,作业才能从断点续跑。只做其中一半,恢复出来的作业要么找不到图,要么找不到状态。元数据存储通常选分布式协调服务(体量小、强一致)或对象存储(放得下大作业图)。
一条数据的旅程
源子任务读入 → 网络分区 → 下游输入通道 → 链内传递
→ 状态更新 → 输出分区 → 汇子任务写出
| 环节 | 谁负责 |
|---|---|
| 读入与读取位置 | 源子任务 |
| 跨节点传输 | 工作节点网络栈(缓冲与反压) |
| 状态读写 | 状态后端 |
| 检查点屏障 | 与数据走同一条通道 |
屏障和数据走同一条通道,这是「对齐」能成立的根本原因:屏障到达意味着「这条通道上、屏障之前的数据都已经处理完」,不需要额外的旁路确认。
沿着这条链能定位大多数问题:延迟高先看网络通道与反压,结果错先看状态后端与检查点,数据重复先看汇是否幂等。
反压下屏障还能对齐吗
能对齐,但代价会显形:对齐要求「先到的通道等后到的」,等待期间其余通道的记录必须缓冲。
上游 1 万条/秒、对齐耗时 200ms
→ 缓冲 = 10000 × 0.2 = 2000 条(CheckpointSuite 用例 3)
| 模式 | 快照内容 | 适用 |
|---|---|---|
| 对齐 | 只快照状态 | 反压可控、状态中等 |
| 非对齐 | 状态加在途数据 | 反压严重、状态很大 |
非对齐的代价是快照更大:CheckpointSuite 用例 4 与 5 里,300MB 状态在对齐模式只写 300MB,非对齐模式要连同 100MB 在途数据一起写成 400MB。反压越严重,在途数据越多,这个差额越大。
资源申请与槽共享
默认一个槽只跑一条任务链(所有算子放在同一个共享组)。也可以把重负载算子拆到独立组:
| 配置 | 效果 | 槽位数 |
|---|---|---|
| 同组(默认) | 整条链占一个槽 | 等于最大并行度向上取整 |
| 拆组 | 不同组各占槽 | 各组最大并行度之和 |
槽位数由「每组最大并行度」决定,不是并行度之和:4 个算子并行度 4、4、4、2,同一组时只需 4 个槽;StreamSuite 用例 9 按每节点 3 槽计算,向上取整到 2 个节点,共 6 个槽——多出来的 2 个是「整机分配」的余量。
三个常见误解
误解一:主节点也参与计算。 真相:主节点只做调度、协调与资源申请,数据不经过它;它挂了作业停摆,但不会「算错」。
误解二:槽越多吞吐越高。 真相:槽数决定能跑多少条链,吞吐还受网络缓冲、状态后端与反压限制。
误解三:高可用等于状态不丢。 真相:高可用只保存作业元数据与检查点指针,状态本身要靠检查点持久化到外部存储。
一句话总结本节
运行时是一个主从结构:客户端构建并提交作业图,主节点负责调度、检查点协调与资源申请,工作节点以槽为单位执行子任务,槽数决定并行承载能力。作业图在执行图里按并行度展开成执行顶点,重试只增加执行实例、不改变图。有状态流处理、事件时间和一致检查点各有职责,组合与恢复条件需分别定义。部署上会话模式省资源但不隔离,单作业与应用模式隔离好但多一份集群开销;主节点高可用保存的是元数据,不是状态。
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。