15.3 从引擎到平台:调度与数据湖的动机
卷三到第 14 章为止,讨论对象始终是「一个作业」:一个数据流图、一份状态、一套检查点。第 11 章虽然讲调度,解决的也是「这一个作业的槽位从哪来」。但真实平台同时跑着成百上千个作业,问题就换了一批:槽位归谁、状态归谁、写出的文件归谁、出了故障谁来判定一致性。
这一节不讲新机制,只讲「为什么卷四必须存在」——单作业视角在哪三处失效。
单作业视角的天花板
单作业视角默认了三件事,平台化后三件全不成立:
| 默认 | 平台现实 |
|---|---|
| 资源管够,槽位随便申请 | 集群容量固定,作业互相争抢 |
| 状态与快照存储独占 | 多租户共享对象存储,带宽也是配额 |
| 写出端只有一个消费者 | 数据湖上多个作业并发提交同一张表 |
这三个默认不是疏忽,而是抽象层级的必然:引擎只对「一个作业」负责,作业之间的事它看不见。平台要补的正是这层视野。
平台问题一:资源怎么分
资源分配的第一个约束来自数据流图本身。lab 的槽位算法很朴素(StreamGraph 用例 7-9):先取图的最大并行度,再按每个 TaskManager 的槽数向上取整加满。
槽位数 = ceil(最大并行度 / 每 TaskManager 槽数) × 每 TaskManager 槽数
最大并行度 8、每 TaskManager 4 槽 → 2 个 TaskManager,共 8 槽
最大并行度 4、每 TaskManager 3 槽 → 2 个 TaskManager,共 6 槽
「向上取整加满」意味着浪费是结构性的:并行度 4 的作业占 6 个槽,多出来的 2 个槽谁也拿不到。单作业时这只是小浪费;上千个作业时,这些碎片就是集群利用率的缺口——所以平台必须做槽位共享与作业分组的混排,而不是按作业整块分配。
第二个约束是弹性。改并行度时状态要重新分布,靠的是键组(用例 10-15):128 个键组固定不变,第 100 组在并行度 4 时落到子任务 3,并行度翻倍后落到子任务 6。键组是「状态可以被搬动」的前提,也是平台能做扩缩容的前提——没有它,每次调并行度都等于一次全量状态迁移。
多租户与配额
一个作业独占资源和一百个作业共享资源,约束的性质不同:
| 维度 | 单作业 | 多租户 |
|---|---|---|
| 内存 | 调大堆即可 | 堆是租户配额的一部分 |
| 网络 | 带宽充足 | 跨租户争抢,需要限速 |
| 快照存储 | 容量按需 | 写入带宽与请求数都要计费 |
| 故障影响 | 只影响自己 | 一个作业打满磁盘会拖垮同节点邻居 |
多租户的核心不是「隔离得干净」,而是「超卖得有依据」。CPU 可以超卖,因为流作业多数时间在等网络;内存不能超卖,因为堆溢出会连带杀掉同容器进程。这类判断在单作业视角里根本不会出现。
作业治理:版本、升级、灰度
第 7.3 节的 savepoint 解决「怎么升级一个作业」,平台要解决「怎么升级一千个作业」:
| 治理动作 | 单作业做法 | 平台做法 |
|---|---|---|
| 版本管理 | 记在笔记里 | 作业定义入库,可回溯 |
| 升级 | 手工触发 savepoint | 编排停旧起新,校验兼容性 |
| 灰度 | 手动改并行度 | 按流量比例分流到新版本 |
| 回滚 | 再迁一次 savepoint | 保留上一版状态与定义,一键回切 |
升级的本质是「状态兼容性 + 数据不重不漏」两件事,平台化只是把它们变成可重复的流程。一旦有了上千个作业,「谁能改哪个作业、改完谁验证」就变成权限与审计问题,这已经超出引擎的能力范围。
并发检查点:平台化后的压力
单作业时,检查点是「一个人偶尔做一次体检」;平台化后,几百个作业的检查点会同时砸向同一套存储。lab 把两种策略摆在一起(CheckpointSuite 用例 17 与 18):允许并发时最多 3 个检查点同时进行,暂停式则只有 1 个。
| 策略 | 好处 | 代价 |
|---|---|---|
| 允许并发 | 单作业失败重试窗口更小 | 快照压力成倍放大 |
| 暂停式 | 存储压力可控 | 一次失败要等上一轮结束 |
「并发数」是一个典型的「单作业最优、集群最差」参数:每个作业都开到 3,集群同时可能有上千个快照在传。平台必须有全局的并发与带宽配额,否则检查点会互相拖慢,最终所有作业一起超时。
数据湖:把一致性提交搬到存储侧
流作业的落地端通常是数据湖。单作业时,精确一次靠两阶段提交;多作业时,提交的原子性不能再由某一个引擎独扛——两个作业同时写同一张表,各自的提交协议互不知情。
表格式的做法是把「什么算一次提交」写进元数据日志:
| 参与者 | 单作业方案 | 表格式方案 |
|---|---|---|
| 提交裁决 | 引擎的协调者 | 表的元数据日志 |
| 冲突检测 | 不存在 | 乐观并发,冲突则重试 |
| 读者可见性 | 等提交完成 | 读某个快照,与写入隔离 |
| 清理 | 引擎自己删 | compaction 统一处理 |
这一步的意义是「一致性从计算侧搬到了存储侧」:作业只需把文件写好并尝试提交,能否提交、提交后谁可见,由表的日志裁决。第 14.2 节的数据湖写入正是这条线的机制基础。
表格式的三件事
把表格式压缩成三个能力,就明白它为什么成了流与批的共同底座:
| 能力 | 作用 | 代价 |
|---|---|---|
| 快照隔离 | 读者看到一致的时间点 | 元数据与旧文件要保留 |
| 原子提交 | 一次提交要么全可见要么全不可见 | 冲突时要重试整批文件 |
| compaction | 合并小文件、清理旧快照 | 额外一轮读写与调度 |
小文件问题是流写入湖的必然结果,算一笔账:
每天提交次数 = 86400 秒 / 检查点间隔
间隔 60 秒 → 1440 次/天
每个分区每天产生 1440 个文件
100 个分区 → 14.4 万个文件/天
「检查点间隔」在这里第二次出现:第 6 章它决定对齐缓冲与恢复窗口,到了湖上它决定小文件数量。同一个参数在两个层面收费,这是平台化后最常见的隐性成本。
分布式训练:一致性从快照变成梯度归约与训练步同步
卷四的另一条线是分布式训练。它面对的失效问题和流作业同构,但答案不同:
| 维度 | 流作业 | 分布式训练 |
|---|---|---|
| 一致性对象 | 算子状态 | 模型参数 |
| 一致性手段 | 屏障 + 状态快照 | 同步梯度 + 参数校验 |
| 回退单位 | 检查点切面 | 若干步的检查点 |
| 重放代价 | 重放边界内的数据 | 重算若干步梯度 |
同步训练里,一轮梯度必须所有工作节点到齐才能更新,这和「多输入算子必须等全部 barrier 到齐」是同一个结构;异步训练允许参数更新滞后,吞吐更高但一致性的保证更弱。区别在于流作业快照的是状态,训练快照的是参数,而参数的正确性要靠「大家算的是同一版参数」来保证。
代价的分布也类似:训练检查点越频繁,回退步数越少,但写检查点的开销越大;一千步一次检查点、第 1050 步失效,就要重算 50 步。参数规模越大,「一次快照」越贵,这与 TB 级状态拉长流作业恢复预算是同一条曲线。
三个判断问题
从引擎走向平台,所有问题可以先归到三句话:
| 问题 | 归属 | 卷四对应 |
|---|---|---|
| 资源怎么分 | 调度器 | 调度与抢占 |
| 结果写哪 | 存储与表格式 | 目录事务 |
| 一致性谁保证 | 提交协议 | 跨系统提交 |
三个问题里只有第三个是「新」的:资源分配与存储选择在单机时代就有,跨系统一致性才是平台化真正引入的难题——因为引擎内部的屏障管不到引擎之外的写入端。
卷四的三条展开线
卷四要讲的三件事,都能从本节的问题里推出来:
| 展开线 | 要回答的问题 |
|---|---|
| 调度 | 槽位怎么分、优先级怎么排、抢占如何不伤作业 |
| 数据湖目录事务 | 并发提交怎么裁决、快照与 compaction 怎么共存 |
| 分布式训练并行模型 | 数据/模型/流水线并行下,一致性与通信如何取舍 |
三条线共享同一个母题:当一致性跨越系统边界时,靠什么机制裁决。流作业靠屏障,数据湖靠元数据日志,训练靠参数版本与通信轮次——形式不同,问题的形状一样。
五条重放主线的收束
四卷本的容错地图到这一节可以合上了:
| 主线 | 存什么 | 重放什么 | 失效边界 |
|---|---|---|---|
| 任务级重放 | 正本数据 | 失败的任务 | 中间结果不可重算时失效 |
| 血缘重算 | 源 + 血缘 | 中间结果 | 状态巨大、源不可重放时失效 |
| 状态检查点 | 源 + 状态快照 | 状态与边界后数据 | 跨系统提交时失效 |
| 目录事务 | 源 + 元数据日志 | 快照切换 | 并发写冲突时靠重试 |
| 梯度归约与训练步同步 | 参数 + 通信 | 若干步梯度 | 异步时一致性变松 |
这五条不是互相替代,而是逐层接管:上一层失效的地方,正是下一层存在的理由。血缘重算解决不了三个月的历史状态,于是有了状态检查点;状态检查点管不了引擎之外的写入,于是有了目录事务;目录事务保证不了模型更新的语义,于是有了梯度归约与训练步同步。整本书讲的就是这条「失效边界推动新机制」的链。
再看一眼它们的共同点:每一种机制都在回答「上一次一致的样子是什么、从它开始重来要付多少」。分布式计算的容错史,就是不断为这个问题找更便宜的答案。
三个常见误解
误解一:平台化只是加一层调度器。 真相:调度只解决第一个问题,跨系统一致性与多租户配额是两个独立的新问题。
误解二:数据湖只是「便宜的对象存储」。 真相:它真正的价值是元数据日志带来的原子提交与快照隔离,没有表格式的湖只是一个文件堆。
误解三:检查点配置是单作业参数。 真相:几百个作业同时快照时,并发数与间隔会变成集群级参数,必须统一配额。
一句话总结本节
单作业视角默认了「资源管够、存储独占、写端单一」,平台化让这三个默认全部失效,于是有了三类新问题:资源怎么在成百上千个作业间分配、结果写到哪里并由谁保证原子提交、跨系统时一致性由谁裁决。槽位算法决定了碎片,键组决定了可搬动性,检查点间隔同时决定对齐成本与小文件数量,并发检查点则是「单作业最优、集群最差」的典型。数据湖表格式把一致性从计算侧搬到存储侧,分布式训练把一致性从状态快照换成梯度归约与训练步同步。卷四沿调度、目录事务、并行训练三条线展开,母题只有一个:一致性跨越系统边界时靠什么裁决。
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。