《大规模分布式计算深入解析》15.3 从引擎到平台:调度与数据湖的动机

单个流作业讲完之后,平台化带来三个新问题:资源怎么在上千作业间分配、结果写到哪里并由谁保证原子提交、跨系统时一致性由谁承担。本节用槽位计算、并发检查点与数据湖提交周期串起这些动机,并给出卷四的调度、目录事务与分布式训练三条线。

15.3 从引擎到平台:调度与数据湖的动机

卷三到第 14 章为止,讨论对象始终是「一个作业」:一个数据流图、一份状态、一套检查点。第 11 章虽然讲调度,解决的也是「这一个作业的槽位从哪来」。但真实平台同时跑着成百上千个作业,问题就换了一批:槽位归谁、状态归谁、写出的文件归谁、出了故障谁来判定一致性。

这一节不讲新机制,只讲「为什么卷四必须存在」——单作业视角在哪三处失效。

单作业视角的天花板

单作业视角默认了三件事,平台化后三件全不成立:

默认平台现实
资源管够,槽位随便申请集群容量固定,作业互相争抢
状态与快照存储独占多租户共享对象存储,带宽也是配额
写出端只有一个消费者数据湖上多个作业并发提交同一张表

这三个默认不是疏忽,而是抽象层级的必然:引擎只对「一个作业」负责,作业之间的事它看不见。平台要补的正是这层视野。

平台问题一:资源怎么分

资源分配的第一个约束来自数据流图本身。lab 的槽位算法很朴素(StreamGraph 用例 7-9):先取图的最大并行度,再按每个 TaskManager 的槽数向上取整加满。

槽位数 = ceil(最大并行度 / 每 TaskManager 槽数) × 每 TaskManager 槽数
最大并行度 8、每 TaskManager 4 槽 → 2 个 TaskManager,共 8 槽
最大并行度 4、每 TaskManager 3 槽 → 2 个 TaskManager,共 6 槽

「向上取整加满」意味着浪费是结构性的:并行度 4 的作业占 6 个槽,多出来的 2 个槽谁也拿不到。单作业时这只是小浪费;上千个作业时,这些碎片就是集群利用率的缺口——所以平台必须做槽位共享与作业分组的混排,而不是按作业整块分配。

第二个约束是弹性。改并行度时状态要重新分布,靠的是键组(用例 10-15):128 个键组固定不变,第 100 组在并行度 4 时落到子任务 3,并行度翻倍后落到子任务 6。键组是「状态可以被搬动」的前提,也是平台能做扩缩容的前提——没有它,每次调并行度都等于一次全量状态迁移。

多租户与配额

一个作业独占资源和一百个作业共享资源,约束的性质不同:

维度单作业多租户
内存调大堆即可堆是租户配额的一部分
网络带宽充足跨租户争抢,需要限速
快照存储容量按需写入带宽与请求数都要计费
故障影响只影响自己一个作业打满磁盘会拖垮同节点邻居

多租户的核心不是「隔离得干净」,而是「超卖得有依据」。CPU 可以超卖,因为流作业多数时间在等网络;内存不能超卖,因为堆溢出会连带杀掉同容器进程。这类判断在单作业视角里根本不会出现。

作业治理:版本、升级、灰度

第 7.3 节的 savepoint 解决「怎么升级一个作业」,平台要解决「怎么升级一千个作业」:

治理动作单作业做法平台做法
版本管理记在笔记里作业定义入库,可回溯
升级手工触发 savepoint编排停旧起新,校验兼容性
灰度手动改并行度按流量比例分流到新版本
回滚再迁一次 savepoint保留上一版状态与定义,一键回切

升级的本质是「状态兼容性 + 数据不重不漏」两件事,平台化只是把它们变成可重复的流程。一旦有了上千个作业,「谁能改哪个作业、改完谁验证」就变成权限与审计问题,这已经超出引擎的能力范围。

并发检查点:平台化后的压力

单作业时,检查点是「一个人偶尔做一次体检」;平台化后,几百个作业的检查点会同时砸向同一套存储。lab 把两种策略摆在一起(CheckpointSuite 用例 17 与 18):允许并发时最多 3 个检查点同时进行,暂停式则只有 1 个。

策略好处代价
允许并发单作业失败重试窗口更小快照压力成倍放大
暂停式存储压力可控一次失败要等上一轮结束

「并发数」是一个典型的「单作业最优、集群最差」参数:每个作业都开到 3,集群同时可能有上千个快照在传。平台必须有全局的并发与带宽配额,否则检查点会互相拖慢,最终所有作业一起超时。

数据湖:把一致性提交搬到存储侧

流作业的落地端通常是数据湖。单作业时,精确一次靠两阶段提交;多作业时,提交的原子性不能再由某一个引擎独扛——两个作业同时写同一张表,各自的提交协议互不知情。

表格式的做法是把「什么算一次提交」写进元数据日志:

参与者单作业方案表格式方案
提交裁决引擎的协调者表的元数据日志
冲突检测不存在乐观并发,冲突则重试
读者可见性等提交完成读某个快照,与写入隔离
清理引擎自己删compaction 统一处理

这一步的意义是「一致性从计算侧搬到了存储侧」:作业只需把文件写好并尝试提交,能否提交、提交后谁可见,由表的日志裁决。第 14.2 节的数据湖写入正是这条线的机制基础。

表格式的三件事

把表格式压缩成三个能力,就明白它为什么成了流与批的共同底座:

能力作用代价
快照隔离读者看到一致的时间点元数据与旧文件要保留
原子提交一次提交要么全可见要么全不可见冲突时要重试整批文件
compaction合并小文件、清理旧快照额外一轮读写与调度

小文件问题是流写入湖的必然结果,算一笔账:

每天提交次数 = 86400 秒 / 检查点间隔
间隔 60 秒 → 1440 次/天
每个分区每天产生 1440 个文件
100 个分区 → 14.4 万个文件/天

「检查点间隔」在这里第二次出现:第 6 章它决定对齐缓冲与恢复窗口,到了湖上它决定小文件数量。同一个参数在两个层面收费,这是平台化后最常见的隐性成本。

分布式训练:一致性从快照变成梯度归约与训练步同步

卷四的另一条线是分布式训练。它面对的失效问题和流作业同构,但答案不同:

维度流作业分布式训练
一致性对象算子状态模型参数
一致性手段屏障 + 状态快照同步梯度 + 参数校验
回退单位检查点切面若干步的检查点
重放代价重放边界内的数据重算若干步梯度

同步训练里,一轮梯度必须所有工作节点到齐才能更新,这和「多输入算子必须等全部 barrier 到齐」是同一个结构;异步训练允许参数更新滞后,吞吐更高但一致性的保证更弱。区别在于流作业快照的是状态,训练快照的是参数,而参数的正确性要靠「大家算的是同一版参数」来保证。

代价的分布也类似:训练检查点越频繁,回退步数越少,但写检查点的开销越大;一千步一次检查点、第 1050 步失效,就要重算 50 步。参数规模越大,「一次快照」越贵,这与 TB 级状态拉长流作业恢复预算是同一条曲线。

三个判断问题

从引擎走向平台,所有问题可以先归到三句话:

问题归属卷四对应
资源怎么分调度器调度与抢占
结果写哪存储与表格式目录事务
一致性谁保证提交协议跨系统提交

三个问题里只有第三个是「新」的:资源分配与存储选择在单机时代就有,跨系统一致性才是平台化真正引入的难题——因为引擎内部的屏障管不到引擎之外的写入端。

卷四的三条展开线

卷四要讲的三件事,都能从本节的问题里推出来:

展开线要回答的问题
调度槽位怎么分、优先级怎么排、抢占如何不伤作业
数据湖目录事务并发提交怎么裁决、快照与 compaction 怎么共存
分布式训练并行模型数据/模型/流水线并行下,一致性与通信如何取舍

三条线共享同一个母题:当一致性跨越系统边界时,靠什么机制裁决。流作业靠屏障,数据湖靠元数据日志,训练靠参数版本与通信轮次——形式不同,问题的形状一样。

五条重放主线的收束

四卷本的容错地图到这一节可以合上了:

主线存什么重放什么失效边界
任务级重放正本数据失败的任务中间结果不可重算时失效
血缘重算源 + 血缘中间结果状态巨大、源不可重放时失效
状态检查点源 + 状态快照状态与边界后数据跨系统提交时失效
目录事务源 + 元数据日志快照切换并发写冲突时靠重试
梯度归约与训练步同步参数 + 通信若干步梯度异步时一致性变松

这五条不是互相替代,而是逐层接管:上一层失效的地方,正是下一层存在的理由。血缘重算解决不了三个月的历史状态,于是有了状态检查点;状态检查点管不了引擎之外的写入,于是有了目录事务;目录事务保证不了模型更新的语义,于是有了梯度归约与训练步同步。整本书讲的就是这条「失效边界推动新机制」的链。

再看一眼它们的共同点:每一种机制都在回答「上一次一致的样子是什么、从它开始重来要付多少」。分布式计算的容错史,就是不断为这个问题找更便宜的答案。

三个常见误解

误解一:平台化只是加一层调度器。 真相:调度只解决第一个问题,跨系统一致性与多租户配额是两个独立的新问题。

误解二:数据湖只是「便宜的对象存储」。 真相:它真正的价值是元数据日志带来的原子提交与快照隔离,没有表格式的湖只是一个文件堆。

误解三:检查点配置是单作业参数。 真相:几百个作业同时快照时,并发数与间隔会变成集群级参数,必须统一配额。

一句话总结本节

单作业视角默认了「资源管够、存储独占、写端单一」,平台化让这三个默认全部失效,于是有了三类新问题:资源怎么在成百上千个作业间分配、结果写到哪里并由谁保证原子提交、跨系统时一致性由谁裁决。槽位算法决定了碎片,键组决定了可搬动性,检查点间隔同时决定对齐成本与小文件数量,并发检查点则是「单作业最优、集群最差」的典型。数据湖表格式把一致性从计算侧搬到存储侧,分布式训练把一致性从状态快照换成梯度归约与训练步同步。卷四沿调度、目录事务、并行训练三条线展开,母题只有一个:一致性跨越系统边界时靠什么裁决。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路