《大规模分布式计算深入解析》2.1 DataStream 与算子

本节讲数据流 API 的图结构:源产生流、变换处理、汇写出,并区分无状态与有状态算子的正确性前提。文中说明按键分组如何把状态按 key 分区、五种分区策略各自何时用、并行的三个层次,并用任务数 14、链数 2 的算例说明重分区为何断链。

2.1 DataStream 与算子

第 1 章讲清了「为什么需要流」。第 2 章开始讲「怎么写」。数据流 API 的表达方式很朴素:声明一个源,串上若干变换,最后接一个汇。这一节把这句朴素的话拆成可验证的结构——图、并行度、分区与算子链。

图结构:源、变换、汇

角色数量说明
源至少一个从外部读入,决定「源可重放」是否成立
变换可有可无一对一或一对多
汇至少一个写出外部,决定端到端语义

这张图是逻辑图:它只描述「谁接谁、按什么规则分发」,不描述「跑在几台机器上」。逻辑图与部署图之间的那层转换,才是并行度、分区与算子链发挥作用的地方。源与汇还额外决定端到端语义:源不能重放,恢复后只能跳过;汇不幂等,重放就会写出重复。

无状态算子:每条记录独立处理

算子输入到输出状态
map1 条到 1 条无
filter1 条到 0 或 1 条无
flatMap1 条到 N 条无

无状态意味着可以任意重放、任意并行:同一条记录处理几次,结果都一样,所以扩容、重试、乱序都不影响正确性。代价是它们「记不住任何东西」——想统计「这个用户今天第几次下单」,就必须引入状态。

无状态算子也可能偷偷带状态:如果 map 里查一张配置表,重启后读到的可能是新表,结果就不可复现了。这类状态不在引擎托管范围内,是排查「重放结果不一致」时的常见盲点。

有状态算子:靠记住过去才能算对

算子状态内容为什么需要状态
聚合每个 key 的累加器跨记录累计
关联两侧待匹配记录的缓冲等对侧到达
窗口窗口内记录或增量窗口关闭前不能输出

有状态算子的正确性依赖「状态与输入位置一致」:状态记的是「读到哪、算到哪」,重启后必须从同一个位置接着算。这正是检查点要把状态和源位置绑在一起快照的原因(1.3 已展开)。

状态量可以估一下:10 万个 key、每个 key 一个 8 字节累加器,约 0.8MB;如果再为每个 key 保留 30 天的明细、每条 120 字节,就是 10 万 × 30 × 120 ≈ 360MB。累加器与明细相差四百多倍,这也是「增量聚合」比「全量留存」更省内存的原因。

按键分组:状态的归属

keyBy 把一条流按键的哈希重新分发,得到按键分组后的流;后续算子的状态按 key 分区存放。

概念说明
键组哈希值对最大并行度取模的结果
状态归属每个子任务只管自己那批键组
扩容键组重映射,组内 key 不跨子任务漂移

按键分组不是排序,是路由:它保证同一个 key 一定去同一个子任务,从而让「这个 key 的状态」只有一个副本。没有这一步,累加器就会在多个子任务里各存一份,结果必然错。窗口也一样——只有分组之后的窗口才按 key 独立,否则整个算子共享同一个窗口。

物理分区策略

策略行为何时用
前送上下游一一对应并行度相同、想省网络
哈希按键哈希分发按键分组之后
轮询依次均摊上游数据倾斜
广播复制到所有下游小表关联、配置下发
缩放按比例就近配对上下游并行度成倍数

轮询与缩放的区别在「是否全量重分布」:缩放只在上游子集与下游子集之间配对,网络跳数更少;轮询则是全局均摊,适合打破倾斜但会跨节点。

前送最省,也最容易出错:它隐含「上下游并行度一致」这个前提,一旦不一致,作业会在提交时直接失败,而不是悄悄改成重分布。所以看到「并行度不匹配」的报错,先检查是不是把前送用在了会变并行度的算子上。

并行的三个层次

层次设置方式影响
算子级在单个算子上设并行度局部并行
作业级在环境上设并行度未显式设置的算子取这个值
集群级配置文件默认值兜底

优先级从下往上覆盖:算子级高于作业级,作业级高于集群级。StreamSuite 用例 7 到 9 的槽位计算就是按「最大并行度」这个结果推的——8 并行度、每节点 4 槽要 2 个节点,4 并行度、每节点 3 槽也要 2 个节点共 6 槽。

算子级的覆盖最容易踩坑:链合并要求同链算子并行度一致,所以给链中某一个算子单独设并行度,会把它从链里拆出去。改并行度之前先想清楚「这条链会不会断」。

重分区切断算子链

前后关系能否共链原因
并行度相同、前送能一条记录原地传下去
并行度不同不能必须经过网络重分布
有哈希或轮询不能分区规则改变

链的判据只有两条:并行度一致、连接方式是前送。以本节 lab 的四算子图为例:源 4、映射 4、过滤 4、汇 2,前三个能串成一条链,汇因为并行度变成 2 只能独立成链。

任务数 = 4 + 4 + 4 + 2 = 14
链数   = 2(源-映射-过滤 一条,汇 一条)
链长   = 3 与 1

把并行度改一下,链立刻变化:

源 4 → 映射 4 → 过滤 8
链数 = 2(源-映射 一条,过滤 一条),从映射起的链长为 1

比较这两组数字就能看出判据在哪:前一组里三个算子并行度相同,后一组里过滤变成 8,断点就出现在它前面。

算子链只是部署优化

逻辑图部署图
4 个算子串行2 条链、14 个子任务

合并成链不改变任何语义:它只是把「同一条记录在相邻算子之间的传递」从网络调用变成方法调用,省掉序列化与线程切换。所以关掉链合并,结果一模一样,只是慢一些。

链越长不一定越好:链内是串行的,一个算子慢会拖住整条链;把重负载算子拆成独立链,反而能让不同链以不同速率运行。

关掉链合并是有用的排查手段:如果关掉之后结果变了,说明某个算子依赖链内的共享对象(比如可变集合被下游原地修改),那是隐藏的缺陷,不是链的问题。

算子之间传的是什么

场景传递形态开销
同一条链内方法调用,对象直接传无序列化
同节点跨链序列化后进本地队列序列化与拷贝
跨节点序列化后进网络缓冲序列化与网络

算子链只消除第一行:它把「跨链传递」变成「链内调用」,省掉序列化与线程切换。这也解释了为什么链不是越多越好——链内是同一个线程串行执行,一个算子阻塞会让整条链停住。

反压也沿这条路径回传:下游慢,缓冲满,上游就得停;链内表现为方法调用变慢,跨网络表现为发送阻塞。

再谈并行度:不是越高越好

并行度要受「最窄的那一段」约束,源的分区数往往就是那一段:

并行度源分区数实际并行空转子任务
1616160
164412
8880

空转的子任务照样占槽、照样参与检查点:它们不干活,但会拉长屏障对齐时间、增加恢复时的调度量。所以并行度应当向「源分区数」与「汇的分区数」看齐,而不是照抄核数。

键组与重缩放:并行度变化时的稳定锚点

键组   = 哈希(key) 对 最大并行度 取模
子任务 = 键组 × 并行度 / 最大并行度
并行度第 100 组落到依据
4子任务 3100 × 4 / 128 = 3
8子任务 6100 × 8 / 128 = 6

最大并行度一旦定下就不再改:它决定键组总数,改它等于把所有 key 重新洗牌。这也是为什么它要在作业第一次提交时就规划好,而不是等扩容时再调。并行度的上限就是它,超过之后键组无法一一映射。

三个常见误解

误解一:算子链是运行时的自动优化,随时会变。 真相:链在作业图阶段就定下来了,由并行度与前送关系决定,是提交前的部署决策。

误解二:按键分组只是换了个分区方式。 真相:它同时决定了状态的归属;没有它,累加器会在多个子任务里各存一份。

误解三:并行度越高吞吐越高。 真相:并行度受槽数、网络分区数与状态后端限制;超过物理承载能力后,只会增加调度与网络开销。

一句话总结本节

数据流 API 的图由源、变换、汇组成,逻辑图只描述连接关系,并行度与分区决定它怎么落到机器上。无状态算子可以任意重放与并行,有状态算子必须让「状态与输入位置一致」,这是检查点存在的理由。按键分组既是路由也是状态归属,五种物理分区策略按「是否全量重分布」区分用途。并行的三个层次从算子到集群逐级覆盖,重分区因为必须过网络而切断算子链,但链只是部署优化,不改变语义。

本章实现对照

Flink 有状态流处理与键组

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路