2.1 DataStream 与算子
第 1 章讲清了「为什么需要流」。第 2 章开始讲「怎么写」。数据流 API 的表达方式很朴素:声明一个源,串上若干变换,最后接一个汇。这一节把这句朴素的话拆成可验证的结构——图、并行度、分区与算子链。
图结构:源、变换、汇
| 角色 | 数量 | 说明 |
|---|---|---|
| 源 | 至少一个 | 从外部读入,决定「源可重放」是否成立 |
| 变换 | 可有可无 | 一对一或一对多 |
| 汇 | 至少一个 | 写出外部,决定端到端语义 |
这张图是逻辑图:它只描述「谁接谁、按什么规则分发」,不描述「跑在几台机器上」。逻辑图与部署图之间的那层转换,才是并行度、分区与算子链发挥作用的地方。源与汇还额外决定端到端语义:源不能重放,恢复后只能跳过;汇不幂等,重放就会写出重复。
无状态算子:每条记录独立处理
| 算子 | 输入到输出 | 状态 |
|---|---|---|
map | 1 条到 1 条 | 无 |
filter | 1 条到 0 或 1 条 | 无 |
flatMap | 1 条到 N 条 | 无 |
无状态意味着可以任意重放、任意并行:同一条记录处理几次,结果都一样,所以扩容、重试、乱序都不影响正确性。代价是它们「记不住任何东西」——想统计「这个用户今天第几次下单」,就必须引入状态。
无状态算子也可能偷偷带状态:如果 map 里查一张配置表,重启后读到的可能是新表,结果就不可复现了。这类状态不在引擎托管范围内,是排查「重放结果不一致」时的常见盲点。
有状态算子:靠记住过去才能算对
| 算子 | 状态内容 | 为什么需要状态 |
|---|---|---|
| 聚合 | 每个 key 的累加器 | 跨记录累计 |
| 关联 | 两侧待匹配记录的缓冲 | 等对侧到达 |
| 窗口 | 窗口内记录或增量 | 窗口关闭前不能输出 |
有状态算子的正确性依赖「状态与输入位置一致」:状态记的是「读到哪、算到哪」,重启后必须从同一个位置接着算。这正是检查点要把状态和源位置绑在一起快照的原因(1.3 已展开)。
状态量可以估一下:10 万个 key、每个 key 一个 8 字节累加器,约 0.8MB;如果再为每个 key 保留 30 天的明细、每条 120 字节,就是 10 万 × 30 × 120 ≈ 360MB。累加器与明细相差四百多倍,这也是「增量聚合」比「全量留存」更省内存的原因。
按键分组:状态的归属
keyBy 把一条流按键的哈希重新分发,得到按键分组后的流;后续算子的状态按 key 分区存放。
| 概念 | 说明 |
|---|---|
| 键组 | 哈希值对最大并行度取模的结果 |
| 状态归属 | 每个子任务只管自己那批键组 |
| 扩容 | 键组重映射,组内 key 不跨子任务漂移 |
按键分组不是排序,是路由:它保证同一个 key 一定去同一个子任务,从而让「这个 key 的状态」只有一个副本。没有这一步,累加器就会在多个子任务里各存一份,结果必然错。窗口也一样——只有分组之后的窗口才按 key 独立,否则整个算子共享同一个窗口。
物理分区策略
| 策略 | 行为 | 何时用 |
|---|---|---|
| 前送 | 上下游一一对应 | 并行度相同、想省网络 |
| 哈希 | 按键哈希分发 | 按键分组之后 |
| 轮询 | 依次均摊 | 上游数据倾斜 |
| 广播 | 复制到所有下游 | 小表关联、配置下发 |
| 缩放 | 按比例就近配对 | 上下游并行度成倍数 |
轮询与缩放的区别在「是否全量重分布」:缩放只在上游子集与下游子集之间配对,网络跳数更少;轮询则是全局均摊,适合打破倾斜但会跨节点。
前送最省,也最容易出错:它隐含「上下游并行度一致」这个前提,一旦不一致,作业会在提交时直接失败,而不是悄悄改成重分布。所以看到「并行度不匹配」的报错,先检查是不是把前送用在了会变并行度的算子上。
并行的三个层次
| 层次 | 设置方式 | 影响 |
|---|---|---|
| 算子级 | 在单个算子上设并行度 | 局部并行 |
| 作业级 | 在环境上设并行度 | 未显式设置的算子取这个值 |
| 集群级 | 配置文件默认值 | 兜底 |
优先级从下往上覆盖:算子级高于作业级,作业级高于集群级。StreamSuite 用例 7 到 9 的槽位计算就是按「最大并行度」这个结果推的——8 并行度、每节点 4 槽要 2 个节点,4 并行度、每节点 3 槽也要 2 个节点共 6 槽。
算子级的覆盖最容易踩坑:链合并要求同链算子并行度一致,所以给链中某一个算子单独设并行度,会把它从链里拆出去。改并行度之前先想清楚「这条链会不会断」。
重分区切断算子链
| 前后关系 | 能否共链 | 原因 |
|---|---|---|
| 并行度相同、前送 | 能 | 一条记录原地传下去 |
| 并行度不同 | 不能 | 必须经过网络重分布 |
| 有哈希或轮询 | 不能 | 分区规则改变 |
链的判据只有两条:并行度一致、连接方式是前送。以本节 lab 的四算子图为例:源 4、映射 4、过滤 4、汇 2,前三个能串成一条链,汇因为并行度变成 2 只能独立成链。
任务数 = 4 + 4 + 4 + 2 = 14
链数 = 2(源-映射-过滤 一条,汇 一条)
链长 = 3 与 1
把并行度改一下,链立刻变化:
源 4 → 映射 4 → 过滤 8
链数 = 2(源-映射 一条,过滤 一条),从映射起的链长为 1
比较这两组数字就能看出判据在哪:前一组里三个算子并行度相同,后一组里过滤变成 8,断点就出现在它前面。
算子链只是部署优化
| 逻辑图 | 部署图 |
|---|---|
| 4 个算子串行 | 2 条链、14 个子任务 |
合并成链不改变任何语义:它只是把「同一条记录在相邻算子之间的传递」从网络调用变成方法调用,省掉序列化与线程切换。所以关掉链合并,结果一模一样,只是慢一些。
链越长不一定越好:链内是串行的,一个算子慢会拖住整条链;把重负载算子拆成独立链,反而能让不同链以不同速率运行。
关掉链合并是有用的排查手段:如果关掉之后结果变了,说明某个算子依赖链内的共享对象(比如可变集合被下游原地修改),那是隐藏的缺陷,不是链的问题。
算子之间传的是什么
| 场景 | 传递形态 | 开销 |
|---|---|---|
| 同一条链内 | 方法调用,对象直接传 | 无序列化 |
| 同节点跨链 | 序列化后进本地队列 | 序列化与拷贝 |
| 跨节点 | 序列化后进网络缓冲 | 序列化与网络 |
算子链只消除第一行:它把「跨链传递」变成「链内调用」,省掉序列化与线程切换。这也解释了为什么链不是越多越好——链内是同一个线程串行执行,一个算子阻塞会让整条链停住。
反压也沿这条路径回传:下游慢,缓冲满,上游就得停;链内表现为方法调用变慢,跨网络表现为发送阻塞。
再谈并行度:不是越高越好
并行度要受「最窄的那一段」约束,源的分区数往往就是那一段:
| 并行度 | 源分区数 | 实际并行 | 空转子任务 |
|---|---|---|---|
| 16 | 16 | 16 | 0 |
| 16 | 4 | 4 | 12 |
| 8 | 8 | 8 | 0 |
空转的子任务照样占槽、照样参与检查点:它们不干活,但会拉长屏障对齐时间、增加恢复时的调度量。所以并行度应当向「源分区数」与「汇的分区数」看齐,而不是照抄核数。
键组与重缩放:并行度变化时的稳定锚点
键组 = 哈希(key) 对 最大并行度 取模
子任务 = 键组 × 并行度 / 最大并行度
| 并行度 | 第 100 组落到 | 依据 |
|---|---|---|
| 4 | 子任务 3 | 100 × 4 / 128 = 3 |
| 8 | 子任务 6 | 100 × 8 / 128 = 6 |
最大并行度一旦定下就不再改:它决定键组总数,改它等于把所有 key 重新洗牌。这也是为什么它要在作业第一次提交时就规划好,而不是等扩容时再调。并行度的上限就是它,超过之后键组无法一一映射。
三个常见误解
误解一:算子链是运行时的自动优化,随时会变。 真相:链在作业图阶段就定下来了,由并行度与前送关系决定,是提交前的部署决策。
误解二:按键分组只是换了个分区方式。 真相:它同时决定了状态的归属;没有它,累加器会在多个子任务里各存一份。
误解三:并行度越高吞吐越高。 真相:并行度受槽数、网络分区数与状态后端限制;超过物理承载能力后,只会增加调度与网络开销。
一句话总结本节
数据流 API 的图由源、变换、汇组成,逻辑图只描述连接关系,并行度与分区决定它怎么落到机器上。无状态算子可以任意重放与并行,有状态算子必须让「状态与输入位置一致」,这是检查点存在的理由。按键分组既是路由也是状态归属,五种物理分区策略按「是否全量重分布」区分用途。并行的三个层次从算子到集群逐级覆盖,重分区因为必须过网络而切断算子链,但链只是部署优化,不改变语义。
本章实现对照
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。