《大规模分布式计算深入解析》10.2 状态与水印:乱序、迟到与状态清理

流处理的困难不在「处理新数据」,而在「记住旧数据」:聚合要维护每个 key 的累加器,join 要缓存另一侧的行。数据还可能乱序到达,所以需要水印来判断「什么时候可以认为某个时间窗口的数据到齐了」。本节讲状态的生命周期、水印的推进规则与迟到数据的三种处理策略。

10.2 状态与水印:乱序、迟到与状态清理

10.1 说微批把流切成一串小批。但如果只是「一批批地算独立的聚合」,结果永远只有当前批的数据。流的状态(state)就是为了跨批累积:第 3 批的 sum 要把第 1、2 批的累加器带上。这一节讲状态怎么存、怎么清,以及乱序怎么办。

状态从哪里来

批处理里,group by 的中间结果放在内存或磁盘,跑完就丢。流处理里,它必须跨批保留:

批 1:key=A, value=3 → 状态 A=3
批 2:key=A, value=5 → 状态 A=8
批 3:key=B, value=1 → 状态 A=8, B=1

lab 的 MicroBatch.stateKeys(new int[]{1,2,2,3}) 返回 3(用例 5):4 条输入只有 3 个 key,状态只维护 3 个键。状态大小由「key 的基数」决定,不由「数据量」决定——这是流式状态与批处理的根本区别。

状态的两种存储

存储位置优点缺点
内存状态Executor 堆内快可能 OOM,重启丢失
状态存储(RocksDB)本地磁盘大、可落盘读写有序列化开销

Spark 默认用 HDFS 兼容的 checkpoint 目录持久化状态,生产上常配 RocksDB 状态存储。状态是「有内存上限的持久化数据」:太小则每批读取慢,太大则 checkpoint 时间长、恢复慢。

状态清理:为什么必须清

状态只增不减,最终会吃掉所有内存:

场景状态增长
按用户聚合用户数(有上界)
按设备 ID 聚合设备数(很大)
按「用户+会话」聚合会话数(持续增长)
窗口聚合窗口数 × 每窗口 key 数

不清理的后果是「跑得越久越慢,最终 OOM」。清理的依据就是水印:某个窗口的数据被认为「已经到齐」,它的状态就可以丢。

水印:用时间来定义「到齐」

水印(watermark)是一个时间阈值:事件时间小于水印的数据,被认为不再会有新的了。

lab 的 MicroBatch.watermark(10000, 5000) 返回 5000(用例 3):当前见过的最大事件时间是 10s、容忍乱序 5s → 水印推进到 5s;watermark(10000, 3000) 返回 7000,大于 watermark(10000, 6000) 返回的 4000(用例 4)——容忍的乱序越小,水印推进越快。

参数作用影响
最大事件时间已看到的最大 ts水印的上界
延迟容忍允许多久的乱序越小推进越快,漏数据风险越高
当前水印最大 ts − 容忍小于它的窗口可关闭

水印不是「真实时间」,而是「数据时间的进度条」。它推进得快,结果出得早,但迟到数据会被丢;推进得慢,等得更久,但能容忍更多乱序。

水印与窗口的关系

窗口聚合依赖水印来「关窗」:

窗口 [0, 10):
  水印 < 10 → 窗口还开着,继续累加
  水印 ≥ 10 → 窗口关闭,输出结果,释放状态

没有水印的窗口永远不会关——状态无限增长,输出也永远不会触发(除非用 complete 模式每次全量输出,代价更大)。所以水印不只是「处理乱序」,也是「状态回收机制」。

迟到数据的三种策略

数据在水印之后到达,就是迟到(late)数据:

策略做法适用
丢弃直接忽略结果允许少量缺失
更新旧窗口重新计算并覆盖输出需要最终正确
输出到旁路写「迟到数据表」后处理需要审计与补偿

第一种最简单、最常见;第二种要求输出端可更新(比如 upsert);第三种把问题留给离线补偿。选哪种取决于业务对「最终一致性」的要求,而不是引擎能力。

有状态 join

流与流的 join 要靠状态缓存:

A 流 join B 流:
  收到的每一行都存进状态
  新行到达时,去另一侧的状态里查匹配

状态存多久?由水印决定:水印之前的行可以清理,因为「不会再有与之匹配的新行」。没有水印的有状态 join,状态只增不减,是生产事故的常见来源。

状态与检查点

状态必须在 checkpoint 里持久化,否则重启就丢:

内容恢复作用
key → 累加器继续聚合
窗口 → 结果缓冲区继续输出
join 缓存继续匹配
水印继续推进

状态越大,checkpoint 越慢,这是「状态设计」与「性能」的直接冲突:要维护全量状态才能正确,但状态越大越贵。解决办法是「按水印及时清理」,让状态有界。

状态的规模控制

手段效果
水印清理窗口/join 状态有界
缩短保留期少存一些历史
压缩 key 空间少一些组
拆分作业单作业状态变小
RocksDB + 增量 checkpoint减少每次写的量

状态是有成本的资源,不是免费的记忆。设计流作业时,「状态会有多大、什么时候能被清掉」是必须回答的问题。

状态后端的选择

后端存储适用
内存Executor 堆内状态小、key 少
RocksDB(本地盘)磁盘 + 块缓存状态大、key 多

内存后端快但受堆大小限制;RocksDB 后端能存远超内存的状态,代价是序列化与磁盘 IO。选择依据是「状态能否放进内存」,而状态大小 = key 基数 × 每 key 状态大小——两者都要估。

状态与并行的关系

状态不是「一个整体」,它按 key 分区:

分区 0:key ∈ {A, C} 的状态
分区 1:key ∈ {B, D} 的状态
事实含义
一个 key 的状态只在一个分区更新无需跨分区同步
分区数决定状态并行的上限分区太少,单分区状态大
重分区会触发状态重分布改变并行度有成本

改变并行度(repartition)会移动状态,所以在流作业里「中途加分区」不是免费的:要把状态按新分区重新分布,可能触发大量 shuffle。

水印在聚合与 join 的不同作用

场景水印的作用
窗口聚合决定窗口何时关闭、输出、清状态
有状态 join决定缓存的行何时可以删除
去重决定历史 key 何时可以忘掉

三者本质相同:水印是「这段历史不再被需要」的判据。它把「无限增长的状态」变成「有界滑动的窗口」——没有水印的流作业,状态管理就无从谈起。

三个常见误解

误解一:状态只是缓存,丢了重算就行。 真相:历史数据不一定可重放(Kafka 有保留期),状态丢了可能无法重建。

误解二:水印越大越好。 真相:水印大意味着等得久、延迟高;水印小则错过迟到数据。它是正确性与延迟的权衡。

误解三:窗口聚合不需要清理状态。 真相:不清理的窗口状态无限增长,最终 OOM;水印是回收机制。

一句话总结本节

流的状态让聚合与 join 能跨批累积,状态大小由 key 基数决定而非数据量;水印是「数据时间的进度条」(最大事件时间 − 延迟容忍),既用来判断窗口何时到齐、也用来回收状态——容忍越小推进越快、延迟越低,但迟到数据风险越高。迟到数据可丢弃、更新旧窗口或走旁路;有状态 join 同样依赖水印清理。状态必须进 checkpoint 才能恢复,而状态越大 checkpoint 越慢,所以「按水印及时清理」是流作业设计的核心约束。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现水印与状态键数:

  • 源码:src/stream/MicroBatch.java(watermark / stateKeys)与 src/stream/StreamSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:StreamSuite 用例 3 验证「最大事件时间 10s、容忍 5s → 水印 5s」;用例 4 验证「容忍越小水印推进越快」;用例 5 验证「4 条输入只有 3 个 key → 状态 3 个键」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:跨批累积需要状态 → 状态大小看 key 基数 → 水印定义「到齐」 → 到齐即关窗并清状态 → 迟到数据三策略——lab 的水印公式与状态键数就是这条链的两端。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路