10.2 状态与水印:乱序、迟到与状态清理
10.1 说微批把流切成一串小批。但如果只是「一批批地算独立的聚合」,结果永远只有当前批的数据。流的状态(state)就是为了跨批累积:第 3 批的 sum 要把第 1、2 批的累加器带上。这一节讲状态怎么存、怎么清,以及乱序怎么办。
状态从哪里来
批处理里,group by 的中间结果放在内存或磁盘,跑完就丢。流处理里,它必须跨批保留:
批 1:key=A, value=3 → 状态 A=3
批 2:key=A, value=5 → 状态 A=8
批 3:key=B, value=1 → 状态 A=8, B=1
lab 的 MicroBatch.stateKeys(new int[]{1,2,2,3}) 返回 3(用例 5):4 条输入只有 3 个 key,状态只维护 3 个键。状态大小由「key 的基数」决定,不由「数据量」决定——这是流式状态与批处理的根本区别。
状态的两种存储
| 存储 | 位置 | 优点 | 缺点 |
|---|---|---|---|
| 内存状态 | Executor 堆内 | 快 | 可能 OOM,重启丢失 |
| 状态存储(RocksDB) | 本地磁盘 | 大、可落盘 | 读写有序列化开销 |
Spark 默认用 HDFS 兼容的 checkpoint 目录持久化状态,生产上常配 RocksDB 状态存储。状态是「有内存上限的持久化数据」:太小则每批读取慢,太大则 checkpoint 时间长、恢复慢。
状态清理:为什么必须清
状态只增不减,最终会吃掉所有内存:
| 场景 | 状态增长 |
|---|---|
| 按用户聚合 | 用户数(有上界) |
| 按设备 ID 聚合 | 设备数(很大) |
| 按「用户+会话」聚合 | 会话数(持续增长) |
| 窗口聚合 | 窗口数 × 每窗口 key 数 |
不清理的后果是「跑得越久越慢,最终 OOM」。清理的依据就是水印:某个窗口的数据被认为「已经到齐」,它的状态就可以丢。
水印:用时间来定义「到齐」
水印(watermark)是一个时间阈值:事件时间小于水印的数据,被认为不再会有新的了。
lab 的 MicroBatch.watermark(10000, 5000) 返回 5000(用例 3):当前见过的最大事件时间是 10s、容忍乱序 5s → 水印推进到 5s;watermark(10000, 3000) 返回 7000,大于 watermark(10000, 6000) 返回的 4000(用例 4)——容忍的乱序越小,水印推进越快。
| 参数 | 作用 | 影响 |
|---|---|---|
| 最大事件时间 | 已看到的最大 ts | 水印的上界 |
| 延迟容忍 | 允许多久的乱序 | 越小推进越快,漏数据风险越高 |
| 当前水印 | 最大 ts − 容忍 | 小于它的窗口可关闭 |
水印不是「真实时间」,而是「数据时间的进度条」。它推进得快,结果出得早,但迟到数据会被丢;推进得慢,等得更久,但能容忍更多乱序。
水印与窗口的关系
窗口聚合依赖水印来「关窗」:
窗口 [0, 10):
水印 < 10 → 窗口还开着,继续累加
水印 ≥ 10 → 窗口关闭,输出结果,释放状态
没有水印的窗口永远不会关——状态无限增长,输出也永远不会触发(除非用 complete 模式每次全量输出,代价更大)。所以水印不只是「处理乱序」,也是「状态回收机制」。
迟到数据的三种策略
数据在水印之后到达,就是迟到(late)数据:
| 策略 | 做法 | 适用 |
|---|---|---|
| 丢弃 | 直接忽略 | 结果允许少量缺失 |
| 更新旧窗口 | 重新计算并覆盖输出 | 需要最终正确 |
| 输出到旁路 | 写「迟到数据表」后处理 | 需要审计与补偿 |
第一种最简单、最常见;第二种要求输出端可更新(比如 upsert);第三种把问题留给离线补偿。选哪种取决于业务对「最终一致性」的要求,而不是引擎能力。
有状态 join
流与流的 join 要靠状态缓存:
A 流 join B 流:
收到的每一行都存进状态
新行到达时,去另一侧的状态里查匹配
状态存多久?由水印决定:水印之前的行可以清理,因为「不会再有与之匹配的新行」。没有水印的有状态 join,状态只增不减,是生产事故的常见来源。
状态与检查点
状态必须在 checkpoint 里持久化,否则重启就丢:
| 内容 | 恢复作用 |
|---|---|
| key → 累加器 | 继续聚合 |
| 窗口 → 结果缓冲区 | 继续输出 |
| join 缓存 | 继续匹配 |
| 水印 | 继续推进 |
状态越大,checkpoint 越慢,这是「状态设计」与「性能」的直接冲突:要维护全量状态才能正确,但状态越大越贵。解决办法是「按水印及时清理」,让状态有界。
状态的规模控制
| 手段 | 效果 |
|---|---|
| 水印清理 | 窗口/join 状态有界 |
| 缩短保留期 | 少存一些历史 |
| 压缩 key 空间 | 少一些组 |
| 拆分作业 | 单作业状态变小 |
| RocksDB + 增量 checkpoint | 减少每次写的量 |
状态是有成本的资源,不是免费的记忆。设计流作业时,「状态会有多大、什么时候能被清掉」是必须回答的问题。
状态后端的选择
| 后端 | 存储 | 适用 |
|---|---|---|
| 内存 | Executor 堆内 | 状态小、key 少 |
| RocksDB(本地盘) | 磁盘 + 块缓存 | 状态大、key 多 |
内存后端快但受堆大小限制;RocksDB 后端能存远超内存的状态,代价是序列化与磁盘 IO。选择依据是「状态能否放进内存」,而状态大小 = key 基数 × 每 key 状态大小——两者都要估。
状态与并行的关系
状态不是「一个整体」,它按 key 分区:
分区 0:key ∈ {A, C} 的状态
分区 1:key ∈ {B, D} 的状态
| 事实 | 含义 |
|---|---|
| 一个 key 的状态只在一个分区 | 更新无需跨分区同步 |
| 分区数决定状态并行的上限 | 分区太少,单分区状态大 |
| 重分区会触发状态重分布 | 改变并行度有成本 |
改变并行度(repartition)会移动状态,所以在流作业里「中途加分区」不是免费的:要把状态按新分区重新分布,可能触发大量 shuffle。
水印在聚合与 join 的不同作用
| 场景 | 水印的作用 |
|---|---|
| 窗口聚合 | 决定窗口何时关闭、输出、清状态 |
| 有状态 join | 决定缓存的行何时可以删除 |
| 去重 | 决定历史 key 何时可以忘掉 |
三者本质相同:水印是「这段历史不再被需要」的判据。它把「无限增长的状态」变成「有界滑动的窗口」——没有水印的流作业,状态管理就无从谈起。
三个常见误解
误解一:状态只是缓存,丢了重算就行。 真相:历史数据不一定可重放(Kafka 有保留期),状态丢了可能无法重建。
误解二:水印越大越好。 真相:水印大意味着等得久、延迟高;水印小则错过迟到数据。它是正确性与延迟的权衡。
误解三:窗口聚合不需要清理状态。 真相:不清理的窗口状态无限增长,最终 OOM;水印是回收机制。
一句话总结本节
流的状态让聚合与 join 能跨批累积,状态大小由 key 基数决定而非数据量;水印是「数据时间的进度条」(最大事件时间 − 延迟容忍),既用来判断窗口何时到齐、也用来回收状态——容忍越小推进越快、延迟越低,但迟到数据风险越高。迟到数据可丢弃、更新旧窗口或走旁路;有状态 join 同样依赖水印清理。状态必须进 checkpoint 才能恢复,而状态越大 checkpoint 越慢,所以「按水印及时清理」是流作业设计的核心约束。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现水印与状态键数:
- 源码:
src/stream/MicroBatch.java(watermark / stateKeys)与src/stream/StreamSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
StreamSuite用例 3 验证「最大事件时间 10s、容忍 5s → 水印 5s」;用例 4 验证「容忍越小水印推进越快」;用例 5 验证「4 条输入只有 3 个 key → 状态 3 个键」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:跨批累积需要状态 → 状态大小看 key 基数 → 水印定义「到齐」 → 到齐即关窗并清状态 → 迟到数据三策略——lab 的水印公式与状态键数就是这条链的两端。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。