15.3 微批的局限与 Flink 的动机:卷三入口
10.1 讲了微批的延迟下界,14.2 讲了它与 Flink 的定位差异。收尾这一节要把「局限」说透:微批的四个问题都是结构性的,调优消除不了,只能换模型——这正是卷三存在的理由。
局限一:延迟下界
lab 的 MicroBatch.endToEndLatency(1000, 200) 返回 1200(用例 1):批间隔 1 秒 + 处理 200 毫秒;latencyFloor(1000) 返回 1000(用例 2):延迟下界就是批间隔。
| 想达到的延迟 | 需要的批间隔 | 代价 |
|---|---|---|
| 1 秒 | 1 秒 | 每批数据少,开销占比高 |
| 100 毫秒 | 100 毫秒 | 调度与提交开销接近计算本身 |
| 10 毫秒 | 不可行 | 批开销量级超过收益 |
「批间隔」不是调参,而是模型定义:一批数据必须「攒齐」才能开始处理。想要 10 毫秒延迟,就不能用「批」。
局限二:状态只在批边界更新
微批的状态更新发生在批结束:
批接收数据 → 处理 → 更新状态 → 提交 → 下一批
这意味着:
| 现象 | 原因 |
|---|---|
| 状态更新有延迟 | 要等批结束 |
| 批内无法读到本批的状态变化 | 状态是批边界快照 |
| 故障恢复按批回滚 | checkpoint 以批为单位 |
连续处理引擎可以在每条记录上更新状态,因此能做「记录级的一致性」与更细的恢复粒度。微批只能做到「批级」。
局限三:事件时间以批为单位
水印的推进也按批:
| 批属性 | 后果 |
|---|---|
| 水印每批推进一次 | 窗口关闭有「一批」的延迟 |
| 迟到判定按批 | 批内的乱序无法被同批处理 |
| 输出模式受限 | append 要等关窗(10.3) |
事件时间的精细控制需要「逐条推进水印」,这与「成批处理」天然冲突。
局限四:每批的固定开销
| 开销项 | 说明 |
|---|---|
| 调度 | 每批一次 DAG 调度 |
| 提交 | 每批一次提交协议 |
| checkpoint | 每批一次快照写 |
| 作业管理 | 每批的作业状态切换 |
这批开销与批大小无关:批越小,开销占比越高。12.1 的「每任务至少 100ms」在流处理里的对应版本就是「批间隔不能太小」。
四个局限的共同根源
| 局限 | 根源 |
|---|---|
| 延迟下界 | 「攒齐一批」 |
| 状态延迟 | 「批边界才是一致点」 |
| 事件时间粒度 | 「水印按批推进」 |
| 固定开销 | 「每批都是一次作业」 |
四者都是「批」这个抽象的直接后果。所以它们不是 bug,而是「用批引擎执行流」的代价——这个代价换来的是「复用批处理的全部优化与容错」,是一笔明确的交易。
Flink 的动机:把「一致点」从批边界换成屏障
Flink 的关键机制是「屏障」(barrier):
数据流中周期插入屏障
→ 屏障流过算子时,算子把状态快照下来
→ 所有算子都收到同一屏障 → 形成一个全局一致点
| 维度 | 微批 | 屏障 |
|---|---|---|
| 一致点 | 批边界 | 数据流中的屏障位置 |
| 状态更新 | 每批 | 每条记录 |
| 延迟 | 批间隔 | 单条处理 + 网络 |
| 恢复粒度 | 批 | 算子/任务 |
「一致点不必等于批边界」是 Flink 的核心洞察:一致点可以在数据流中的任意位置,只要所有算子协调好。于是「逐条处理」与「精确一次」可以共存。
连续处理的代价
换模型不是免费的:
| 代价 | 说明 |
|---|---|
| 状态管理复杂 | 每条记录都可能改状态 |
| 屏障对齐有开销 | 背压或慢算子会拖慢对齐 |
| 恢复更细 | savepoint 迁移需要谨慎 |
| 调试更难 | 不能「当批作业跑一遍」 |
微批的「简单」来自「批」这个心智模型;连续流的「精细」来自「一致点与批解耦」。两者是不同复杂度的工具。
什么时候该换模型
| 判据 | 留在微批 | 换连续流 |
|---|---|---|
| 延迟要求 | 秒级够 | 毫秒刚需 |
| 状态规模 | 中等 | 极大且频繁更新 |
| 事件时间精度 | 批级够 | 需要逐条水印 |
| 团队经验 | Spark 熟 | 有流引擎经验 |
「毫秒刚需」是唯一硬判据:其余场景微批都能做,只是不够优雅。
卷三要回答的问题
卷二留下的问题,卷三逐个回答:
| 卷二的问题 | 卷三的答案方向 |
|---|---|
| 状态只在批边界更新 | 逐条状态更新与状态后端 |
| 水印按批推进 | 事件时间与逐条水印 |
| checkpoint 以批为单位 | 屏障式 checkpoint |
| 小批固定开销 | 连续处理的资源模型 |
| 反压(微批天然缓冲) | 背压机制 |
卷三的主线是「状态检查点」:当状态巨大且不可重算时,血缘重算失效,必须把状态快照下来——这正是 Flink 与卷三要展开的内容。
积压与背压
两种模型在「跟不上」时的表现不同:
| 模型 | 现象 | 监控指标 |
|---|---|---|
| 微批 | 批次排队、延迟持续增长 | 批次排队数、处理时长 |
| 连续流 | 反压传导到源、摄入变慢 | 反压比例、checkpoint 时长 |
微批的积压是「延迟问题」,连续流的反压是「吞吐问题」——同一现象,两个模型的应对方式不同:前者减批间隔或加资源,后者要治慢算子。
三个常见误解
误解一:微批的局限可以通过调参解决。 真相:延迟下界、状态粒度、水印粒度都是模型定义的,调参只能接近下界。
误解二:连续流一定比微批好。 真相:它用复杂度换延迟;秒级够用时微批更省心。
误解三:卷三是「Spark 的替代品」。 真相:它是另一条主线的展开——状态不可重算时怎么办;两者常常共存。
一句话总结本节
微批的四个局限都是结构性的:延迟有批间隔下界、状态只在批边界更新、水印按批推进、每批有固定开销——根源都在「批」这个抽象。Flink 的动机是把「一致点」从批边界换成数据流中的屏障,从而让逐条处理与精确一次共存,代价是状态管理与调试复杂度。判据只有一个:是否真的需要毫秒级延迟。卷二留下的「状态不可重算」问题,正是卷三的主线。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现微批的边界:
- 源码:
src/stream/MicroBatch.java(endToEndLatency / latencyFloor / watermark / stateKeys)与src/stream/StreamSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
StreamSuite用例 1-2 验证「端到端 = 批间隔 + 处理」「下界 = 批间隔」;用例 3-4 验证「水印 = 最大事件时间 − 容忍」;用例 5 验证状态键数由 key 基数决定。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:延迟下界 → 状态以批为单位 → 水印以批推进 → 固定开销 → 换模型换一致点——lab 的四个函数就是卷二与卷三的分界线。
本章组件与失败边界参见 15.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。