《大规模分布式计算深入解析》15.3 微批的局限与 Flink 的动机:卷三入口

微批的四个局限都是结构性的:延迟有「批间隔」下界、状态只在批边界更新、事件时间处理以批为单位、每批都有固定开销。这些无法靠调优消除,只能换模型。Flink 的动机正在于此:连续处理、屏障式一致点、逐条状态更新。本节收束卷二,并给出卷三的问题清单。

10.1 讲了微批的延迟下界,14.2 讲了它与 Flink 的定位差异。收尾这一节要把「局限」说透:微批的四个问题都是结构性的,调优消除不了,只能换模型——这正是卷三存在的理由。

局限一:延迟下界

lab 的 MicroBatch.endToEndLatency(1000, 200) 返回 1200(用例 1):批间隔 1 秒 + 处理 200 毫秒;latencyFloor(1000) 返回 1000(用例 2):延迟下界就是批间隔。

想达到的延迟需要的批间隔代价
1 秒1 秒每批数据少,开销占比高
100 毫秒100 毫秒调度与提交开销接近计算本身
10 毫秒不可行批开销量级超过收益

「批间隔」不是调参,而是模型定义:一批数据必须「攒齐」才能开始处理。想要 10 毫秒延迟,就不能用「批」。

局限二:状态只在批边界更新

微批的状态更新发生在批结束:

批接收数据 → 处理 → 更新状态 → 提交 → 下一批

这意味着:

现象原因
状态更新有延迟要等批结束
批内无法读到本批的状态变化状态是批边界快照
故障恢复按批回滚checkpoint 以批为单位

连续处理引擎可以在每条记录上更新状态,因此能做「记录级的一致性」与更细的恢复粒度。微批只能做到「批级」。

局限三:事件时间以批为单位

水印的推进也按批:

批属性后果
水印每批推进一次窗口关闭有「一批」的延迟
迟到判定按批批内的乱序无法被同批处理
输出模式受限append 要等关窗(10.3)

事件时间的精细控制需要「逐条推进水印」,这与「成批处理」天然冲突。

局限四:每批的固定开销

开销项说明
调度每批一次 DAG 调度
提交每批一次提交协议
checkpoint每批一次快照写
作业管理每批的作业状态切换

这批开销与批大小无关:批越小,开销占比越高。12.1 的「每任务至少 100ms」在流处理里的对应版本就是「批间隔不能太小」。

四个局限的共同根源

局限根源
延迟下界「攒齐一批」
状态延迟「批边界才是一致点」
事件时间粒度「水印按批推进」
固定开销「每批都是一次作业」

四者都是「批」这个抽象的直接后果。所以它们不是 bug,而是「用批引擎执行流」的代价——这个代价换来的是「复用批处理的全部优化与容错」,是一笔明确的交易。

Flink 的关键机制是「屏障」(barrier):

数据流中周期插入屏障
→ 屏障流过算子时,算子把状态快照下来
→ 所有算子都收到同一屏障 → 形成一个全局一致点
维度微批屏障
一致点批边界数据流中的屏障位置
状态更新每批每条记录
延迟批间隔单条处理 + 网络
恢复粒度批算子/任务

「一致点不必等于批边界」是 Flink 的核心洞察:一致点可以在数据流中的任意位置,只要所有算子协调好。于是「逐条处理」与「精确一次」可以共存。

连续处理的代价

换模型不是免费的:

代价说明
状态管理复杂每条记录都可能改状态
屏障对齐有开销背压或慢算子会拖慢对齐
恢复更细savepoint 迁移需要谨慎
调试更难不能「当批作业跑一遍」

微批的「简单」来自「批」这个心智模型;连续流的「精细」来自「一致点与批解耦」。两者是不同复杂度的工具。

什么时候该换模型

判据留在微批换连续流
延迟要求秒级够毫秒刚需
状态规模中等极大且频繁更新
事件时间精度批级够需要逐条水印
团队经验Spark 熟有流引擎经验

「毫秒刚需」是唯一硬判据:其余场景微批都能做,只是不够优雅。

卷三要回答的问题

卷二留下的问题,卷三逐个回答:

卷二的问题卷三的答案方向
状态只在批边界更新逐条状态更新与状态后端
水印按批推进事件时间与逐条水印
checkpoint 以批为单位屏障式 checkpoint
小批固定开销连续处理的资源模型
反压(微批天然缓冲)背压机制

卷三的主线是「状态检查点」:当状态巨大且不可重算时,血缘重算失效,必须把状态快照下来——这正是 Flink 与卷三要展开的内容。

积压与背压

两种模型在「跟不上」时的表现不同:

模型现象监控指标
微批批次排队、延迟持续增长批次排队数、处理时长
连续流反压传导到源、摄入变慢反压比例、checkpoint 时长

微批的积压是「延迟问题」,连续流的反压是「吞吐问题」——同一现象,两个模型的应对方式不同:前者减批间隔或加资源,后者要治慢算子。

三个常见误解

误解一:微批的局限可以通过调参解决。 真相:延迟下界、状态粒度、水印粒度都是模型定义的,调参只能接近下界。

误解二:连续流一定比微批好。 真相:它用复杂度换延迟;秒级够用时微批更省心。

误解三:卷三是「Spark 的替代品」。 真相:它是另一条主线的展开——状态不可重算时怎么办;两者常常共存。

一句话总结本节

微批的四个局限都是结构性的:延迟有批间隔下界、状态只在批边界更新、水印按批推进、每批有固定开销——根源都在「批」这个抽象。Flink 的动机是把「一致点」从批边界换成数据流中的屏障,从而让逐条处理与精确一次共存,代价是状态管理与调试复杂度。判据只有一个:是否真的需要毫秒级延迟。卷二留下的「状态不可重算」问题,正是卷三的主线。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现微批的边界:

  • 源码:src/stream/MicroBatch.java(endToEndLatency / latencyFloor / watermark / stateKeys)与 src/stream/StreamSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:StreamSuite 用例 1-2 验证「端到端 = 批间隔 + 处理」「下界 = 批间隔」;用例 3-4 验证「水印 = 最大事件时间 − 容忍」;用例 5 验证状态键数由 key 基数决定。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:延迟下界 → 状态以批为单位 → 水印以批推进 → 固定开销 → 换模型换一致点——lab 的四个函数就是卷二与卷三的分界线。

本章组件与失败边界参见 15.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路