《大规模分布式计算深入解析》14.2 与 Flink 的定位差异:微批 vs 连续流

Spark 与 Flink 的差别不是「谁更快」,而是「把谁当原生」:Spark 把流当小批,Flink 把批当有界流。前者延迟有秒级下界但生态与批处理强,后者毫秒延迟但状态与 checkpoint 模型更复杂。本节讲两种模型的延迟来源、状态管理差异,以及「什么业务真的需要毫秒」。

第 10 章讲了 Spark 的微批。这一节把对手摆出来:Flink 走的是相反的路——以「连续流」为原生,批只是「有界的流」。两种选择都成立,差别在于「你更常处理哪种负载」。

两种模型的出发点

框架原生抽象批是什么
Spark有界数据集(RDD/DataFrame)原生
Flink无界流(DataStream)有界流(流的特例)

这个「谁是谁的特例」的设定,决定了两者所有后续差异:Spark 的流要「切」,Flink 的批要「等结束」。

延迟:结构性的差距

lab 的 MicroBatch.endToEndLatency(1000, 200) 返回 1200(用例 1):批间隔 1 秒 + 处理 200 毫秒 → 端到端约 1.2 秒;latencyFloor(1000) 返回 1000(用例 2):微批的延迟下界就是批间隔。

模型延迟来源典型量级
微批(Spark)等一批攒齐秒级
连续流(Flink)单条处理 + 网络毫秒到亚秒
定时批调度周期分钟级

lab 的 Tuner.latencyClass("flink") 返回 “ms”(用例 13)、latencyClass("spark") 返回 “s”(用例 14)——这不是「谁实现得好」,而是模型决定的下界。批间隔无法降到零,因为「批」就是这么定义的。

状态管理与 checkpoint

维度Spark 微批Flink 连续流
状态更新每批边界每条记录
checkpoint批次快照屏障对齐(barrier)
恢复粒度批算子/任务
状态后端内存/RocksDB内存/RocksDB

Flink 的 checkpoint 用「屏障」在数据流中切分一致点:屏障流过算子时,算子把状态快照下来。这套机制支持「毫秒级状态更新 + 精确一次」,代价是恢复与对齐的复杂度更高。

容错模型的差异

维度SparkFlink
基本单位任务(stage 内)任务(算子链)
重放依据血缘 + offsetcheckpoint + 可重放源
一致性提交协议屏障 + 两阶段提交

两者都能做到端到端精确一次,但实现路径不同:Spark 靠「批边界固定 + 提交协议」,Flink 靠「屏障对齐 + 事务性 sink」。前者简单,后者细粒度。

批处理能力

场景SparkFlink
复杂 SQL 优化成熟(Catalyst + AQE)也有(Blink 计划器)
机器学习生态强(MLlib)弱
迭代计算原生需额外实现
流上的 SQL支持(结构化流)支持(更细粒度)

Spark 的批与生态优势明显:MLlib、图计算、与数据湖/BI 的集成,都是多年积累。Flink 的强项在「流为主」的场景。

什么业务真的需要毫秒

这是选型里最该先问的问题:

业务延迟要求建议
实时风控(拦截交易)毫秒级连续流
实时推荐(刷新特征)秒级微批够用
监控告警秒到分微批
实时大屏秒级微批
流式 ETL 入湖分钟级微批

「实时」是个模糊词:秒级在多数业务里已经算实时。为了「看起来更实时」而引入连续流引擎,往往换来的是更高的运维复杂度。

运维复杂度的差异

维度SparkFlink
部署批流同一套作业流作业需专门运维
调试可当批作业跑需要造数据流
升级作业重启savepoint 迁移
社区极广流领域强

同构的技术栈能省钱:已经在用 Spark 做批,再加一个流引擎意味着两套调度、两套监控、两套调优经验。除非延迟真的到毫秒,否则这个成本很难被收益覆盖。

两者都在向对方靠

方向动作
Spark → 流结构化流的微批间隔可降到 100ms 量级
Flink → 批有界流批模式、更成熟的 SQL
共同数据湖表格式(Iceberg/Delta/Hudi)成为共同底座

边界正在模糊:批流一体的趋势让「选型」越来越像「选生态」而不是「选模型」。14.3 会展开这条线。

事件时间与处理时间

两种时间口径常被混用:

口径定义问题
事件时间数据自身携带的时间戳会乱序、会迟到
处理时间系统收到数据的时间简单但结果依赖到达顺序

Flink 以事件时间为原生:水印、窗口、状态都围绕事件时间设计。Spark 也支持事件时间,但微批让「逐条水印」变得粗糙(10.2)。「口径选谁」比「引擎选谁」更影响结果正确性:很多「两个系统算出来不一样」的问题,根源是口径不同。

反压

下游跟不上时,两个系统的处理方式不同:

系统机制
Flink反压(backpressure)向源头传导,自然降速
Spark 微批每批之间有天然缓冲;批处理时间超过间隔就会积压

微批的「天然缓冲」是双刃剑:短期抖动不会影响结果,但长期积压会表现为「延迟持续增长」。监控「批次排队数」是判断积压的标准手段。

状态迁移

系统迁移手段
Flinksavepoint(显式触发、可改并行度)
Spark 流checkpoint(重启读同一目录,改并行度需谨慎)

升级作业逻辑时,状态兼容性是最容易出事的地方:Flink 的 savepoint 有明确的兼容性检查;Spark 的 checkpoint 更「宽容」,但也更容易在改逻辑后读到不匹配的状态。

同构技术栈的实际收益

收益说明
一套调度批与流同一个集群、同一套排队
一套监控指标与告警复用
一套经验调优知识可迁移
一份人力团队不必维护两个生态

折算下来,同构栈省的是「长期运维的人力」。如果延迟要求确实只有秒级,这笔账通常算得过来;如果毫秒刚需,那就必须接受异构。

判断时可以先问三个问题:延迟是否低于 1 秒、状态量是否超出内存、团队是否有流引擎经验。三个都答「否」时,同构是最稳的选择;只答「是」一个时,先别急着换——可能是调优没做完。

三个常见误解

误解一:Flink 全面优于 Spark。 真相:延迟上 Flink 占优,批处理生态、SQL 成熟度、机器学习上 Spark 占优。

误解二:微批做不到精确一次。 真相:能,靠 offset + 提交协议;两者语义上等价,只是实现不同。

误解三:延迟越低越好。 真相:毫秒延迟要付运维与复杂度成本;多数业务秒级就够。

一句话总结本节

Spark 以有界数据为原生、把流切成微批,延迟有「批间隔」这个结构性下界;Flink 以无界流为原生、把批当有界流,能做到毫秒级与逐条状态更新。两者的容错路径不同(提交协议 vs 屏障 checkpoint),但都能端到端精确一次。选型的关键不是「谁先进」,而是「业务是否真的需要毫秒」——秒级够用时,Spark 的生态与同构技术栈更省成本;毫秒刚需时,Flink 的连续流模型才是正解。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现两种模型的延迟判据:

  • 源码:src/stream/MicroBatch.java(endToEndLatency / latencyFloor)与 src/stream/StreamSuite.java;src/tune/Tuner.java(latencyClass)与 src/tune/TuneSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:StreamSuite 用例 1-2 验证「端到端 = 批间隔 + 处理时间」「延迟下界 = 批间隔」;TuneSuite 用例 13-14 验证「连续流毫秒级、微批秒级」的分类。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:原生抽象不同 → 延迟下界不同 → 状态与 checkpoint 模型不同 → 生态与运维成本不同 → 按「是否真需要毫秒」选型——lab 的两个延迟数字就是这条链的起点。

本章组件与失败边界参见 14.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路