14.2 与 Flink 的定位差异:微批 vs 连续流
第 10 章讲了 Spark 的微批。这一节把对手摆出来:Flink 走的是相反的路——以「连续流」为原生,批只是「有界的流」。两种选择都成立,差别在于「你更常处理哪种负载」。
两种模型的出发点
| 框架 | 原生抽象 | 批是什么 |
|---|---|---|
| Spark | 有界数据集(RDD/DataFrame) | 原生 |
| Flink | 无界流(DataStream) | 有界流(流的特例) |
这个「谁是谁的特例」的设定,决定了两者所有后续差异:Spark 的流要「切」,Flink 的批要「等结束」。
延迟:结构性的差距
lab 的 MicroBatch.endToEndLatency(1000, 200) 返回 1200(用例 1):批间隔 1 秒 + 处理 200 毫秒 → 端到端约 1.2 秒;latencyFloor(1000) 返回 1000(用例 2):微批的延迟下界就是批间隔。
| 模型 | 延迟来源 | 典型量级 |
|---|---|---|
| 微批(Spark) | 等一批攒齐 | 秒级 |
| 连续流(Flink) | 单条处理 + 网络 | 毫秒到亚秒 |
| 定时批 | 调度周期 | 分钟级 |
lab 的 Tuner.latencyClass("flink") 返回 “ms”(用例 13)、latencyClass("spark") 返回 “s”(用例 14)——这不是「谁实现得好」,而是模型决定的下界。批间隔无法降到零,因为「批」就是这么定义的。
状态管理与 checkpoint
| 维度 | Spark 微批 | Flink 连续流 |
|---|---|---|
| 状态更新 | 每批边界 | 每条记录 |
| checkpoint | 批次快照 | 屏障对齐(barrier) |
| 恢复粒度 | 批 | 算子/任务 |
| 状态后端 | 内存/RocksDB | 内存/RocksDB |
Flink 的 checkpoint 用「屏障」在数据流中切分一致点:屏障流过算子时,算子把状态快照下来。这套机制支持「毫秒级状态更新 + 精确一次」,代价是恢复与对齐的复杂度更高。
容错模型的差异
| 维度 | Spark | Flink |
|---|---|---|
| 基本单位 | 任务(stage 内) | 任务(算子链) |
| 重放依据 | 血缘 + offset | checkpoint + 可重放源 |
| 一致性 | 提交协议 | 屏障 + 两阶段提交 |
两者都能做到端到端精确一次,但实现路径不同:Spark 靠「批边界固定 + 提交协议」,Flink 靠「屏障对齐 + 事务性 sink」。前者简单,后者细粒度。
批处理能力
| 场景 | Spark | Flink |
|---|---|---|
| 复杂 SQL 优化 | 成熟(Catalyst + AQE) | 也有(Blink 计划器) |
| 机器学习生态 | 强(MLlib) | 弱 |
| 迭代计算 | 原生 | 需额外实现 |
| 流上的 SQL | 支持(结构化流) | 支持(更细粒度) |
Spark 的批与生态优势明显:MLlib、图计算、与数据湖/BI 的集成,都是多年积累。Flink 的强项在「流为主」的场景。
什么业务真的需要毫秒
这是选型里最该先问的问题:
| 业务 | 延迟要求 | 建议 |
|---|---|---|
| 实时风控(拦截交易) | 毫秒级 | 连续流 |
| 实时推荐(刷新特征) | 秒级 | 微批够用 |
| 监控告警 | 秒到分 | 微批 |
| 实时大屏 | 秒级 | 微批 |
| 流式 ETL 入湖 | 分钟级 | 微批 |
「实时」是个模糊词:秒级在多数业务里已经算实时。为了「看起来更实时」而引入连续流引擎,往往换来的是更高的运维复杂度。
运维复杂度的差异
| 维度 | Spark | Flink |
|---|---|---|
| 部署 | 批流同一套作业 | 流作业需专门运维 |
| 调试 | 可当批作业跑 | 需要造数据流 |
| 升级 | 作业重启 | savepoint 迁移 |
| 社区 | 极广 | 流领域强 |
同构的技术栈能省钱:已经在用 Spark 做批,再加一个流引擎意味着两套调度、两套监控、两套调优经验。除非延迟真的到毫秒,否则这个成本很难被收益覆盖。
两者都在向对方靠
| 方向 | 动作 |
|---|---|
| Spark → 流 | 结构化流的微批间隔可降到 100ms 量级 |
| Flink → 批 | 有界流批模式、更成熟的 SQL |
| 共同 | 数据湖表格式(Iceberg/Delta/Hudi)成为共同底座 |
边界正在模糊:批流一体的趋势让「选型」越来越像「选生态」而不是「选模型」。14.3 会展开这条线。
事件时间与处理时间
两种时间口径常被混用:
| 口径 | 定义 | 问题 |
|---|---|---|
| 事件时间 | 数据自身携带的时间戳 | 会乱序、会迟到 |
| 处理时间 | 系统收到数据的时间 | 简单但结果依赖到达顺序 |
Flink 以事件时间为原生:水印、窗口、状态都围绕事件时间设计。Spark 也支持事件时间,但微批让「逐条水印」变得粗糙(10.2)。「口径选谁」比「引擎选谁」更影响结果正确性:很多「两个系统算出来不一样」的问题,根源是口径不同。
反压
下游跟不上时,两个系统的处理方式不同:
| 系统 | 机制 |
|---|---|
| Flink | 反压(backpressure)向源头传导,自然降速 |
| Spark 微批 | 每批之间有天然缓冲;批处理时间超过间隔就会积压 |
微批的「天然缓冲」是双刃剑:短期抖动不会影响结果,但长期积压会表现为「延迟持续增长」。监控「批次排队数」是判断积压的标准手段。
状态迁移
| 系统 | 迁移手段 |
|---|---|
| Flink | savepoint(显式触发、可改并行度) |
| Spark 流 | checkpoint(重启读同一目录,改并行度需谨慎) |
升级作业逻辑时,状态兼容性是最容易出事的地方:Flink 的 savepoint 有明确的兼容性检查;Spark 的 checkpoint 更「宽容」,但也更容易在改逻辑后读到不匹配的状态。
同构技术栈的实际收益
| 收益 | 说明 |
|---|---|
| 一套调度 | 批与流同一个集群、同一套排队 |
| 一套监控 | 指标与告警复用 |
| 一套经验 | 调优知识可迁移 |
| 一份人力 | 团队不必维护两个生态 |
折算下来,同构栈省的是「长期运维的人力」。如果延迟要求确实只有秒级,这笔账通常算得过来;如果毫秒刚需,那就必须接受异构。
判断时可以先问三个问题:延迟是否低于 1 秒、状态量是否超出内存、团队是否有流引擎经验。三个都答「否」时,同构是最稳的选择;只答「是」一个时,先别急着换——可能是调优没做完。
三个常见误解
误解一:Flink 全面优于 Spark。 真相:延迟上 Flink 占优,批处理生态、SQL 成熟度、机器学习上 Spark 占优。
误解二:微批做不到精确一次。 真相:能,靠 offset + 提交协议;两者语义上等价,只是实现不同。
误解三:延迟越低越好。 真相:毫秒延迟要付运维与复杂度成本;多数业务秒级就够。
一句话总结本节
Spark 以有界数据为原生、把流切成微批,延迟有「批间隔」这个结构性下界;Flink 以无界流为原生、把批当有界流,能做到毫秒级与逐条状态更新。两者的容错路径不同(提交协议 vs 屏障 checkpoint),但都能端到端精确一次。选型的关键不是「谁先进」,而是「业务是否真的需要毫秒」——秒级够用时,Spark 的生态与同构技术栈更省成本;毫秒刚需时,Flink 的连续流模型才是正解。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现两种模型的延迟判据:
- 源码:
src/stream/MicroBatch.java(endToEndLatency / latencyFloor)与src/stream/StreamSuite.java;src/tune/Tuner.java(latencyClass)与src/tune/TuneSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
StreamSuite用例 1-2 验证「端到端 = 批间隔 + 处理时间」「延迟下界 = 批间隔」;TuneSuite用例 13-14 验证「连续流毫秒级、微批秒级」的分类。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:原生抽象不同 → 延迟下界不同 → 状态与 checkpoint 模型不同 → 生态与运维成本不同 → 按「是否真需要毫秒」选型——lab 的两个延迟数字就是这条链的起点。
本章组件与失败边界参见 14.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。