14.3 统一批流:Lambda、Kappa 与表格式
「批流一体」被讲了十年,但真正的问题不是「能不能统一」,而是**「用哪一层统一、付出什么代价」**。这一节把三条路径摆出来比较。
Lambda 架构:两条链路
Lambda 的思路是「各司其职」:
实时层(流):处理最近数据,给低延迟但可能不精确的结果
批处理层(批):周期性重算,给准确结果
服务层:合并两者对外提供
| 维度 | 实时层 | 批处理层 |
|---|---|---|
| 延迟 | 秒级 | 小时/天级 |
| 准确性 | 近似(可能重复/丢失) | 精确 |
| 代码 | 一套流逻辑 | 另一套批逻辑 |
最大的代价是「两套代码、两套口径」:同一个指标在流和批里各写一遍,上线后发现数值对不上——这是 Lambda 最经典的运维债。
Kappa 架构:只保留流
Kappa 的反驳是「批只是流的历史重放」:
所有数据都进流
需要重算历史 → 重新消费(从 offset 0 开始)→ 得到与批一致的结果
| 优点 | 代价 |
|---|---|
| 一份代码 | 重放要能承受吞吐 |
| 一套口径 | 历史数据必须保留足够久 |
| 实时是默认 | 流引擎的稳定性要求高 |
Kappa 成立的前提是「历史可重放 + 流引擎足够稳」:如果 Kafka 保留期只有 7 天,「重放三个月历史」就做不到;如果流作业频繁故障,重放本身也很痛苦。
第三条路:同一份代码、两种模式
Spark 结构化流与 Flink 都支持「同一段逻辑,批模式与流模式各跑一次」:
| 框架 | 实现 |
|---|---|
| Spark | read vs readStream,逻辑相同 |
| Flink | DataStream 批/流模式切换 |
lab 的 MicroBatch.exactlyOnce(true) 返回 true(用例 9):事务性 sink 是端到端精确一次的必要条件;exactlyOnce(false) 返回 false(用例 10):普通 sink 只能做到至少一次。统一模型不改变语义要求:批与流共享的是逻辑,不是「免费的一致性」。
| 统一的部分 | 仍需分别处理的部分 |
|---|---|
| 查询逻辑 | 源与 sink 的语义 |
| 算子与优化 | 延迟与批间隔 |
| 状态管理模型 | 运维与监控 |
表格式:批流共用的底座
第三代统一的关键是「存储层统一」:
| 能力 | 传统 Hive 表 | 数据湖表格式 |
|---|---|---|
| 批写 | 支持 | 支持 |
| 流写 | 不支持/勉强 | 原生(增量提交) |
| 快照/时间旅行 | 无 | 有 |
| 并发读写 | 弱 | 事务保证 |
| 增量读 | 手写 | 原生 |
当批与流写的是同一张表,口径问题从根上消失。表格式(Iceberg/Delta/Hudi)用事务日志把「一次写入」变成「一个可读快照」,批作业与流作业因此可以安全地写同一张表。
三种统一路径的对比
| 路径 | 统一在哪 | 主要代价 |
|---|---|---|
| Lambda | 不统一 | 两套代码与口径 |
| Kappa | 流引擎 | 重放成本、历史保留期 |
| 同代码两模式 | 逻辑层 | sink 语义仍要分别配置 |
| 表格式 | 存储层 | 需要引入新表格式与运维 |
实践中常常是「组合」:逻辑统一(同一份代码)+ 存储统一(同一张表)+ sink 语义按需配置。纯粹的 Lambda 与纯粹的 Kappa 都少见。
统一的判据
什么时候该追求统一?
| 判据 | 倾向统一 | 倾向分开 |
|---|---|---|
| 批与流的指标必须一致 | 是 | — |
| 团队规模小 | 是 | — |
| 延迟要求毫秒 | — | 分开(批走 Spark、流走 Flink) |
| 已有成熟两套系统 | — | 分开(迁移成本高) |
「口径一致」是最强的统一动机:只要批与流给出同一个指标,就值得统一;反之,如果两个链路服务完全不同的业务,统一只是增加耦合。
重放的成本
无论 Kappa 还是表格式,「重放」都是绕不开的能力:
| 重放场景 | 成本来源 |
|---|---|
| 修 bug 后重算历史 | 全量重读 + 重算 |
| 新指标上线 | 从头算一遍 |
| 回填某段时间 | 按区间重算 |
可重放性依赖三件事:数据保留期、源顺序的确定性、作业的确定性(7.3)。三者缺一,重放就不可靠。
lab 里的「统一」判据
| 判据 | 函数 |
|---|---|
| 端到端延迟 | endToEndLatency / latencyFloor |
| 精确一次 | exactlyOnce |
| 输出模式 | outputMode |
统一的是「查询逻辑」;延迟与一致性仍由各自的运行时参数决定——这正是「统一不等于免费」的量化表达。
重放成本的量化
把重放成本拆开估算:
重放成本 ≈ 重读数据量 / 带宽 + 重算 DAG 时间 + 写出时间
| 场景 | 重读量 | 主导成本 |
|---|---|---|
| 回填一天 | 一天分区 | 计算 |
| 修复 bug 全量重算 | 全部历史 | 读 + 算 |
| 新增指标回填 | 全部历史 | 读 + 算 |
「历史保留多久」直接决定「能回填多远」。保留 7 天就只能回填 7 天,除非另有冷备——这是 Kappa 架构最现实的约束。
统一可以分三层做
| 层 | 统一方式 | 成熟度 |
|---|---|---|
| 逻辑层 | 同一份查询代码 | 高 |
| 存储层 | 同一张表格式 | 高 |
| 资源层 | 同一个集群调度 | 中 |
分层统一的好处是「可以只做其中一层」:逻辑统一最便宜,存储统一收益最大,资源统一最复杂。
三个常见误解
误解一:批流一体就是一套代码跑两种模式。 真相:逻辑可以统一,sink 语义、延迟、运维仍需分别考虑。
误解二:Kappa 一定优于 Lambda。 真相:Kappa 要求历史可重放与流引擎稳定;做不到时 Lambda 的批链路更可控。
误解三:统一之后口径问题自动消失。 真相:只有「写同一张表 + 同一份逻辑」时口径才真正一致;否则仍是两套。
一句话总结本节
Lambda 用批 + 流两条链路换准确与实时,代价是两套代码与口径;Kappa 只保留流、用历史重放补准确,代价是重放成本与保留期约束;第三条路是「同一份逻辑、两种运行模式」,再叠加数据湖表格式把存储也统一。统一的真正收益是口径一致,而不是少写代码;而统一不免费——延迟、sink 语义、运维仍各自独立。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现统一模型下的语义判据:
- 源码:
src/stream/MicroBatch.java(exactlyOnce / outputMode)与src/stream/StreamSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
StreamSuite用例 9-10 验证「事务性 sink → 精确一次,普通 sink → 至少一次」;用例 6-8 验证「append/update/complete 由查询形态决定」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:Lambda 两套口径 → Kappa 靠重放 → 同代码两模式统一逻辑 → 表格式统一存储 → 收益是口径一致、代价各自承担——lab 的 exactlyOnce 判定就是这条链的底线。
本章组件与失败边界参见 14.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。