《大规模分布式计算深入解析》14.3 统一批流:Lambda、Kappa 与表格式

Lambda 架构用两条链路(批 + 流)分别保证准确与实时,代价是两套代码、两套口径;Kappa 架构只保留流,用重放历史来补准确,代价是「重放成本」与「顺序约束」。第三代统一趋势是「同一份代码、两种运行模式」,而数据湖表格式让批与流共用同一张表。本节比较三条路径的代价。

14.3 统一批流:Lambda、Kappa 与表格式

「批流一体」被讲了十年,但真正的问题不是「能不能统一」,而是**「用哪一层统一、付出什么代价」**。这一节把三条路径摆出来比较。

Lambda 架构:两条链路

Lambda 的思路是「各司其职」:

实时层(流):处理最近数据,给低延迟但可能不精确的结果
批处理层(批):周期性重算,给准确结果
服务层:合并两者对外提供
维度实时层批处理层
延迟秒级小时/天级
准确性近似(可能重复/丢失)精确
代码一套流逻辑另一套批逻辑

最大的代价是「两套代码、两套口径」:同一个指标在流和批里各写一遍,上线后发现数值对不上——这是 Lambda 最经典的运维债。

Kappa 架构:只保留流

Kappa 的反驳是「批只是流的历史重放」:

所有数据都进流
需要重算历史 → 重新消费(从 offset 0 开始)→ 得到与批一致的结果
优点代价
一份代码重放要能承受吞吐
一套口径历史数据必须保留足够久
实时是默认流引擎的稳定性要求高

Kappa 成立的前提是「历史可重放 + 流引擎足够稳」:如果 Kafka 保留期只有 7 天,「重放三个月历史」就做不到;如果流作业频繁故障,重放本身也很痛苦。

第三条路:同一份代码、两种模式

Spark 结构化流与 Flink 都支持「同一段逻辑,批模式与流模式各跑一次」:

框架实现
Sparkread vs readStream,逻辑相同
FlinkDataStream 批/流模式切换

lab 的 MicroBatch.exactlyOnce(true) 返回 true(用例 9):事务性 sink 是端到端精确一次的必要条件;exactlyOnce(false) 返回 false(用例 10):普通 sink 只能做到至少一次。统一模型不改变语义要求:批与流共享的是逻辑,不是「免费的一致性」。

统一的部分仍需分别处理的部分
查询逻辑源与 sink 的语义
算子与优化延迟与批间隔
状态管理模型运维与监控

表格式:批流共用的底座

第三代统一的关键是「存储层统一」:

能力传统 Hive 表数据湖表格式
批写支持支持
流写不支持/勉强原生(增量提交)
快照/时间旅行无有
并发读写弱事务保证
增量读手写原生

当批与流写的是同一张表,口径问题从根上消失。表格式(Iceberg/Delta/Hudi)用事务日志把「一次写入」变成「一个可读快照」,批作业与流作业因此可以安全地写同一张表。

三种统一路径的对比

路径统一在哪主要代价
Lambda不统一两套代码与口径
Kappa流引擎重放成本、历史保留期
同代码两模式逻辑层sink 语义仍要分别配置
表格式存储层需要引入新表格式与运维

实践中常常是「组合」:逻辑统一(同一份代码)+ 存储统一(同一张表)+ sink 语义按需配置。纯粹的 Lambda 与纯粹的 Kappa 都少见。

统一的判据

什么时候该追求统一?

判据倾向统一倾向分开
批与流的指标必须一致是—
团队规模小是—
延迟要求毫秒—分开(批走 Spark、流走 Flink)
已有成熟两套系统—分开(迁移成本高)

「口径一致」是最强的统一动机:只要批与流给出同一个指标,就值得统一;反之,如果两个链路服务完全不同的业务,统一只是增加耦合。

重放的成本

无论 Kappa 还是表格式,「重放」都是绕不开的能力:

重放场景成本来源
修 bug 后重算历史全量重读 + 重算
新指标上线从头算一遍
回填某段时间按区间重算

可重放性依赖三件事:数据保留期、源顺序的确定性、作业的确定性(7.3)。三者缺一,重放就不可靠。

lab 里的「统一」判据

判据函数
端到端延迟endToEndLatency / latencyFloor
精确一次exactlyOnce
输出模式outputMode

统一的是「查询逻辑」;延迟与一致性仍由各自的运行时参数决定——这正是「统一不等于免费」的量化表达。

重放成本的量化

把重放成本拆开估算:

重放成本 ≈ 重读数据量 / 带宽 + 重算 DAG 时间 + 写出时间
场景重读量主导成本
回填一天一天分区计算
修复 bug 全量重算全部历史读 + 算
新增指标回填全部历史读 + 算

「历史保留多久」直接决定「能回填多远」。保留 7 天就只能回填 7 天,除非另有冷备——这是 Kappa 架构最现实的约束。

统一可以分三层做

层统一方式成熟度
逻辑层同一份查询代码高
存储层同一张表格式高
资源层同一个集群调度中

分层统一的好处是「可以只做其中一层」:逻辑统一最便宜,存储统一收益最大,资源统一最复杂。

三个常见误解

误解一:批流一体就是一套代码跑两种模式。 真相:逻辑可以统一,sink 语义、延迟、运维仍需分别考虑。

误解二:Kappa 一定优于 Lambda。 真相:Kappa 要求历史可重放与流引擎稳定;做不到时 Lambda 的批链路更可控。

误解三:统一之后口径问题自动消失。 真相:只有「写同一张表 + 同一份逻辑」时口径才真正一致;否则仍是两套。

一句话总结本节

Lambda 用批 + 流两条链路换准确与实时,代价是两套代码与口径;Kappa 只保留流、用历史重放补准确,代价是重放成本与保留期约束;第三条路是「同一份逻辑、两种运行模式」,再叠加数据湖表格式把存储也统一。统一的真正收益是口径一致,而不是少写代码;而统一不免费——延迟、sink 语义、运维仍各自独立。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现统一模型下的语义判据:

  • 源码:src/stream/MicroBatch.java(exactlyOnce / outputMode)与 src/stream/StreamSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:StreamSuite 用例 9-10 验证「事务性 sink → 精确一次,普通 sink → 至少一次」;用例 6-8 验证「append/update/complete 由查询形态决定」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:Lambda 两套口径 → Kappa 靠重放 → 同代码两模式统一逻辑 → 表格式统一存储 → 收益是口径一致、代价各自承担——lab 的 exactlyOnce 判定就是这条链的底线。

本章组件与失败边界参见 14.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路