11.3 DataFusion 与 Spark 的取舍
前两节分别讲了单机引擎为什么快、执行库与完整引擎怎么分工,但真正落到选型时,问题会变成一句很具体的话:「这个查询该跑在哪里」。答案不由引擎的名气决定,而由三个可量化的量决定:数据量、并发形态、延迟预算。
本节把这三个量做成一张可执行的判据表,再用 lab 用例 96 的三次调用验证它:0.5TB 复杂分析给 DuckDB,500TB 给 Spark,高并发点查给 ClickHouse。
四种形态,一条边界
| 引擎 | 形态 | 规划 | 执行 | 容错 |
|---|---|---|---|---|
| DuckDB | 进程内库 | 自带 | 单机多线程 | 无 |
| DataFusion | 可嵌入库 | 自带,可裁剪 | 单机多线程 | 由宿主决定 |
| Spark | 分布式集群 | 自带 | 多机 + shuffle | 血缘重算 |
| ClickHouse | 独立服务 | 自带 | 多机 + 列存索引 | 副本 |
这四者不是同一层的竞品:DuckDB 与 DataFusion 是「库」,Spark 是「集群」,ClickHouse 是「服务」。选型的第一步不是比性能,而是先确定你要的是库、集群还是服务——这由部署方式与运维能力决定,与技术指标无关。
DataFusion:可嵌入的规划与执行
DataFusion 用 Rust 写、以 Arrow 作为内存格式,提供 SQL 解析、逻辑计划、优化规则与向量化执行,并且这些层可以按需裁剪:只要执行不要优化器,或者只要规划不要执行,都能拆开用。
| 层 | 是否可替换 | 典型用途 |
|---|---|---|
| SQL 前端 | 可绕过,直接构造计划 | 用自己的 DSL |
| 逻辑计划与优化 | 可增删规则 | 加领域专用下推 |
| 物理计划 | 可替换算子 | 接自己的存储 |
| 执行 | 可只用算子 | 嵌进已有系统 |
DataFusion 的选型问题不是「用不用它」,而是「要不要自己造一个引擎」。如果一个产品需要在自己的进程里跑 SQL(可观测性平台、数据文件查看器、边缘侧分析),那么引入一个可嵌入的规划加执行框架,比从零写解析器和算子便宜得多;如果只是要跑几条分析查询,直接用完整引擎更省事。
Arrow 作为内存格式是它的第二个价值:与 3.1 节的 parquet、与 Python 生态的零拷贝交换都建立在这个格式上。格式统一省掉的是序列化,而序列化恰恰是跨语言管道里最容易被低估的一项。
Spark:血缘重算与 shuffle 的代价
Spark 的能力与代价是同一件事的两面:
| 能力 | 实现方式 | 代价 |
|---|---|---|
| 容错 | 血缘重算,丢了分区就重算 | 长血缘链重算代价高 |
| 大规模 join | shuffle 按 key 重分布 | 落盘 + 网络传输 |
| 弹性 | 按任务申请 executor | 申请与启动有延迟 |
| 通用性 | JVM 上的统一运行时 | 与原生代码有边界开销 |
血缘重算是一个「用计算换存储」的选择:它不复制中间结果,所以省了存储与写放大;代价是一旦某个分区丢失,要沿血缘往回追,把上游重算出来。血缘越长、重算越贵,这也是为什么长链作业要做检查点。
shuffle 是分布式 join 的入场费:两张表要按 key 对齐,就必须把相同 key 的行送到同一个节点,这一步只能落盘加网络。单机引擎没有这笔费用,因为它不需要「送」——这是 11.1 节 625ms 那笔账的另一面。
判据一:数据量
| 数据量 | 可行形态 | 关键约束 |
|---|---|---|
| < 1TB | 单机引擎 | 内存与磁盘容量 |
| 1TB – 100TB | 单机勉强 / 分布式 | 中间结果放大后是否放得下 |
| ≥ 100TB | 分布式 | 单机不可能,必须多机 |
用例 96 的函数把 1TB 与 100TB 设成两条线:低于 1TB 且是复杂分析,返回 duckdb;达到 100TB 及以上,返回 spark。1TB 到 100TB 之间落回默认分支 spark,这是一个保守选择——这一段既可能单机跑得动,也可能跑不动,默认给分布式是「不赌」的做法。
判据二:并发形态
数据量只描述「一次查询要读多少」,不描述「同时有多少查询」。这两种负载对引擎的要求几乎相反:
| 形态 | 单查询特征 | 引擎要求 |
|---|---|---|
| 分析型大查询 | 扫大量数据、算得久 | 高吞吐、可并行、能溢写 |
| 高并发点查 | 每次读极少行、要求稳定低延迟 | 索引、连接复用、并发调度 |
高并发点查在用例 96 里拥有最高优先级:函数第一个分支就判断 highConcurrencyPointQuery,为真直接返回 clickhouse,连数据量都不看。这个顺序是有道理的——点查的延迟预算与扫描量无关,哪怕总数据量很大,单次查询也只碰几行,用 Spark 起一个作业的调度开销就超过查询本身。
判据三:延迟预算
| 预算 | 可接受的形态 | 不可接受的做法 |
|---|---|---|
| 亚秒到秒级交互 | 单机引擎、点查引擎 | 每次查询都起分布式作业 |
| 秒到分钟级 | 单机或小集群 | 全量重算 |
| 分钟到小时级批 | 分布式 | 单机硬扛 |
延迟预算决定的是「固定开销能不能被摊掉」。分布式作业的调度、申请、启动是固定开销,批处理跑几十分钟时它占几个百分点,交互查询跑两秒时它占几百个百分点。同一个引擎在两种预算下的评价可以完全相反。
用例 96 的三次调用
chooseEngine(0.5, true, false) = "duckdb" // 0.5TB 复杂分析
chooseEngine(500, true, false) = "spark" // 500TB 复杂分析
chooseEngine(1.0, false, true ) = "clickhouse" // 1TB 高并发点查
| 调用 | 数据量 | 复杂分析 | 高并发点查 | 返回 | 判据生效顺序 |
|---|---|---|---|---|---|
| 第一次 | 0.5TB | 是 | 否 | duckdb | 量 < 1TB 且复杂 |
| 第二次 | 500TB | 是 | 否 | spark | 量 ≥ 100TB |
| 第三次 | 1.0TB | 否 | 是 | clickhouse | 并发形态优先 |
三次调用之间数据量相差 1000 倍(公式推导:500 ÷ 0.5),结论从单机翻到分布式。第三次调用最能说明判据的优先级:1TB 既不在「< 1TB」区间,也不在「≥ 100TB」区间,本该落回默认的 spark,但因为并发形态是点查,被第一个分支截走了。
判据的反例:小数据也需要多机
判据表有一个必须记住的反例:数据量小,不代表该用单机引擎。
| 场景 | 数据量 | 单机是否够快 | 是否该用单机 |
|---|---|---|---|
| 一次性分析 | 0.5TB | 是 | 是 |
| 每天定时产出、失败要自动重跑 | 0.5TB | 是 | 否,需要多机容错 |
| 多团队共享、需要隔离与配额 | 0.5TB | 是 | 否,需要资源管理 |
| 数据在异地多机房 | 0.5TB | 否,受带宽限制 | 否,需要就近计算 |
这四行的共同点是:性能不是唯一约束。单机引擎没有任务重试、没有资源隔离、没有跨机房调度,数据再小也补不上这三项。反过来,如果这三项都不需要,「数据小所以上集群」就是纯浪费。
把判据写成一句话
| 先问 | 再看 | 结论 |
|---|---|---|
| 需要多机容错/隔离吗 | 需要 | 分布式,量小也上 |
| 高并发点查吗 | 是 | 点查引擎(用例 96:clickhouse) |
| 量 < 1TB 且复杂分析吗 | 是 | 单机引擎(用例 96:duckdb) |
| 量 ≥ 100TB 吗 | 是 | 分布式(用例 96:spark) |
| 以上都不是 | — | 默认分布式,先测再定 |
判据的顺序比判据本身更重要。把「数据量」放在第一位,就会把高并发点查误判成 Spark 作业;把「容错需求」放在最后,就会在定时任务上用单机引擎然后天天手工重跑。
三种失败模式
判据表回答「选哪个」,失败模式回答「选错之后会怎么坏」:
| 引擎 | 典型失败 | 症状 | 处置 |
|---|---|---|---|
| DuckDB | 中间结果超内存 | 溢写后陡慢或直接失败 | 降并行、拆查询、加内存 |
| DataFusion | 宿主未补容错 | 进程崩溃即整个查询失败 | 由宿主加检查点与重试 |
| Spark | shuffle 倾斜 | 少数任务长尾拖住整个 stage | 运行时拆分倾斜分区(9.3 节) |
| ClickHouse | 点查并发打满 | 延迟抖动、排队 | 限并发、加副本、读写分离 |
四种失败里只有 Spark 的那一种是「自己会处理」:AQE 能在运行时发现倾斜并拆分分区。其余三种都要人来兜底,所以选型时要问的第三个问题是「失败之后谁来收拾」。
迁移成本也是判据
三个技术判据之外,还有一笔常被忽略的账:迁移与运维成本。
| 迁移方向 | 要改什么 | 主要风险 |
|---|---|---|
| 集群到单机 | 调度、重试、数据布局 | 失去自动重跑 |
| 单机到集群 | 分区键、shuffle 策略 | 倾斜与数据搬移 |
| 换执行库 | 算子语义、类型系统 | 结果口径漂移 |
| 换服务 | 协议、权限、计费模型 | 成本不可预期 |
换执行库时最隐蔽的风险是语义漂移:同一个函数名在两边对 NULL、对溢出的处理可能不同,查询不报错但结果不一致。这类问题不会在压测里暴露,只会在对账时暴露。
三个常见误解
误解一:数据量是选型的唯一判据。 真相:用例 96 里 1TB 的高并发点查返回 clickhouse 而不是 spark,并发形态的优先级高于数据量,因为点查的延迟与扫描总量无关。
误解二:数据小就一定该用单机引擎。 真相:需要自动重跑、资源隔离或多机房就近计算时,0.5TB 也得上分布式;容错与隔离是能力问题,不是性能问题。
误解三:DataFusion 是 Spark 的轻量替代品。 真相:它是可嵌入的规划与执行库,不提供集群调度与容错;它替代的是「自己从零写引擎」,不是「部署一个 Spark 集群」。
一句话总结本节
引擎选型由三个量决定:数据量(1TB 与 100TB 两条线)、并发形态(分析型大查询 vs 高并发点查)、延迟预算(秒级交互 vs 分钟级批)。用例 96 的三次调用给出结论:0.5TB 复杂分析选 DuckDB,500TB 选 Spark,1TB 高并发点查选 ClickHouse,两者数据量相差 1000 倍;但判据有反例——需要多机容错、隔离或跨机房时,数据再小也不该用单机引擎。
本节 lab
在 bd-engine-lab 中验证引擎选型的三条判据:
- 源码:
src/storage/Storage.java与src/storage/StorageSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 96 同时验证三次调用——
chooseEngine(0.5, true, false)返回duckdb(0.5TB 复杂分析走单机)、chooseEngine(500, true, false)返回spark(500TB 走分布式)、chooseEngine(1.0, false, true)返回clickhouse(高并发点查优先于数据量)。 - 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:拿到一条查询 → 先问是否需要多机容错与隔离 → 再看是不是高并发点查 → 然后看数据量落在 1TB 以下还是 100TB 以上 → 最后用延迟预算校验,秒级交互不能每次起分布式作业。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。