《大规模分布式计算深入解析》11.3 DataFusion 与 Spark 的取舍

0.5TB 复杂分析选 DuckDB、500TB 选 Spark、高并发点查选 ClickHouse,三条判据分别是数据量、并发形态与延迟预算。数据量差 1000 倍时结论会翻转,但小数据加多机容错是判据的反例:量小不等于该用单机。

11.3 DataFusion 与 Spark 的取舍

前两节分别讲了单机引擎为什么快、执行库与完整引擎怎么分工,但真正落到选型时,问题会变成一句很具体的话:「这个查询该跑在哪里」。答案不由引擎的名气决定,而由三个可量化的量决定:数据量、并发形态、延迟预算。

本节把这三个量做成一张可执行的判据表,再用 lab 用例 96 的三次调用验证它:0.5TB 复杂分析给 DuckDB,500TB 给 Spark,高并发点查给 ClickHouse。

四种形态,一条边界

引擎形态规划执行容错
DuckDB进程内库自带单机多线程无
DataFusion可嵌入库自带,可裁剪单机多线程由宿主决定
Spark分布式集群自带多机 + shuffle血缘重算
ClickHouse独立服务自带多机 + 列存索引副本

这四者不是同一层的竞品:DuckDB 与 DataFusion 是「库」,Spark 是「集群」,ClickHouse 是「服务」。选型的第一步不是比性能,而是先确定你要的是库、集群还是服务——这由部署方式与运维能力决定,与技术指标无关。

DataFusion:可嵌入的规划与执行

DataFusion 用 Rust 写、以 Arrow 作为内存格式,提供 SQL 解析、逻辑计划、优化规则与向量化执行,并且这些层可以按需裁剪:只要执行不要优化器,或者只要规划不要执行,都能拆开用。

层是否可替换典型用途
SQL 前端可绕过,直接构造计划用自己的 DSL
逻辑计划与优化可增删规则加领域专用下推
物理计划可替换算子接自己的存储
执行可只用算子嵌进已有系统

DataFusion 的选型问题不是「用不用它」,而是「要不要自己造一个引擎」。如果一个产品需要在自己的进程里跑 SQL(可观测性平台、数据文件查看器、边缘侧分析),那么引入一个可嵌入的规划加执行框架,比从零写解析器和算子便宜得多;如果只是要跑几条分析查询,直接用完整引擎更省事。

Arrow 作为内存格式是它的第二个价值:与 3.1 节的 parquet、与 Python 生态的零拷贝交换都建立在这个格式上。格式统一省掉的是序列化,而序列化恰恰是跨语言管道里最容易被低估的一项。

Spark:血缘重算与 shuffle 的代价

Spark 的能力与代价是同一件事的两面:

能力实现方式代价
容错血缘重算,丢了分区就重算长血缘链重算代价高
大规模 joinshuffle 按 key 重分布落盘 + 网络传输
弹性按任务申请 executor申请与启动有延迟
通用性JVM 上的统一运行时与原生代码有边界开销

血缘重算是一个「用计算换存储」的选择:它不复制中间结果,所以省了存储与写放大;代价是一旦某个分区丢失,要沿血缘往回追,把上游重算出来。血缘越长、重算越贵,这也是为什么长链作业要做检查点。

shuffle 是分布式 join 的入场费:两张表要按 key 对齐,就必须把相同 key 的行送到同一个节点,这一步只能落盘加网络。单机引擎没有这笔费用,因为它不需要「送」——这是 11.1 节 625ms 那笔账的另一面。

判据一:数据量

数据量可行形态关键约束
< 1TB单机引擎内存与磁盘容量
1TB – 100TB单机勉强 / 分布式中间结果放大后是否放得下
≥ 100TB分布式单机不可能,必须多机

用例 96 的函数把 1TB 与 100TB 设成两条线:低于 1TB 且是复杂分析,返回 duckdb;达到 100TB 及以上,返回 spark。1TB 到 100TB 之间落回默认分支 spark,这是一个保守选择——这一段既可能单机跑得动,也可能跑不动,默认给分布式是「不赌」的做法。

判据二:并发形态

数据量只描述「一次查询要读多少」,不描述「同时有多少查询」。这两种负载对引擎的要求几乎相反:

形态单查询特征引擎要求
分析型大查询扫大量数据、算得久高吞吐、可并行、能溢写
高并发点查每次读极少行、要求稳定低延迟索引、连接复用、并发调度

高并发点查在用例 96 里拥有最高优先级:函数第一个分支就判断 highConcurrencyPointQuery,为真直接返回 clickhouse,连数据量都不看。这个顺序是有道理的——点查的延迟预算与扫描量无关,哪怕总数据量很大,单次查询也只碰几行,用 Spark 起一个作业的调度开销就超过查询本身。

判据三:延迟预算

预算可接受的形态不可接受的做法
亚秒到秒级交互单机引擎、点查引擎每次查询都起分布式作业
秒到分钟级单机或小集群全量重算
分钟到小时级批分布式单机硬扛

延迟预算决定的是「固定开销能不能被摊掉」。分布式作业的调度、申请、启动是固定开销,批处理跑几十分钟时它占几个百分点,交互查询跑两秒时它占几百个百分点。同一个引擎在两种预算下的评价可以完全相反。

用例 96 的三次调用

chooseEngine(0.5,  true,  false) = "duckdb"      // 0.5TB 复杂分析
chooseEngine(500,  true,  false) = "spark"       // 500TB 复杂分析
chooseEngine(1.0,  false, true ) = "clickhouse"  // 1TB 高并发点查
调用数据量复杂分析高并发点查返回判据生效顺序
第一次0.5TB是否duckdb量 < 1TB 且复杂
第二次500TB是否spark量 ≥ 100TB
第三次1.0TB否是clickhouse并发形态优先

三次调用之间数据量相差 1000 倍(公式推导:500 ÷ 0.5),结论从单机翻到分布式。第三次调用最能说明判据的优先级:1TB 既不在「< 1TB」区间,也不在「≥ 100TB」区间,本该落回默认的 spark,但因为并发形态是点查,被第一个分支截走了。

判据的反例:小数据也需要多机

判据表有一个必须记住的反例:数据量小,不代表该用单机引擎。

场景数据量单机是否够快是否该用单机
一次性分析0.5TB是是
每天定时产出、失败要自动重跑0.5TB是否,需要多机容错
多团队共享、需要隔离与配额0.5TB是否,需要资源管理
数据在异地多机房0.5TB否,受带宽限制否,需要就近计算

这四行的共同点是:性能不是唯一约束。单机引擎没有任务重试、没有资源隔离、没有跨机房调度,数据再小也补不上这三项。反过来,如果这三项都不需要,「数据小所以上集群」就是纯浪费。

把判据写成一句话

先问再看结论
需要多机容错/隔离吗需要分布式,量小也上
高并发点查吗是点查引擎(用例 96:clickhouse)
量 < 1TB 且复杂分析吗是单机引擎(用例 96:duckdb)
量 ≥ 100TB 吗是分布式(用例 96:spark)
以上都不是—默认分布式,先测再定

判据的顺序比判据本身更重要。把「数据量」放在第一位,就会把高并发点查误判成 Spark 作业;把「容错需求」放在最后,就会在定时任务上用单机引擎然后天天手工重跑。

三种失败模式

判据表回答「选哪个」,失败模式回答「选错之后会怎么坏」:

引擎典型失败症状处置
DuckDB中间结果超内存溢写后陡慢或直接失败降并行、拆查询、加内存
DataFusion宿主未补容错进程崩溃即整个查询失败由宿主加检查点与重试
Sparkshuffle 倾斜少数任务长尾拖住整个 stage运行时拆分倾斜分区(9.3 节)
ClickHouse点查并发打满延迟抖动、排队限并发、加副本、读写分离

四种失败里只有 Spark 的那一种是「自己会处理」:AQE 能在运行时发现倾斜并拆分分区。其余三种都要人来兜底,所以选型时要问的第三个问题是「失败之后谁来收拾」。

迁移成本也是判据

三个技术判据之外,还有一笔常被忽略的账:迁移与运维成本。

迁移方向要改什么主要风险
集群到单机调度、重试、数据布局失去自动重跑
单机到集群分区键、shuffle 策略倾斜与数据搬移
换执行库算子语义、类型系统结果口径漂移
换服务协议、权限、计费模型成本不可预期

换执行库时最隐蔽的风险是语义漂移:同一个函数名在两边对 NULL、对溢出的处理可能不同,查询不报错但结果不一致。这类问题不会在压测里暴露,只会在对账时暴露。

三个常见误解

误解一:数据量是选型的唯一判据。 真相:用例 96 里 1TB 的高并发点查返回 clickhouse 而不是 spark,并发形态的优先级高于数据量,因为点查的延迟与扫描总量无关。

误解二:数据小就一定该用单机引擎。 真相:需要自动重跑、资源隔离或多机房就近计算时,0.5TB 也得上分布式;容错与隔离是能力问题,不是性能问题。

误解三:DataFusion 是 Spark 的轻量替代品。 真相:它是可嵌入的规划与执行库,不提供集群调度与容错;它替代的是「自己从零写引擎」,不是「部署一个 Spark 集群」。

一句话总结本节

引擎选型由三个量决定:数据量(1TB 与 100TB 两条线)、并发形态(分析型大查询 vs 高并发点查)、延迟预算(秒级交互 vs 分钟级批)。用例 96 的三次调用给出结论:0.5TB 复杂分析选 DuckDB,500TB 选 Spark,1TB 高并发点查选 ClickHouse,两者数据量相差 1000 倍;但判据有反例——需要多机容错、隔离或跨机房时,数据再小也不该用单机引擎。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证引擎选型的三条判据:

  • 源码:src/storage/Storage.java 与 src/storage/StorageSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 96 同时验证三次调用——chooseEngine(0.5, true, false) 返回 duckdb(0.5TB 复杂分析走单机)、chooseEngine(500, true, false) 返回 spark(500TB 走分布式)、chooseEngine(1.0, false, true) 返回 clickhouse(高并发点查优先于数据量)。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:拿到一条查询 → 先问是否需要多机容错与隔离 → 再看是不是高并发点查 → 然后看数据量落在 1TB 以下还是 100TB 以上 → 最后用延迟预算校验,秒级交互不能每次起分布式作业。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图