《大规模分布式计算深入解析》13.1 读源与分区发现:Spark 眼里的文件

Spark 读文件时做三件事:列举目录、按分区列推断、按块切分。分区发现决定「看得见多少数据」,分片大小决定「并行度多少」,小文件则同时拖慢列举与读取。本节讲文件源的三种组织方式、分区发现的两种模式,以及为什么「几千个小文件」比「一个 10GB 大文件」更慢。

13.1 读源与分区发现:Spark 眼里的文件

第 13 章讲 Spark 与存储的边界。读是这条边界的入口:Spark 不认识「表」,它认识的是「目录 + 文件 + 分片」。理解这一点,才能理解为什么某些查询读得慢、为什么小文件是灾难。

文件源的三种组织

组织例子分区来源
无分区目录/data/sales/*.parquet无
分区目录/data/sales/dt=2026-11-15/*.parquet目录名中的 列=值
表格式(Hive/Delta/Iceberg)db.sales元数据或表日志

前两者靠「扫描目录」推断分区,后者靠「读元数据」。这个差别在数据量大时非常明显:目录里有十万个分区目录,扫描本身就要几十秒。

分区发现:看得见才修剪得了

lab 的 Tuner.discoveredPartitions(3, 4, true) 返回 12(用例 8):3 个一级分区 × 4 个子目录,开启分区发现后可见 12 个目录;discoveredPartitions(3, 4, false) 返回 3(用例 9):不进入子目录时只看到 3 个。

模式行为适用
自动发现(basePath)扫描目录树,推断分区列分区结构稳定
显式指定用户给出分区列表/路径分区极多、只读少数
关闭发现只读 basePath 一层数据不按目录分区

自动发现方便但有代价:每次查询都要列举目录。分区数上万时,「找出有哪些分区」比「读数据」还慢——所以大表常常改成显式指定路径,或改用元数据驱动的表格式。

分片:并行度的来源

文件读入被切成「分片」(split),每个分片一个任务:

因素影响
文件大小大文件按块大小切分
块大小(HDFS block)切分粒度,默认 128MB
是否可切分压缩格式(gzip)不可切分

不可切分的压缩格式是并行度的杀手:一个 10GB 的 gzip 文件只能被一个任务读,其余核全闲着。这也是「大文件用 Parquet(可切分)+ 压缩」的原因。

小文件为什么是灾难

开销说明
列举每个文件一次元数据请求
打开每个文件一个 reader,有初始化成本
任务数每个文件(或小文件组合)一个任务
元数据NameNode 内存按文件数增长

1000 个 10MB 文件与 10 个 1GB 文件,总数据一样,但前者慢得多。合并小文件(读时合并、写时控制分区数)是最常见的存储治理动作。

读源时的三个决策

读完这一节,可以形成一个读源检查:

决策依据
用哪种源能按目录分区就用目录;能上表格式就上
分区发现怎么开分区数可控就自动;上万就显式指定
分片是否合理确认输入格式可切分、块大小合理

读的成本估算

一个粗略的估算方法:

读时间 ≈ (数据量 / 网络带宽) + (文件数 × 打开开销) + 反序列化
数据量文件数主导成本
10GB10网络/磁盘
10GB10000文件打开与任务调度
100MB100调度开销可能超过读取

「小数据 + 多文件」是最糟的组合:任务开销与文件开销都被放大,而真正干活的时间很小。

表格式带来的变化

能力目录分区表格式
分区发现扫描目录读元数据/日志
快照无有(时间旅行)
增量读手写逻辑原生支持
小文件合并手工有 compaction

表格式把「目录列举」换成了「读一份清单」,这正是它们在分区数巨大时更快的根本原因。13.3 会讲列式文件格式,两者常配合使用。

与 9.3 的联系

9.3 讲分区修剪:静态修剪看查询条件,动态修剪用另一侧的结果。修剪的前提是「分区被发现」——看得见 12 个分区,才可能只读其中 1 个。所以读源的配置顺序是:

先让分区能被发现(目录规范 + 发现开关)
→ 再让修剪能生效(条件写法 + 统计信息)
→ 最后才是并行度(分片大小)

顺序反了会白忙:分区都看不见,条件写得再好也修不掉。

分片是怎么算出来的

一个简单模型:

分片数 = ceil(文件大小 / 分片大小)
文件分片大小分片数
1GB128MB8
100MB128MB1
10GB(可切分)256MB40
10GB(gzip,不可切分)—1

分片大小可配(split.maxsize 等),调小能提高并行度,但增加任务数。默认值通常与 HDFS 块大小对齐——因为「本地读」的前提就是「分片与块对齐」。

哪些格式可切分

格式可切分说明
未压缩文本是按行边界切
Parquet/ORC + 块压缩是有偏移索引
gzip 压缩文本否必须从头解压
bzip2是(块级)依赖块结构
单文件 JSON(无换行)否无法找记录边界

「用 gzip 存大文件」是并行度杀手:10GB 只能一个任务读,其余核闲着。要压缩又想要并行,就选「块压缩的列式格式」。

读源的两种失败模式

读文件最常见的两类问题都不是「读不出来」,而是「读多了」或「读少了」:

模式表现原因
读多了扫了不该扫的分区分区发现范围过大、条件未修剪
读少了结果缺数据分区发现范围过小、路径写错

「读少了」更危险:它不报错,只是静默地少算。自动分区发现配合「显式指定 basePath」时,路径写错一层就可能只读到部分目录——所以「行数对不上」时先查读源范围。

三个常见误解

误解一:目录里的文件会自动被并行读。 真相:并行度由分片决定;不可切分的压缩格式会把并行度锁死。

误解二:分区发现总是好事。 真相:分区上万时,列举目录本身成为瓶颈;此时应显式指定或改用表格式。

误解三:小文件只影响存储成本。 真相:它还拖慢列举、增加任务数、放大调度开销——读取性能直接受损。

一句话总结本节

Spark 读的是「目录 + 文件 + 分片」:分区由目录名(列=值)或表元数据推断,分片决定并行度。分区发现决定「看得见多少、能修剪多少」,自动发现方便但列举有成本,分区上万时应显式指定或改用表格式。小文件同时放大列举、打开与调度开销;不可切分的压缩格式会把并行度锁死。读源配置的顺序是先让分区可见,再让修剪生效,最后调分片并行度。

本章实现对照

Spark SQL 数据源接口

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现分区发现的量化影响:

  • 源码:src/tune/Tuner.java(discoveredPartitions)与 src/tune/TuneSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:TuneSuite 用例 8 验证「开启分区发现看到 12 个目录(3 × 4)」;用例 9 验证「关闭时只看到 3 个」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:目录即分区 → 发现决定可见范围 → 分片决定并行 → 小文件放大开销 → 表格式用元数据替代列举——lab 的 12 与 3 就是这条链的入口差异。

机制边界与故障路径

目录分区、文件split和运行时任务是不同层。目录发现与谓词裁剪不保证所有reader跳过相同字节,实际文件/行组读取需单独计量。

flowchart LR
    C["Catalog/路径与schema"] --> D["目录分区发现"] --> P["分区谓词裁剪"]
    P --> FILES["候选文件清单"] --> SPLIT["格式/压缩决定split"]
    SPLIT --> READER["扫描列与文件统计过滤"] --> TASK["实际输入task"]
    STATS["文件/行组元数据"] --> READER
    TASK --> OBS["候选数与实际read bytes分别记录"]

这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路