13.1 读源与分区发现:Spark 眼里的文件
第 13 章讲 Spark 与存储的边界。读是这条边界的入口:Spark 不认识「表」,它认识的是「目录 + 文件 + 分片」。理解这一点,才能理解为什么某些查询读得慢、为什么小文件是灾难。
文件源的三种组织
| 组织 | 例子 | 分区来源 |
|---|---|---|
| 无分区目录 | /data/sales/*.parquet | 无 |
| 分区目录 | /data/sales/dt=2026-11-15/*.parquet | 目录名中的 列=值 |
| 表格式(Hive/Delta/Iceberg) | db.sales | 元数据或表日志 |
前两者靠「扫描目录」推断分区,后者靠「读元数据」。这个差别在数据量大时非常明显:目录里有十万个分区目录,扫描本身就要几十秒。
分区发现:看得见才修剪得了
lab 的 Tuner.discoveredPartitions(3, 4, true) 返回 12(用例 8):3 个一级分区 × 4 个子目录,开启分区发现后可见 12 个目录;discoveredPartitions(3, 4, false) 返回 3(用例 9):不进入子目录时只看到 3 个。
| 模式 | 行为 | 适用 |
|---|---|---|
| 自动发现(basePath) | 扫描目录树,推断分区列 | 分区结构稳定 |
| 显式指定 | 用户给出分区列表/路径 | 分区极多、只读少数 |
| 关闭发现 | 只读 basePath 一层 | 数据不按目录分区 |
自动发现方便但有代价:每次查询都要列举目录。分区数上万时,「找出有哪些分区」比「读数据」还慢——所以大表常常改成显式指定路径,或改用元数据驱动的表格式。
分片:并行度的来源
文件读入被切成「分片」(split),每个分片一个任务:
| 因素 | 影响 |
|---|---|
| 文件大小 | 大文件按块大小切分 |
| 块大小(HDFS block) | 切分粒度,默认 128MB |
| 是否可切分 | 压缩格式(gzip)不可切分 |
不可切分的压缩格式是并行度的杀手:一个 10GB 的 gzip 文件只能被一个任务读,其余核全闲着。这也是「大文件用 Parquet(可切分)+ 压缩」的原因。
小文件为什么是灾难
| 开销 | 说明 |
|---|---|
| 列举 | 每个文件一次元数据请求 |
| 打开 | 每个文件一个 reader,有初始化成本 |
| 任务数 | 每个文件(或小文件组合)一个任务 |
| 元数据 | NameNode 内存按文件数增长 |
1000 个 10MB 文件与 10 个 1GB 文件,总数据一样,但前者慢得多。合并小文件(读时合并、写时控制分区数)是最常见的存储治理动作。
读源时的三个决策
读完这一节,可以形成一个读源检查:
| 决策 | 依据 |
|---|---|
| 用哪种源 | 能按目录分区就用目录;能上表格式就上 |
| 分区发现怎么开 | 分区数可控就自动;上万就显式指定 |
| 分片是否合理 | 确认输入格式可切分、块大小合理 |
读的成本估算
一个粗略的估算方法:
读时间 ≈ (数据量 / 网络带宽) + (文件数 × 打开开销) + 反序列化
| 数据量 | 文件数 | 主导成本 |
|---|---|---|
| 10GB | 10 | 网络/磁盘 |
| 10GB | 10000 | 文件打开与任务调度 |
| 100MB | 100 | 调度开销可能超过读取 |
「小数据 + 多文件」是最糟的组合:任务开销与文件开销都被放大,而真正干活的时间很小。
表格式带来的变化
| 能力 | 目录分区 | 表格式 |
|---|---|---|
| 分区发现 | 扫描目录 | 读元数据/日志 |
| 快照 | 无 | 有(时间旅行) |
| 增量读 | 手写逻辑 | 原生支持 |
| 小文件合并 | 手工 | 有 compaction |
表格式把「目录列举」换成了「读一份清单」,这正是它们在分区数巨大时更快的根本原因。13.3 会讲列式文件格式,两者常配合使用。
与 9.3 的联系
9.3 讲分区修剪:静态修剪看查询条件,动态修剪用另一侧的结果。修剪的前提是「分区被发现」——看得见 12 个分区,才可能只读其中 1 个。所以读源的配置顺序是:
先让分区能被发现(目录规范 + 发现开关)
→ 再让修剪能生效(条件写法 + 统计信息)
→ 最后才是并行度(分片大小)
顺序反了会白忙:分区都看不见,条件写得再好也修不掉。
分片是怎么算出来的
一个简单模型:
分片数 = ceil(文件大小 / 分片大小)
| 文件 | 分片大小 | 分片数 |
|---|---|---|
| 1GB | 128MB | 8 |
| 100MB | 128MB | 1 |
| 10GB(可切分) | 256MB | 40 |
| 10GB(gzip,不可切分) | — | 1 |
分片大小可配(split.maxsize 等),调小能提高并行度,但增加任务数。默认值通常与 HDFS 块大小对齐——因为「本地读」的前提就是「分片与块对齐」。
哪些格式可切分
| 格式 | 可切分 | 说明 |
|---|---|---|
| 未压缩文本 | 是 | 按行边界切 |
| Parquet/ORC + 块压缩 | 是 | 有偏移索引 |
| gzip 压缩文本 | 否 | 必须从头解压 |
| bzip2 | 是(块级) | 依赖块结构 |
| 单文件 JSON(无换行) | 否 | 无法找记录边界 |
「用 gzip 存大文件」是并行度杀手:10GB 只能一个任务读,其余核闲着。要压缩又想要并行,就选「块压缩的列式格式」。
读源的两种失败模式
读文件最常见的两类问题都不是「读不出来」,而是「读多了」或「读少了」:
| 模式 | 表现 | 原因 |
|---|---|---|
| 读多了 | 扫了不该扫的分区 | 分区发现范围过大、条件未修剪 |
| 读少了 | 结果缺数据 | 分区发现范围过小、路径写错 |
「读少了」更危险:它不报错,只是静默地少算。自动分区发现配合「显式指定 basePath」时,路径写错一层就可能只读到部分目录——所以「行数对不上」时先查读源范围。
三个常见误解
误解一:目录里的文件会自动被并行读。 真相:并行度由分片决定;不可切分的压缩格式会把并行度锁死。
误解二:分区发现总是好事。 真相:分区上万时,列举目录本身成为瓶颈;此时应显式指定或改用表格式。
误解三:小文件只影响存储成本。 真相:它还拖慢列举、增加任务数、放大调度开销——读取性能直接受损。
一句话总结本节
Spark 读的是「目录 + 文件 + 分片」:分区由目录名(列=值)或表元数据推断,分片决定并行度。分区发现决定「看得见多少、能修剪多少」,自动发现方便但列举有成本,分区上万时应显式指定或改用表格式。小文件同时放大列举、打开与调度开销;不可切分的压缩格式会把并行度锁死。读源配置的顺序是先让分区可见,再让修剪生效,最后调分片并行度。
本章实现对照
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现分区发现的量化影响:
- 源码:
src/tune/Tuner.java(discoveredPartitions)与src/tune/TuneSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
TuneSuite用例 8 验证「开启分区发现看到 12 个目录(3 × 4)」;用例 9 验证「关闭时只看到 3 个」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:目录即分区 → 发现决定可见范围 → 分片决定并行 → 小文件放大开销 → 表格式用元数据替代列举——lab 的 12 与 3 就是这条链的入口差异。
机制边界与故障路径
目录分区、文件split和运行时任务是不同层。目录发现与谓词裁剪不保证所有reader跳过相同字节,实际文件/行组读取需单独计量。
flowchart LR
C["Catalog/路径与schema"] --> D["目录分区发现"] --> P["分区谓词裁剪"]
P --> FILES["候选文件清单"] --> SPLIT["格式/压缩决定split"]
SPLIT --> READER["扫描列与文件统计过滤"] --> TASK["实际输入task"]
STATS["文件/行组元数据"] --> READER
TASK --> OBS["候选数与实际read bytes分别记录"]
这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。