4.1 Iceberg 元数据树:快照与清单
3.2 与 3.3 把表格式的原子性和隔离性讲到了「一次指针切换」。这一节把那根指针背后的结构完整拆开:Iceberg 用一棵五层的元数据树,把「表里有哪些文件」变成一份可版本化、可裁剪、可回溯的索引。理解这棵树,4.2 的时间旅行与 4.3 的查询规划才有着力点。
为什么需要一棵树
如果只用一个文件列出全表的数据文件,每次提交都要重写整份清单:表越大,提交越慢,并发冲突也越多。树形结构解决的是读写粒度问题:
| 结构 | 每次提交要改什么 | 代价 |
|---|---|---|
| 单层文件列表 | 整份列表 | 随表大小线性增长 |
| 两层:快照→文件 | 新快照整份列表 | 仍随表大小增长 |
| 多层:快照→清单列表→清单 | 只改上层与被触及的清单 | 与变更量相关 |
树的意义是「只重写变化的部分」:追加两个文件,只需新增一个清单、一份新的清单列表与一个快照,历史清单原样复用。这是 Iceberg 能支撑大表频繁提交的根本原因。
五层结构
lab 用 metadataDepth() 返回 5,用例 45 明确列出这五层:
数据文件 → 清单(manifest)→ 清单列表(manifest list)→ 快照(snapshot)→ 表元数据(table metadata)
| 层 | 记录什么 | 粒度 |
|---|---|---|
| 数据文件 | 实际的行数据 | 一个 Parquet/ORC 文件 |
| 清单 | 一组数据文件的路径、分区、统计 | 通常数百到数千文件 |
| 清单列表 | 一个快照包含哪些清单 | 一个快照一份 |
| 快照 | 某一时刻的清单列表、父快照、时间戳 | 每次提交一个 |
| 表元数据 | schema、分区规范、快照列表、当前快照 | 整表一份 |
自下而上是「数据」,自上而下是「索引」:查询从表元数据出发,逐层缩小范围,最后才打开数据文件。每一层都携带足够的信息做裁剪,因此不必读到最后才知道该跳过谁。
数据文件与清单
清单是树里信息密度最高的一层。它不只列路径,还为每个文件记录:
| 字段 | 用途 |
|---|---|
| 文件路径 | 定位数据 |
| 文件格式 | Parquet、ORC、Avro |
| 分区元组 | 分区裁剪 |
| 列级 min/max | 统计裁剪 |
| 记录数、空值数 | 代价估算 |
| 文件大小 | 拆分与调度 |
统计信息写在清单里,而不是查询时现算:这让「不打开文件就能排除文件」成为可能。代价是写入时要多算一遍 min/max,且统计只对排序列有效——乱序写入的文件 min/max 覆盖范围大,裁剪收益会下降。
清单列表
清单列表是快照与清单之间的中间层,它为每个清单记录分区范围与数量:
清单列表
├── 清单 A:分区 dt=2026-11-01,文件 120 个
├── 清单 B:分区 dt=2026-11-02,文件 98 个
└── 清单 C:分区 dt=2026-11-03,文件 105 个
| 作用 | 说明 |
|---|---|
| 清单级裁剪 | 按分区范围跳过整个清单 |
| 并行 planning | 每个清单可独立读取 |
| 增量识别 | 对比两个快照的清单差异 |
清单列表让 planning 也变成可裁剪的:查询只命中某一天时,可以先按清单的分区范围排除大部分清单,再进入清单做文件级裁剪。用例 32 验证的正是「按清单 min/max 裁剪,时间 120~180 只读 1 个清单」。
快照与父指针
快照是「某一时刻的表」的完整描述:
| 字段 | 含义 |
|---|---|
| snapshot-id | 快照编号 |
| parent | 父快照编号,首个快照为空 |
| timestamp | 提交时间 |
| manifest-list | 指向清单列表 |
| summary | 增删文件数等摘要 |
lab 的实现里,三次提交后版本为 3(用例 21),第 3 个快照的父快照是第 2 个(用例 22)。父指针把快照串成一条链,而不是一棵任意分叉的树:正常提交只有一个前驱,这让「从当前版本往回走」的语义非常清晰。
| 快照 | 父快照 | 内容 |
|---|---|---|
| 1 | 无 | f1、f2 |
| 2 | 1 | f1、f2、f3 |
| 3 | 2 | f2、f3、f4 |
分支(branch/tag)是在这条链之上打的额外引用,用于保留实验分支或发布标记,不改变「提交沿链前进」的基本模型。
表元数据与目录指针
树根是表元数据,它记录 schema、分区规范、快照列表与当前快照,并指向一个具体版本:
表元数据 v3
├── schema(列与类型)
├── partition spec(分区规范,可多版本)
├── snapshots:[1, 2, 3]
└── current-snapshot-id:3
目录(catalog)保存的是「当前指向哪个元数据文件」,而不是表内容本身。提交时目录做一次原子替换,读者下次解析就拿到新版本。这也是为什么 3.3 说原子性只覆盖最后一步:所有数据与清单早已写好,只有这根指针的切换决定可见性。
一次提交如何长出新枝
以 overwrite(删 f1、加 f4)为例,提交过程是自下而上写、自上而下换:
1. 写新数据文件 f4
2. 写新清单:包含 f2、f3、f4(或复用旧清单 + 新增清单)
3. 写新清单列表:引用新清单,移除只含 f1 的旧清单
4. 写新快照 3:parent = 2
5. 原子替换表元数据指针
用例 23 验证 overwrite 后的快照含 f2、f3、f4 共 3 个文件。旧清单与旧快照没有被删除,因此快照 1、2 仍然可读——这是时间旅行的物理基础。用例 28 进一步验证:后续提交不改写旧快照,快照 1 仍只含 1 个文件。
| 操作 | 新增 | 复用 | 旧版本 |
|---|---|---|---|
| append | 数据文件、清单、清单列表、快照 | 旧清单 | 保留 |
| overwrite | 同上,外加被重写的清单 | 未触及的清单 | 保留 |
| delete | 新清单标记删除的文件 | 大部分清单 | 保留 |
树的成本:元数据规模
树降低了单次提交的写放大,但没有消除元数据增长:
| 增长源 | 表现 | 控制手段 |
|---|---|---|
| 快照数量 | 每次提交一个 | 快照过期 |
| 清单数量 | 小提交产生大量小清单 | 清单重写/合并 |
| 清单条目 | 文件数增长 | compaction |
| 表元数据文件 | 每次提交一份 JSON | 定期清理旧元数据 |
planning 时间是树结构最直接的体感指标:清单越多、条目越多,查询启动越慢。一个常见的经验是控制每个清单的文件数在合理区间——太小则清单数量爆炸,太大则单清单读取变慢、并行度不足。
一个换算可以说明规模:
100 万个数据文件 ÷ 每清单 200 文件 = 5000 个清单
每天 100 次提交 × 每次 1 个新清单 = 每天新增 100 个清单
后一个数字会持续累积:快照过期只移除快照引用,不合并清单,所以清单重写必须单独安排。
树带来的能力与边界
| 能力 | 依赖哪一层 |
|---|---|
| 快照隔离 | 快照 + 旧清单保留 |
| 时间旅行 | 快照链 + 时间戳 |
| 分区裁剪 | 清单中的分区元组 |
| 统计裁剪 | 清单中的 min/max |
| 并发提交 | 表元数据指针的原子替换 |
| 增量读 | 两个快照的清单差异 |
边界同样清楚:树只描述「有哪些文件、各自的统计」,不描述行级位置,所以行级更新仍要读改写文件;它也不提供跨表原子性,多表一致性要靠目录层。把树当成「万能索引」,就会在高频更新与跨表场景上失望。
Iceberg 元数据对象关系
读取路径从 Catalog 指向的表元数据开始。查询固定某个快照后,继续按清单规范选择文件。
flowchart TD
C[Catalog 当前元数据位置] --> M[表元数据及快照引用]
M --> S[选定快照]
S --> L[Manifest List]
L --> F[Manifests]
F --> D[(数据文件)]
F --> X[(Delete 文件)]
三个常见误解
误解一:快照是数据的副本。 真相:快照只是指向清单列表的元数据,数据文件被多个快照共享,过期后才可能回收。
误解二:清单越多查询越慢,所以应该合成一个。 真相:过大的清单会拖慢单次读取并限制并行,清单数量要在 planning 开销与并行度之间取平衡。
误解三:元数据树能替代行级索引。 真相:树只提供文件级统计与分区裁剪,行级定位仍要读数据文件,更新代价不会因此消失。
一句话总结本节
Iceberg 用五层元数据树组织一张表:数据文件、清单、清单列表、快照、表元数据。清单携带分区与列级 min/max,清单列表支持清单级裁剪,快照通过父指针串成链。提交自下而上写新文件与清单、最后原子替换表元数据指针,因此旧快照原样保留:三次提交得到版本 3、快照 3 的父快照是 2,overwrite 后快照含 f2、f3、f4 共 3 个文件。树的代价是元数据规模,需要靠快照过期与清单重写控制。
本章实现对照
Iceberg 快照、Manifest 与 Catalog 规范
本节 lab
下载 bd-scale-lab 源码 · 实验运行与版本说明
在 bd-scale-lab/ 中验证元数据树的层数、快照链与提交结果:
- 源码:
src/tableformat/TableFormat.java与src/tableformat/TableFormatSuite.java。 - 运行:
cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 45 验证「元数据树共 5 层:文件→清单→清单列表→快照→表元数据」;用例 21 验证「三次提交(两次 append、一次 overwrite)后元数据版本为 3」;用例 22 验证「第 3 个快照的父快照是第 2 个,构成快照链」;用例 23 验证「overwrite 后快照含 f2、f3、f4 共 3 个文件」。
- 整卷 runner 的预期汇总为
TOTAL: 108 passed, 0 failed。
对应本节判断链:单层文件列表写放大 → 五层树只重写变化部分 → 清单提供分区与统计裁剪 → 快照父指针构成版本链 → 表元数据指针原子切换决定可见性 → 元数据规模需要过期与重写控制。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。