《大规模分布式计算深入解析》4.1 Iceberg 元数据树:快照与清单

Iceberg 的元数据是一棵五层树:数据文件、清单、清单列表、快照、表元数据。提交只改写上层,旧快照保留,时间旅行几乎零成本。lab 中三次提交得到版本 3、快照 3 的父快照是 2,overwrite 后快照含 f2、f3、f4。

4.1 Iceberg 元数据树:快照与清单

3.2 与 3.3 把表格式的原子性和隔离性讲到了「一次指针切换」。这一节把那根指针背后的结构完整拆开:Iceberg 用一棵五层的元数据树,把「表里有哪些文件」变成一份可版本化、可裁剪、可回溯的索引。理解这棵树,4.2 的时间旅行与 4.3 的查询规划才有着力点。

为什么需要一棵树

如果只用一个文件列出全表的数据文件,每次提交都要重写整份清单:表越大,提交越慢,并发冲突也越多。树形结构解决的是读写粒度问题:

结构每次提交要改什么代价
单层文件列表整份列表随表大小线性增长
两层:快照→文件新快照整份列表仍随表大小增长
多层:快照→清单列表→清单只改上层与被触及的清单与变更量相关

树的意义是「只重写变化的部分」:追加两个文件,只需新增一个清单、一份新的清单列表与一个快照,历史清单原样复用。这是 Iceberg 能支撑大表频繁提交的根本原因。

五层结构

lab 用 metadataDepth() 返回 5,用例 45 明确列出这五层:

数据文件 → 清单(manifest)→ 清单列表(manifest list)→ 快照(snapshot)→ 表元数据(table metadata)
层记录什么粒度
数据文件实际的行数据一个 Parquet/ORC 文件
清单一组数据文件的路径、分区、统计通常数百到数千文件
清单列表一个快照包含哪些清单一个快照一份
快照某一时刻的清单列表、父快照、时间戳每次提交一个
表元数据schema、分区规范、快照列表、当前快照整表一份

自下而上是「数据」,自上而下是「索引」:查询从表元数据出发,逐层缩小范围,最后才打开数据文件。每一层都携带足够的信息做裁剪,因此不必读到最后才知道该跳过谁。

数据文件与清单

清单是树里信息密度最高的一层。它不只列路径,还为每个文件记录:

字段用途
文件路径定位数据
文件格式Parquet、ORC、Avro
分区元组分区裁剪
列级 min/max统计裁剪
记录数、空值数代价估算
文件大小拆分与调度

统计信息写在清单里,而不是查询时现算:这让「不打开文件就能排除文件」成为可能。代价是写入时要多算一遍 min/max,且统计只对排序列有效——乱序写入的文件 min/max 覆盖范围大,裁剪收益会下降。

清单列表

清单列表是快照与清单之间的中间层,它为每个清单记录分区范围与数量:

清单列表
├── 清单 A:分区 dt=2026-11-01,文件 120 个
├── 清单 B:分区 dt=2026-11-02,文件 98 个
└── 清单 C:分区 dt=2026-11-03,文件 105 个
作用说明
清单级裁剪按分区范围跳过整个清单
并行 planning每个清单可独立读取
增量识别对比两个快照的清单差异

清单列表让 planning 也变成可裁剪的:查询只命中某一天时,可以先按清单的分区范围排除大部分清单,再进入清单做文件级裁剪。用例 32 验证的正是「按清单 min/max 裁剪,时间 120~180 只读 1 个清单」。

快照与父指针

快照是「某一时刻的表」的完整描述:

字段含义
snapshot-id快照编号
parent父快照编号,首个快照为空
timestamp提交时间
manifest-list指向清单列表
summary增删文件数等摘要

lab 的实现里,三次提交后版本为 3(用例 21),第 3 个快照的父快照是第 2 个(用例 22)。父指针把快照串成一条链,而不是一棵任意分叉的树:正常提交只有一个前驱,这让「从当前版本往回走」的语义非常清晰。

快照父快照内容
1无f1、f2
21f1、f2、f3
32f2、f3、f4

分支(branch/tag)是在这条链之上打的额外引用,用于保留实验分支或发布标记,不改变「提交沿链前进」的基本模型。

表元数据与目录指针

树根是表元数据,它记录 schema、分区规范、快照列表与当前快照,并指向一个具体版本:

表元数据 v3
├── schema(列与类型)
├── partition spec(分区规范,可多版本)
├── snapshots:[1, 2, 3]
└── current-snapshot-id:3

目录(catalog)保存的是「当前指向哪个元数据文件」,而不是表内容本身。提交时目录做一次原子替换,读者下次解析就拿到新版本。这也是为什么 3.3 说原子性只覆盖最后一步:所有数据与清单早已写好,只有这根指针的切换决定可见性。

一次提交如何长出新枝

以 overwrite(删 f1、加 f4)为例,提交过程是自下而上写、自上而下换:

1. 写新数据文件 f4
2. 写新清单:包含 f2、f3、f4(或复用旧清单 + 新增清单)
3. 写新清单列表:引用新清单,移除只含 f1 的旧清单
4. 写新快照 3:parent = 2
5. 原子替换表元数据指针

用例 23 验证 overwrite 后的快照含 f2、f3、f4 共 3 个文件。旧清单与旧快照没有被删除,因此快照 1、2 仍然可读——这是时间旅行的物理基础。用例 28 进一步验证:后续提交不改写旧快照,快照 1 仍只含 1 个文件。

操作新增复用旧版本
append数据文件、清单、清单列表、快照旧清单保留
overwrite同上,外加被重写的清单未触及的清单保留
delete新清单标记删除的文件大部分清单保留

树的成本:元数据规模

树降低了单次提交的写放大,但没有消除元数据增长:

增长源表现控制手段
快照数量每次提交一个快照过期
清单数量小提交产生大量小清单清单重写/合并
清单条目文件数增长compaction
表元数据文件每次提交一份 JSON定期清理旧元数据

planning 时间是树结构最直接的体感指标:清单越多、条目越多,查询启动越慢。一个常见的经验是控制每个清单的文件数在合理区间——太小则清单数量爆炸,太大则单清单读取变慢、并行度不足。

一个换算可以说明规模:

100 万个数据文件 ÷ 每清单 200 文件 = 5000 个清单
每天 100 次提交 × 每次 1 个新清单 = 每天新增 100 个清单

后一个数字会持续累积:快照过期只移除快照引用,不合并清单,所以清单重写必须单独安排。

树带来的能力与边界

能力依赖哪一层
快照隔离快照 + 旧清单保留
时间旅行快照链 + 时间戳
分区裁剪清单中的分区元组
统计裁剪清单中的 min/max
并发提交表元数据指针的原子替换
增量读两个快照的清单差异

边界同样清楚:树只描述「有哪些文件、各自的统计」,不描述行级位置,所以行级更新仍要读改写文件;它也不提供跨表原子性,多表一致性要靠目录层。把树当成「万能索引」,就会在高频更新与跨表场景上失望。

Iceberg 元数据对象关系

读取路径从 Catalog 指向的表元数据开始。查询固定某个快照后,继续按清单规范选择文件。

flowchart TD
    C[Catalog 当前元数据位置] --> M[表元数据及快照引用]
    M --> S[选定快照]
    S --> L[Manifest List]
    L --> F[Manifests]
    F --> D[(数据文件)]
    F --> X[(Delete 文件)]

三个常见误解

误解一:快照是数据的副本。 真相:快照只是指向清单列表的元数据,数据文件被多个快照共享,过期后才可能回收。

误解二:清单越多查询越慢,所以应该合成一个。 真相:过大的清单会拖慢单次读取并限制并行,清单数量要在 planning 开销与并行度之间取平衡。

误解三:元数据树能替代行级索引。 真相:树只提供文件级统计与分区裁剪,行级定位仍要读数据文件,更新代价不会因此消失。

一句话总结本节

Iceberg 用五层元数据树组织一张表:数据文件、清单、清单列表、快照、表元数据。清单携带分区与列级 min/max,清单列表支持清单级裁剪,快照通过父指针串成链。提交自下而上写新文件与清单、最后原子替换表元数据指针,因此旧快照原样保留:三次提交得到版本 3、快照 3 的父快照是 2,overwrite 后快照含 f2、f3、f4 共 3 个文件。树的代价是元数据规模,需要靠快照过期与清单重写控制。

本章实现对照

Iceberg 快照、Manifest 与 Catalog 规范

本节 lab

下载 bd-scale-lab 源码 · 实验运行与版本说明

在 bd-scale-lab/ 中验证元数据树的层数、快照链与提交结果:

  • 源码:src/tableformat/TableFormat.java 与 src/tableformat/TableFormatSuite.java。
  • 运行:cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 45 验证「元数据树共 5 层:文件→清单→清单列表→快照→表元数据」;用例 21 验证「三次提交(两次 append、一次 overwrite)后元数据版本为 3」;用例 22 验证「第 3 个快照的父快照是第 2 个,构成快照链」;用例 23 验证「overwrite 后快照含 f2、f3、f4 共 3 个文件」。
  • 整卷 runner 的预期汇总为 TOTAL: 108 passed, 0 failed。

对应本节判断链:单层文件列表写放大 → 五层树只重写变化部分 → 清单提供分区与统计裁剪 → 快照父指针构成版本链 → 表元数据指针原子切换决定可见性 → 元数据规模需要过期与重写控制。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路