3.2 表格式:Hive 表 vs Iceberg/Delta
3.1 把数据湖与数仓的分水岭落在「有没有可靠的版本链」。这一节把镜头拉近:同样是湖上的表,Hive 表、Iceberg 表与 Delta 表在一次写入如何变成读者可见的新版本这件事上,走的是三条不同的路。理解这三条路,才能判断一次迁移真正要改的是什么。
Hive 表的本质:目录即表
Hive 表没有独立的元数据文件来描述「当前有哪些文件」。表就是一个目录,分区就是子目录,文件就是目录里的 Parquet 或 ORC:
/warehouse/orders/dt=2026-11-01/part-00000.parquet
/warehouse/orders/dt=2026-11-02/part-00000.parquet
读者要确定表的内容,只能列出目录、过滤文件名。「表」这个概念是由路径约定与 Hive Metastore 里的分区列表共同拼出来的,而不是由某一份可原子替换的元数据定义的。
| 组成 | 存放位置 | 作用 |
|---|---|---|
| 表定义 | Metastore | 列、类型、位置 |
| 分区列表 | Metastore | 有哪些分区目录 |
| 数据文件 | 对象存储 | 实际内容 |
| 文件级统计 | 无或很弱 | 难以做文件裁剪 |
目录即表的三个代价
这种设计简单、兼容性极好,代价也很明确:
| 代价 | 表现 | 根因 |
|---|---|---|
| 非原子提交 | 读者看到部分文件 | 多文件写入没有统一提交点 |
| 列举开销大 | 分区多时 planning 变慢 | 每次查询都要列目录 |
| 无快照 | 无法时间旅行、无法回滚 | 旧文件被覆盖就丢失 |
最隐蔽的是「部分可见」:一个任务写了 100 个文件,写到第 60 个时失败,读者已经能看到这 60 个文件。若查询恰好在这时启动,结果就是「一半新、一半旧」,而且没有任何报错。
Iceberg:快照与清单
Iceberg 把「表的内容」从目录里抽出来,写成一份份清单,再用快照指向某一组清单:
快照 3 ──> 清单列表 ──> 清单 A(f2、f3) + 清单 B(f4)
每次提交生成新快照,旧快照原样保留。lab 用一个迷你实现演示了这条路径:
| 操作 | 结果 | 用例 |
|---|---|---|
| 首次 append f1、f2 | 快照 1 的清单里有 2 个文件 | 24 |
| append f3 | 快照 2 含 f1、f2、f3 | — |
| overwrite 删 f1 加 f4 | 快照 3 含 f2、f3、f4 共 3 个文件 | 23、25 |
注意 overwrite 不是「删除文件再写」:它生成一个新快照,新快照的文件集合里没有 f1、多了 f4,而 f1 的物理文件仍然存在,只是不再被当前快照引用。用例 25 验证的正是「旧文件不再出现在新快照」。这也是时间旅行能成立的前提。
Delta:事务日志
Delta 走的是另一条路:表目录下有一个 _delta_log/,每次提交写一个 JSON 日志文件,按版本号递增:
_delta_log/00000000000000000000.json
_delta_log/00000000000000000001.json
_delta_log/00000000000000000002.json
每个日志文件记录本次提交的 add 与 remove 动作。读者从版本 0 开始回放日志,就能得到任意版本的完整文件集合。日志是唯一真相,数据文件只是日志的物化结果。
| 对比项 | Iceberg 快照 | Delta 日志 |
|---|---|---|
| 提交单位 | 快照 | 版本 |
| 内容组织 | 清单列表 + 清单 | JSON 动作序列 |
| 读取方式 | 读快照指向的清单 | 回放日志或读 checkpoint |
| 编号起点 | 1 | 0 |
三种格式对照
| 维度 | Hive 表 | Iceberg | Delta |
|---|---|---|---|
| 提交原子性 | 无 | 元数据指针切换 | 日志文件原子写 |
| 文件级统计 | 弱 | 清单内 min/max | 日志内 add 统计 |
| 时间旅行 | 不支持 | 按快照 | 按版本 |
| 分区演进 | 改目录布局 | 支持多 spec 并存 | 受限 |
| 并发写 | 依赖外部锁 | 乐观并发 | 乐观并发 |
| 生态 | 最广 | 引擎中立 | Spark 最强,逐步开放 |
三者不是同一层的替代品:Hive 表是「目录约定」,Iceberg 与 Delta 是「带元数据与事务的表格式」。迁移的核心不是换文件格式,而是换「谁定义当前版本」。
提交协议与并发
一次 Iceberg 提交大致分三步:
1. 写新的数据文件与清单
2. 写清单列表
3. 原子替换表元数据指针(或目录 CAS)
只有第 3 步是原子的,前两步写出的文件在提交前都是「孤儿」,失败也不会被读者看到。Delta 类似:先写数据文件与日志 JSON,再用「该版本日志文件不存在」作为乐观锁。
| 并发场景 | Iceberg | Delta |
|---|---|---|
| 两个 append | 通常都成功 | 通常都成功 |
| append 与 overwrite 冲突 | 按隔离级别检测 | 冲突则重试或失败 |
| 同一事务重复提交 | 靠快照 ID 去重 | 靠 txnId 去重 |
这也解释了为什么表格式必须搭配一个支持原子操作的目录或文件系统:没有原子的「创建或替换」语义,再好的元数据设计也落不了地。并发细节见 3.3,目录层见第 6 章。
分区演进
Hive 表的分区由目录名体现,改分区列意味着改路径,旧数据要么重写、要么永远按旧布局读。Iceberg 允许同一张表存在多个分区规范(spec),每个数据文件记录自己属于哪个 spec:
| 场景 | Hive 表 | Iceberg |
|---|---|---|
| 按天改按小时 | 重写或新表 | 新文件用新 spec,旧文件保留 |
| 增加分区列 | 目录结构变化 | 新增 spec |
| 查询旧数据 | 按旧路径规则 | 按文件记录的 spec 解释 |
lab 的用例 31 验证了「分区演进后按旧 spec 0 仍能读到 2 个旧文件」,说明旧数据不因新规范而失效。隐藏分区与查询规划的关系留到 4.3 展开。
快照保留与过期
版本链不能无限增长,否则元数据会膨胀、存储会被旧文件占满。Iceberg 用「保留最近 N 个快照」控制:
快照 1、2、3、4 → expireKeep(2) → 只保留 3、4
用例 33 验证:保留最近 2 个快照后,1 号快照过期,时间旅行到该版本不可达。过期是能力与成本的交换:保留越多,能回溯越久,但元数据越大、旧文件越难回收。
| 保留策略 | 可回溯范围 | 存储成本 |
|---|---|---|
| 保留全部 | 全部历史 | 高 |
| 保留最近 N 个 | 最近 N 次变更 | 中 |
| 按时间保留 | 最近若干天 | 可控 |
选 N 时要同时看两个约束:业务需要回溯多久,以及旧文件什么时候可以安全删除。只设快照过期而不清理孤儿文件,存储不会真正下降。
小文件与清单重写
流式写入与频繁小提交会把表变成「很多小文件加很长的清单」:
| 症状 | 后果 | 处理 |
|---|---|---|
| 每个文件只有几 MB | 打开与读取开销占比高 | compaction 合并文件 |
| 清单条目过多 | planning 变慢 | 重写清单、合并小清单 |
| 孤儿文件堆积 | 存储只增不减 | 定期清理未引用文件 |
compaction 本身也是一次提交:它读旧文件、写新文件、生成新快照,因此会短暂增加 IO 与存储。安排它时要避开查询高峰,并且确认旧快照已过期,否则合并只是把文件从一份清单搬到另一份,总量不变。
选型与迁移
| 现状 | 建议 | 理由 |
|---|---|---|
| 纯 Hive 表、查询简单 | 可先不迁 | 迁移收益低于改造成本 |
| 需要并发写与时间旅行 | Iceberg | 引擎中立、分区演进强 |
| 重度 Spark、要 CDC 合并 | Delta | 生态与 MERGE 支持成熟 |
| 多引擎混用 | Iceberg 或统一目录 | 避免格式绑定 |
迁移时最容易被低估的是小文件与元数据规模:把历史分区原样搬过去,可能得到几十万个清单条目,planning 反而更慢。迁移方案里必须包含 compaction 与清单重写,而不只是「把文件复制到新目录」。
三个常见误解
误解一:Iceberg 是一种文件格式。 真相:它是表格式,数据仍以 Parquet 等文件存放,Iceberg 管理的是元数据、快照与提交协议。
误解二:Hive 表完全不能做 ACID。 真相:Hive 有受限的 ACID 表实现,但依赖额外组件且能力有限,与 Iceberg/Delta 的快照模型不同。
误解三:换表格式就是换目录结构。 真相:真正改变的是「当前版本由谁定义」,迁移必须同时处理元数据、并发与旧文件回收。
一句话总结本节
Hive 表以目录为表,靠列举文件确定内容,因此没有原子提交、没有文件统计、没有时间旅行。Iceberg 用快照指向清单列表与清单,overwrite 后新快照含 f2、f3、f4 三个文件而旧文件仍在;Delta 用 0 基版本的事务日志回放。两者都靠一次原子指针切换获得 ACID,快照过期则用可回溯范围换存储成本:保留最近 2 个快照后,1 号快照即不可达。
本节 lab
下载 bd-scale-lab 源码 · 实验运行与版本说明
在 bd-scale-lab/ 中验证三种表格式的提交与保留行为:
- 源码:
src/tableformat/TableFormat.java与src/tableformat/TableFormatSuite.java。 - 运行:
cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 23 验证「overwrite 后快照含 f2、f3、f4 共 3 个文件」;用例 24 验证「首次 append 两个文件,快照 1 的清单里有 2 个文件」;用例 25 验证「overwrite 删除 f1、加入 f4,旧文件不再出现在新快照」;用例 33 验证「保留最近 2 个快照,1 号快照过期后时间旅行不可达」。
- 整卷 runner 的预期汇总为
TOTAL: 108 passed, 0 failed。
对应本节判断链:目录即表导致非原子与列举开销 → 快照或日志定义当前版本 → 原子提交点是 ACID 的地基 → 分区演进靠多 spec 兼容旧文件 → 快照保留在可回溯范围与存储成本间取舍。
本章组件与失败边界参见 3.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。