《大规模分布式计算深入解析》3.2 表格式:Hive 表 vs Iceberg/Delta

表格式决定一次写入如何变成读者可见的新版本。Hive 表以目录为表、缺少原子提交;Iceberg 用快照与清单,overwrite 后快照含 f2、f3、f4;Delta 用 0 基事务日志。本节对照提交协议、分区演进与快照保留的取舍。

3.2 表格式:Hive 表 vs Iceberg/Delta

3.1 把数据湖与数仓的分水岭落在「有没有可靠的版本链」。这一节把镜头拉近:同样是湖上的表,Hive 表、Iceberg 表与 Delta 表在一次写入如何变成读者可见的新版本这件事上,走的是三条不同的路。理解这三条路,才能判断一次迁移真正要改的是什么。

Hive 表的本质:目录即表

Hive 表没有独立的元数据文件来描述「当前有哪些文件」。表就是一个目录,分区就是子目录,文件就是目录里的 Parquet 或 ORC:

/warehouse/orders/dt=2026-11-01/part-00000.parquet
/warehouse/orders/dt=2026-11-02/part-00000.parquet

读者要确定表的内容,只能列出目录、过滤文件名。「表」这个概念是由路径约定与 Hive Metastore 里的分区列表共同拼出来的,而不是由某一份可原子替换的元数据定义的。

组成存放位置作用
表定义Metastore列、类型、位置
分区列表Metastore有哪些分区目录
数据文件对象存储实际内容
文件级统计无或很弱难以做文件裁剪

目录即表的三个代价

这种设计简单、兼容性极好,代价也很明确:

代价表现根因
非原子提交读者看到部分文件多文件写入没有统一提交点
列举开销大分区多时 planning 变慢每次查询都要列目录
无快照无法时间旅行、无法回滚旧文件被覆盖就丢失

最隐蔽的是「部分可见」:一个任务写了 100 个文件,写到第 60 个时失败,读者已经能看到这 60 个文件。若查询恰好在这时启动,结果就是「一半新、一半旧」,而且没有任何报错。

Iceberg:快照与清单

Iceberg 把「表的内容」从目录里抽出来,写成一份份清单,再用快照指向某一组清单:

快照 3 ──> 清单列表 ──> 清单 A(f2、f3) + 清单 B(f4)

每次提交生成新快照,旧快照原样保留。lab 用一个迷你实现演示了这条路径:

操作结果用例
首次 append f1、f2快照 1 的清单里有 2 个文件24
append f3快照 2 含 f1、f2、f3—
overwrite 删 f1 加 f4快照 3 含 f2、f3、f4 共 3 个文件23、25

注意 overwrite 不是「删除文件再写」:它生成一个新快照,新快照的文件集合里没有 f1、多了 f4,而 f1 的物理文件仍然存在,只是不再被当前快照引用。用例 25 验证的正是「旧文件不再出现在新快照」。这也是时间旅行能成立的前提。

Delta:事务日志

Delta 走的是另一条路:表目录下有一个 _delta_log/,每次提交写一个 JSON 日志文件,按版本号递增:

_delta_log/00000000000000000000.json
_delta_log/00000000000000000001.json
_delta_log/00000000000000000002.json

每个日志文件记录本次提交的 add 与 remove 动作。读者从版本 0 开始回放日志,就能得到任意版本的完整文件集合。日志是唯一真相,数据文件只是日志的物化结果。

对比项Iceberg 快照Delta 日志
提交单位快照版本
内容组织清单列表 + 清单JSON 动作序列
读取方式读快照指向的清单回放日志或读 checkpoint
编号起点10

三种格式对照

维度Hive 表IcebergDelta
提交原子性无元数据指针切换日志文件原子写
文件级统计弱清单内 min/max日志内 add 统计
时间旅行不支持按快照按版本
分区演进改目录布局支持多 spec 并存受限
并发写依赖外部锁乐观并发乐观并发
生态最广引擎中立Spark 最强,逐步开放

三者不是同一层的替代品:Hive 表是「目录约定」,Iceberg 与 Delta 是「带元数据与事务的表格式」。迁移的核心不是换文件格式,而是换「谁定义当前版本」。

提交协议与并发

一次 Iceberg 提交大致分三步:

1. 写新的数据文件与清单
2. 写清单列表
3. 原子替换表元数据指针(或目录 CAS)

只有第 3 步是原子的,前两步写出的文件在提交前都是「孤儿」,失败也不会被读者看到。Delta 类似:先写数据文件与日志 JSON,再用「该版本日志文件不存在」作为乐观锁。

并发场景IcebergDelta
两个 append通常都成功通常都成功
append 与 overwrite 冲突按隔离级别检测冲突则重试或失败
同一事务重复提交靠快照 ID 去重靠 txnId 去重

这也解释了为什么表格式必须搭配一个支持原子操作的目录或文件系统:没有原子的「创建或替换」语义,再好的元数据设计也落不了地。并发细节见 3.3,目录层见第 6 章。

分区演进

Hive 表的分区由目录名体现,改分区列意味着改路径,旧数据要么重写、要么永远按旧布局读。Iceberg 允许同一张表存在多个分区规范(spec),每个数据文件记录自己属于哪个 spec:

场景Hive 表Iceberg
按天改按小时重写或新表新文件用新 spec,旧文件保留
增加分区列目录结构变化新增 spec
查询旧数据按旧路径规则按文件记录的 spec 解释

lab 的用例 31 验证了「分区演进后按旧 spec 0 仍能读到 2 个旧文件」,说明旧数据不因新规范而失效。隐藏分区与查询规划的关系留到 4.3 展开。

快照保留与过期

版本链不能无限增长,否则元数据会膨胀、存储会被旧文件占满。Iceberg 用「保留最近 N 个快照」控制:

快照 1、2、3、4 → expireKeep(2) → 只保留 3、4

用例 33 验证:保留最近 2 个快照后,1 号快照过期,时间旅行到该版本不可达。过期是能力与成本的交换:保留越多,能回溯越久,但元数据越大、旧文件越难回收。

保留策略可回溯范围存储成本
保留全部全部历史高
保留最近 N 个最近 N 次变更中
按时间保留最近若干天可控

选 N 时要同时看两个约束:业务需要回溯多久,以及旧文件什么时候可以安全删除。只设快照过期而不清理孤儿文件,存储不会真正下降。

小文件与清单重写

流式写入与频繁小提交会把表变成「很多小文件加很长的清单」:

症状后果处理
每个文件只有几 MB打开与读取开销占比高compaction 合并文件
清单条目过多planning 变慢重写清单、合并小清单
孤儿文件堆积存储只增不减定期清理未引用文件

compaction 本身也是一次提交:它读旧文件、写新文件、生成新快照,因此会短暂增加 IO 与存储。安排它时要避开查询高峰,并且确认旧快照已过期,否则合并只是把文件从一份清单搬到另一份,总量不变。

选型与迁移

现状建议理由
纯 Hive 表、查询简单可先不迁迁移收益低于改造成本
需要并发写与时间旅行Iceberg引擎中立、分区演进强
重度 Spark、要 CDC 合并Delta生态与 MERGE 支持成熟
多引擎混用Iceberg 或统一目录避免格式绑定

迁移时最容易被低估的是小文件与元数据规模:把历史分区原样搬过去,可能得到几十万个清单条目,planning 反而更慢。迁移方案里必须包含 compaction 与清单重写,而不只是「把文件复制到新目录」。

三个常见误解

误解一:Iceberg 是一种文件格式。 真相:它是表格式,数据仍以 Parquet 等文件存放,Iceberg 管理的是元数据、快照与提交协议。

误解二:Hive 表完全不能做 ACID。 真相:Hive 有受限的 ACID 表实现,但依赖额外组件且能力有限,与 Iceberg/Delta 的快照模型不同。

误解三:换表格式就是换目录结构。 真相:真正改变的是「当前版本由谁定义」,迁移必须同时处理元数据、并发与旧文件回收。

一句话总结本节

Hive 表以目录为表,靠列举文件确定内容,因此没有原子提交、没有文件统计、没有时间旅行。Iceberg 用快照指向清单列表与清单,overwrite 后新快照含 f2、f3、f4 三个文件而旧文件仍在;Delta 用 0 基版本的事务日志回放。两者都靠一次原子指针切换获得 ACID,快照过期则用可回溯范围换存储成本:保留最近 2 个快照后,1 号快照即不可达。

本节 lab

下载 bd-scale-lab 源码 · 实验运行与版本说明

在 bd-scale-lab/ 中验证三种表格式的提交与保留行为:

  • 源码:src/tableformat/TableFormat.java 与 src/tableformat/TableFormatSuite.java。
  • 运行:cd bd-scale-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 23 验证「overwrite 后快照含 f2、f3、f4 共 3 个文件」;用例 24 验证「首次 append 两个文件,快照 1 的清单里有 2 个文件」;用例 25 验证「overwrite 删除 f1、加入 f4,旧文件不再出现在新快照」;用例 33 验证「保留最近 2 个快照,1 号快照过期后时间旅行不可达」。
  • 整卷 runner 的预期汇总为 TOTAL: 108 passed, 0 failed。

对应本节判断链:目录即表导致非原子与列举开销 → 快照或日志定义当前版本 → 原子提交点是 ACID 的地基 → 分区演进靠多 spec 兼容旧文件 → 快照保留在可回溯范围与存储成本间取舍。

本章组件与失败边界参见 3.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路