《大规模分布式计算深入解析》13.2 Hudi 的 COW/MOR 与增量读

以 Hudi 1.2.1 为参照区分 COW/MOR、file slice、快照、增量最新状态与 CDC。

13.2 Hudi 的 COW/MOR 与增量读

Hudi 以时间线协调写入和表服务。file group 可跨多个 file slice。同一 file slice 包含相应的 base 和可能存在的 log 文件。选择查询类型后,读取器按时间线确定版本和所需数据。

更新与读取路径

布局或查询作用
COW更新受影响的 base 文件,读者沿已提交文件版本扫描
MOR 快照读取合并相应 base 和日志以看到最新快照,compaction 将日志整合成新的 base
MOR Read Optimized读取已发布的 base,日志中尚未合并的变更可能暂不可见
增量 latest-state读取给定范围内变更记录的最新值,按照版本与查询选项解释起止时间
CDC读取记录级变更,需记录和配置支持。关注操作、前后值和顺序

Hudi 1.x 的增量查询使用提交完成时间来确定范围,升级时应验证旧 checkpoint 的时间边界迁移。文件级变更帮助定位扫描,仍需读取相关数据块并按记录级语义过滤。100 万记录中变更 1 万条是 1% 的逻辑变更比例,物理字节取决于变更是否分散、文件大小、读者实现和列投影。 Hudi 1.2.1 表与查询类型

同一分母对比写量

假设用户更新 1 MB,COW 路径重写 100 MB 的受影响 base,前台写放大为 100 倍。若 MOR 前台追加 1 MB 日志,前台在此算例为 1 倍。排除元数据、压缩和 compaction 的比较应明确时间窗口。把日志 1 MB 除以 base 100 MB 得到 1% 的文件大小比例,是另一个指标。

三个常见误解

  • “有时间线就只读变更行对应的字节”。文件定位、解码和行级过滤仍有成本。
  • “Read Optimized 与快照读总是相同”。日志未合并时可见结果可能不同。
  • “MOR 总写放大是 1%”。用相同输入量做分母,并把 compaction 算入长期窗口。

一句话总结本节

COW 与 MOR 选择更新和合并的位置,时间线及 file slice 定义读者能看到的版本。

Hudi 读者如何选择 File Slice

按 timeline 选择提交范围和查询类型。增量范围帮助定位文件,再按记录级语义读取。

flowchart TD
    A[Timeline 与已提交 instant] --> B{表与查询类型}
    B -->|COW 或 MOR 读优化| C[读取对应 base]
    B -->|MOR 快照| D[读取 base 和有效 logs]
    D --> E[合并成可见记录]
    B -->|增量或 CDC| F[按版本的完成时间选择范围]
    F --> G[定位 file slice 与记录级变更]
    E --> H[返回该范围及语义的结果]
    C --> H
    G --> H

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

LakehouseSuite 用例 105–107 复算前台写放大、日志相对 base 的比例和变更记录比例。真实 Hudi 需要分别检查写入字节、读模式、时间线和 compaction。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图