《大规模分布式计算深入解析》13.3 流式读写与 Compaction

跟踪流式写出的 checkpoint、表提交与读者发现,区分可见延迟和文件合并。

13.3 流式读写与 Compaction

流式写入可能在每个可提交批次形成一批小文件,文件数还受并行度、分区基数、目标文件大小及 writer flush 策略控制。读者沿表元数据读已经发布的快照。存储上出现新文件仅说明对象存在。

两个故障边界

故障时点恢复后应观察
文件写完,表版本尚未发布读者继续读旧快照。作业可恢复、重新提交或清理未引用文件
表版本发布,客户端未取得确认用稳定提交身份确认已有结果,避免重新追加。若基线过期,重新校验冲突

提交器与表协议决定外部可见边界。Flink checkpoint 可以提供状态和位置的恢复点,写入端是否按检查点提交则由对应 connector 实现决定。读者还需刷新元数据。在 Hudi 中按 timeline 和 query type 核对,在 Iceberg 中按已发布快照核对。 Hudi 表类型 · Iceberg Flink 写入

延迟与合并分开量化

对一条记录用同一时钟记录收取、触发 checkpoint、持久化完成、外部提交、读者首次观察五个时点。触发周期 10 秒只描述排程参数。若示例恰好等待 10 秒才触发、其后处理与刷新又花 10 秒,才得到 20 秒算例,其他场景可更短或更长。

Compaction 从已发布的基线选文件、重写并提交新布局,读者在旧快照上仍可读对应文件。只在无引用且超过保留风险窗口后回收旧文件。一个查询原先访问 100 个文件、合并后只访问 1 个,文件打开次数下降 99%,I/O 字节或耗时需实测。

三个常见误解

  • “checkpoint 结束即可假定外部读者已看到数据”。确认外部提交与发现延迟。
  • “写了对象就可以删除旧版本”。先验证当前和历史快照的引用。
  • “文件打开次数降 99% 意味着 I/O 下降 99%”。还要计量数据体积、缓存和读路径。

一句话总结本节

用事件时间线验收已恢复的记录和外部发布,按快照引用和文件访问指标评价合并。

检查点、外部发布和合并的边界

快照发布成功与收到确认是两件事。写入重放应使用稳定提交身份,Compactor 发布新版本后也要保留旧读者依赖。

sequenceDiagram
    participant W as 流式 Writer
    participant E as Checkpoint 协调器
    participant T as 表提交器
    participant R as 读者
    participant C as Compactor
    W->>W: 落文件及记录待提交信息
    W-->>E: 完成对应快照
    E-->>W: 通知 checkpoint 完成
    W->>T: 按稳定身份发布
    alt 发布前失败
        R->>T: 继续读取旧快照
    else 发布成功但确认丢失
        W->>T: 恢复并确认提交身份
        R->>T: 刷新后读取已发布版本
    end
    C->>T: 从已发布快照重写并条件提交
    Note over C,R: 有引用的历史文件继续保留

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

LakehouseSuite 用例 108–110 是文件打开次数、快照可见性及定长等待的教学算例。原生连接器的恢复和提交延迟需要分别验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图