13.3 流式读写与 Compaction
流式写入可能在每个可提交批次形成一批小文件,文件数还受并行度、分区基数、目标文件大小及 writer flush 策略控制。读者沿表元数据读已经发布的快照。存储上出现新文件仅说明对象存在。
两个故障边界
| 故障时点 | 恢复后应观察 |
|---|---|
| 文件写完,表版本尚未发布 | 读者继续读旧快照。作业可恢复、重新提交或清理未引用文件 |
| 表版本发布,客户端未取得确认 | 用稳定提交身份确认已有结果,避免重新追加。若基线过期,重新校验冲突 |
提交器与表协议决定外部可见边界。Flink checkpoint 可以提供状态和位置的恢复点,写入端是否按检查点提交则由对应 connector 实现决定。读者还需刷新元数据。在 Hudi 中按 timeline 和 query type 核对,在 Iceberg 中按已发布快照核对。 Hudi 表类型 · Iceberg Flink 写入
延迟与合并分开量化
对一条记录用同一时钟记录收取、触发 checkpoint、持久化完成、外部提交、读者首次观察五个时点。触发周期 10 秒只描述排程参数。若示例恰好等待 10 秒才触发、其后处理与刷新又花 10 秒,才得到 20 秒算例,其他场景可更短或更长。
Compaction 从已发布的基线选文件、重写并提交新布局,读者在旧快照上仍可读对应文件。只在无引用且超过保留风险窗口后回收旧文件。一个查询原先访问 100 个文件、合并后只访问 1 个,文件打开次数下降 99%,I/O 字节或耗时需实测。
三个常见误解
- “checkpoint 结束即可假定外部读者已看到数据”。确认外部提交与发现延迟。
- “写了对象就可以删除旧版本”。先验证当前和历史快照的引用。
- “文件打开次数降 99% 意味着 I/O 下降 99%”。还要计量数据体积、缓存和读路径。
一句话总结本节
用事件时间线验收已恢复的记录和外部发布,按快照引用和文件访问指标评价合并。
检查点、外部发布和合并的边界
快照发布成功与收到确认是两件事。写入重放应使用稳定提交身份,Compactor 发布新版本后也要保留旧读者依赖。
sequenceDiagram
participant W as 流式 Writer
participant E as Checkpoint 协调器
participant T as 表提交器
participant R as 读者
participant C as Compactor
W->>W: 落文件及记录待提交信息
W-->>E: 完成对应快照
E-->>W: 通知 checkpoint 完成
W->>T: 按稳定身份发布
alt 发布前失败
R->>T: 继续读取旧快照
else 发布成功但确认丢失
W->>T: 恢复并确认提交身份
R->>T: 刷新后读取已发布版本
end
C->>T: 从已发布快照重写并条件提交
Note over C,R: 有引用的历史文件继续保留
本节 lab
LakehouseSuite 用例 108–110 是文件打开次数、快照可见性及定长等待的教学算例。原生连接器的恢复和提交延迟需要分别验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。