把一次任务结果追到权威发布点
| 卷 | 用同一个任务追踪的机制 | 需要保留的证据 |
|---|---|---|
| 一 | HDFS 块写入、NameNode 元数据与任务重放 | 输入路径、可见及持久化位置 |
| 二 | RDD 血缘、Shuffle 与失败任务重跑 | Stage、分区、attempt |
| 三 | 检查点与 Sink 提交 | 输入偏移、状态快照、外部终局 |
| 四 | 湖表目录发布、固定训练输入 | 快照 ID、写冲突和采样状态 |
| 五 | 扫描、谓词与文件/版本可见性 | 计划、实际文件和输出 |
| 六 | 分布式 SQL 的 fragment、exchange 与局部重试 | task/attempt、数据归属和发布结果 |
| 七 | 元数据事务、确认、应用和外部围栏 | revision、term/index、已确认与应用水位 |
例如前一装载任务已产出文件,协调者确认状态仍未知时,先查询权威快照或业务请求 ID,再决定是否重试发布。卷七说明支撑该判断的复制、读屏障和事务语义,在前卷已有的 HDFS、Flink Sink 与 Iceberg 提交场景中继续使用。七卷共 315 节,本卷模型和原生探针各有独立验收。
验证
从卷七实验包 解包,沿系列导读中的四条事件,记录从数据文件到元数据版本的可见时点,并复核同一任务重新提交。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。