《大规模分布式计算深入解析》13.2 写出语义:覆盖、追加与幂等

写出的语义比读取更容易出错:overwrite 会整段替换、append 会累加,重跑一次作业结果可能翻倍。分区写出(partitionBy)能减少冲突范围,但也制造小文件。本节讲四种写出模式的语义、提交协议如何保证「写完才可见」,以及为什么重跑幂等要靠「覆盖」而不是「追加」。

13.2 写出语义:覆盖、追加与幂等

读取是「看」,写出是「改」。改错了很难回退,所以写出语义是数据工程里最容易出事故的地方。这一节把四种写出模式、提交协议与幂等的关系讲清楚。

四种写出模式

模式行为重跑一次的结果
overwrite(整表)删除目标再写幂等(结果相同)
overwrite(动态分区)只替换涉及的分区幂等(涉及分区相同)
append追加新文件结果翻倍(重复)
errorIfExists存在就报错报错,不写

lab 的 Tuner.writeRows(100, 50, true) 返回 50(用例 10):overwrite 后只剩新写入的 50 行;writeRows(100, 50, false) 返回 150(用例 11):append 后是 100 + 50 = 150 行。同一份数据写两次,覆盖是 50 行,追加是 200 行——这就是幂等与否的全部差别。

为什么 append 不幂等

append 的语义是「再加一批文件」:

第一次跑:写出 part-0000 ... part-0019
重跑:又写出 part-0000 ... part-0019(文件名可能带随机后缀)
→ 目录里有两份数据

文件系统层面「写」从不检查「是否已有等价数据」。所以 append 的重跑一定重复。要幂等,必须让「写」变成「替换」——覆盖整表或覆盖分区。

分区写出:缩小冲突范围

partitionBy("dt") 让每个分区目录独立:

维度不分区按 dt 分区
覆盖范围整表只覆盖本次涉及的 dt
文件数分区数分区数 × 目录数
下游读取读全表可只读某些 dt

分区覆盖(dynamic partition overwrite)是批作业幂等的常用形态:今天重跑只覆盖今天的目录,昨天的数据不动。它要求「写入的数据集与分区边界一致」——如果一次写入涉及 30 个 dt,就覆盖 30 个目录。

提交协议:写完才可见

无论哪种模式,写出都经过提交协议(7.3):

写临时目录(_temporary)
→ 全部任务成功
→ 重命名到正式目录
→ 写 _SUCCESS
阶段下游能看到什么
写临时目录什么都看不到
部分重命名部分数据(脏读)
_SUCCESS 写完完整数据

所以「读到一个没有 _SUCCESS 的目录」只有在约定启用成功标记时才能当作异常。提交协议可用已发布标记供下游判断,是文件系统上最基本的写出安全线。

对象存储上的差异

存储重命名提交协议可靠性
HDFS原子高
本地盘原子高
S3 等对象存储copy + delete中(需额外机制)

对象存储没有「目录重命名」的原子操作,Spark 会退化成「复制 + 删除」或使用专门的 output committer。同样一句 write.overwrite,在 S3 上的语义实现路径不同——这是「本地测试通过、线上偶发脏数据」的常见根因。

小文件:写出的第二宗罪

分区写出会放大文件数:

200 个输出分区 × 365 个 dt 目录 = 73000 个文件
手段效果
写前 coalesce减少输出分区
按目标文件大小重分区每个分区目录几个文件
表格式 compaction后台合并小文件
减少 partitionBy 列少一些目录

「分区数 × 目录数」是文件数的乘数,两者都要控制。写出前按「目标文件大小」重分区,是控制小文件最直接的办法。

幂等的三种实现对比

实现适用代价
整表 overwrite小表、全量重算下游短暂不可用
分区 overwrite按日期/业务分区需要分区设计
按稳定批次标识原子提交流式、增量需要可删除的存储

「覆盖」比「追加 + 去重」便宜:去重要读旧数据、比对、再写,覆盖只写一次。所以批作业能全量重算时,优先用覆盖。

写出的检查清单

检查目的
模式是覆盖还是追加?决定重跑是否重复
分区边界与数据一致吗?动态分区覆盖不误伤
目标文件大小合理吗?避免小文件
下游依赖 _SUCCESS 吗?脏读防护
存储是对象存储吗?提交协议可靠性

这张清单里第一项是根因级的:模式选错,后面所有检查都救不回来。

写失败后留下了什么

失败不一定干净:

失败时机遗留物
写临时目录时失败_temporary 下的残留
重命名一半失败部分正式文件
提交成功后清理失败临时目录残留

残留不会自动伤害数据,但会伤害「重跑」:临时目录没清,下次重跑可能冲突;部分正式文件没删,覆盖时可能读到新旧混杂。所以「重跑前清残留」是运维的固定动作,而不是可选项。

并发写同一目录

两个作业同时写一个目录,结果是未定义的:

情况结果
都 append文件混在一起,无法区分来源
都 overwrite后提交的覆盖前者,或文件交错
一写一读读者可能读到中间状态

并发写要靠「不同的目录」或「表格式的事务」,不能靠约定。按作业/日期隔离目录是最简单的做法;表格式则用乐观并发控制。

写出的顺序没有保证

事实影响
文件内顺序不保证别依赖「写进去的顺序」
文件间顺序不保证读出来要显式排序
分区目录顺序不保证列举顺序与写入顺序无关

「分布式写出的结果无序」是常态,需要顺序时必须在读取端 ORDER BY,而不是指望写入顺序。

目标系统的提交边界

批处理提交器协调任务尝试对于指定输出的可见性。对数据库更新、外部 HTTP 或多表写入要单独建立可恢复协议。批次重试中,先删除再独立写入会暴露空档,应用可在目标端一次提交数据与稳定批次标识。对象存储还需使用与其语义匹配的提交器。参见 Spark 写出语义 与卷二 10.3。

三个常见误解

误解一:append 写一次没问题。 真相:作业重跑、任务重试都可能写第二次;append 天然不幂等。

误解二:overwrite 一定安全。 真相:整表覆盖期间下游可能读到空表或部分数据;分区覆盖才是常用形态。

误解三:写完就有 _SUCCESS。 真相:任务失败或提交中断时没有 _SUCCESS;下游按所选提交器和已启用标记的约定判断。

一句话总结本节

写出语义有四种:整表覆盖(幂等)、分区覆盖(幂等、影响面小)、追加(不幂等,重跑翻倍)、存在即报错。提交协议(临时目录 + 重命名 + _SUCCESS)可用已发布标记供下游判断,但对象存储上重命名不原子,需要专门 committer。分区写出缩小覆盖范围,代价是文件数 = 输出分区 × 目录数。批作业能以覆盖换幂等,就优先覆盖而不是「追加 + 去重」。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现覆盖与追加的差异:

  • 源码:src/tune/Tuner.java(writeRows)与 src/tune/TuneSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:TuneSuite 用例 10 验证「overwrite 后只剩新写入的 50 行」;用例 11 验证「append 后是 100 + 50 = 150 行」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:写出有四种模式 → 覆盖幂等、追加重复 → 提交协议保可见性 → 分区写出缩范围、增文件 → 优先覆盖换幂等——lab 的 50 与 150 就是这条链的分叉点。

本章组件与失败边界参见 13.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路