13.2 写出语义:覆盖、追加与幂等
读取是「看」,写出是「改」。改错了很难回退,所以写出语义是数据工程里最容易出事故的地方。这一节把四种写出模式、提交协议与幂等的关系讲清楚。
四种写出模式
| 模式 | 行为 | 重跑一次的结果 |
|---|---|---|
| overwrite(整表) | 删除目标再写 | 幂等(结果相同) |
| overwrite(动态分区) | 只替换涉及的分区 | 幂等(涉及分区相同) |
| append | 追加新文件 | 结果翻倍(重复) |
| errorIfExists | 存在就报错 | 报错,不写 |
lab 的 Tuner.writeRows(100, 50, true) 返回 50(用例 10):overwrite 后只剩新写入的 50 行;writeRows(100, 50, false) 返回 150(用例 11):append 后是 100 + 50 = 150 行。同一份数据写两次,覆盖是 50 行,追加是 200 行——这就是幂等与否的全部差别。
为什么 append 不幂等
append 的语义是「再加一批文件」:
第一次跑:写出 part-0000 ... part-0019
重跑:又写出 part-0000 ... part-0019(文件名可能带随机后缀)
→ 目录里有两份数据
文件系统层面「写」从不检查「是否已有等价数据」。所以 append 的重跑一定重复。要幂等,必须让「写」变成「替换」——覆盖整表或覆盖分区。
分区写出:缩小冲突范围
partitionBy("dt") 让每个分区目录独立:
| 维度 | 不分区 | 按 dt 分区 |
|---|---|---|
| 覆盖范围 | 整表 | 只覆盖本次涉及的 dt |
| 文件数 | 分区数 | 分区数 × 目录数 |
| 下游读取 | 读全表 | 可只读某些 dt |
分区覆盖(dynamic partition overwrite)是批作业幂等的常用形态:今天重跑只覆盖今天的目录,昨天的数据不动。它要求「写入的数据集与分区边界一致」——如果一次写入涉及 30 个 dt,就覆盖 30 个目录。
提交协议:写完才可见
无论哪种模式,写出都经过提交协议(7.3):
写临时目录(_temporary)
→ 全部任务成功
→ 重命名到正式目录
→ 写 _SUCCESS
| 阶段 | 下游能看到什么 |
|---|---|
| 写临时目录 | 什么都看不到 |
| 部分重命名 | 部分数据(脏读) |
| _SUCCESS 写完 | 完整数据 |
所以「读到一个没有 _SUCCESS 的目录」只有在约定启用成功标记时才能当作异常。提交协议可用已发布标记供下游判断,是文件系统上最基本的写出安全线。
对象存储上的差异
| 存储 | 重命名 | 提交协议可靠性 |
|---|---|---|
| HDFS | 原子 | 高 |
| 本地盘 | 原子 | 高 |
| S3 等对象存储 | copy + delete | 中(需额外机制) |
对象存储没有「目录重命名」的原子操作,Spark 会退化成「复制 + 删除」或使用专门的 output committer。同样一句 write.overwrite,在 S3 上的语义实现路径不同——这是「本地测试通过、线上偶发脏数据」的常见根因。
小文件:写出的第二宗罪
分区写出会放大文件数:
200 个输出分区 × 365 个 dt 目录 = 73000 个文件
| 手段 | 效果 |
|---|---|
| 写前 coalesce | 减少输出分区 |
| 按目标文件大小重分区 | 每个分区目录几个文件 |
| 表格式 compaction | 后台合并小文件 |
| 减少 partitionBy 列 | 少一些目录 |
「分区数 × 目录数」是文件数的乘数,两者都要控制。写出前按「目标文件大小」重分区,是控制小文件最直接的办法。
幂等的三种实现对比
| 实现 | 适用 | 代价 |
|---|---|---|
| 整表 overwrite | 小表、全量重算 | 下游短暂不可用 |
| 分区 overwrite | 按日期/业务分区 | 需要分区设计 |
| 按稳定批次标识原子提交 | 流式、增量 | 需要可删除的存储 |
「覆盖」比「追加 + 去重」便宜:去重要读旧数据、比对、再写,覆盖只写一次。所以批作业能全量重算时,优先用覆盖。
写出的检查清单
| 检查 | 目的 |
|---|---|
| 模式是覆盖还是追加? | 决定重跑是否重复 |
| 分区边界与数据一致吗? | 动态分区覆盖不误伤 |
| 目标文件大小合理吗? | 避免小文件 |
| 下游依赖 _SUCCESS 吗? | 脏读防护 |
| 存储是对象存储吗? | 提交协议可靠性 |
这张清单里第一项是根因级的:模式选错,后面所有检查都救不回来。
写失败后留下了什么
失败不一定干净:
| 失败时机 | 遗留物 |
|---|---|
| 写临时目录时失败 | _temporary 下的残留 |
| 重命名一半失败 | 部分正式文件 |
| 提交成功后清理失败 | 临时目录残留 |
残留不会自动伤害数据,但会伤害「重跑」:临时目录没清,下次重跑可能冲突;部分正式文件没删,覆盖时可能读到新旧混杂。所以「重跑前清残留」是运维的固定动作,而不是可选项。
并发写同一目录
两个作业同时写一个目录,结果是未定义的:
| 情况 | 结果 |
|---|---|
| 都 append | 文件混在一起,无法区分来源 |
| 都 overwrite | 后提交的覆盖前者,或文件交错 |
| 一写一读 | 读者可能读到中间状态 |
并发写要靠「不同的目录」或「表格式的事务」,不能靠约定。按作业/日期隔离目录是最简单的做法;表格式则用乐观并发控制。
写出的顺序没有保证
| 事实 | 影响 |
|---|---|
| 文件内顺序不保证 | 别依赖「写进去的顺序」 |
| 文件间顺序不保证 | 读出来要显式排序 |
| 分区目录顺序不保证 | 列举顺序与写入顺序无关 |
「分布式写出的结果无序」是常态,需要顺序时必须在读取端 ORDER BY,而不是指望写入顺序。
目标系统的提交边界
批处理提交器协调任务尝试对于指定输出的可见性。对数据库更新、外部 HTTP 或多表写入要单独建立可恢复协议。批次重试中,先删除再独立写入会暴露空档,应用可在目标端一次提交数据与稳定批次标识。对象存储还需使用与其语义匹配的提交器。参见 Spark 写出语义 与卷二 10.3。
三个常见误解
误解一:append 写一次没问题。 真相:作业重跑、任务重试都可能写第二次;append 天然不幂等。
误解二:overwrite 一定安全。 真相:整表覆盖期间下游可能读到空表或部分数据;分区覆盖才是常用形态。
误解三:写完就有 _SUCCESS。 真相:任务失败或提交中断时没有 _SUCCESS;下游按所选提交器和已启用标记的约定判断。
一句话总结本节
写出语义有四种:整表覆盖(幂等)、分区覆盖(幂等、影响面小)、追加(不幂等,重跑翻倍)、存在即报错。提交协议(临时目录 + 重命名 + _SUCCESS)可用已发布标记供下游判断,但对象存储上重命名不原子,需要专门 committer。分区写出缩小覆盖范围,代价是文件数 = 输出分区 × 目录数。批作业能以覆盖换幂等,就优先覆盖而不是「追加 + 去重」。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现覆盖与追加的差异:
- 源码:
src/tune/Tuner.java(writeRows)与src/tune/TuneSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
TuneSuite用例 10 验证「overwrite 后只剩新写入的 50 行」;用例 11 验证「append 后是 100 + 50 = 150 行」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:写出有四种模式 → 覆盖幂等、追加重复 → 提交协议保可见性 → 分区写出缩范围、增文件 → 优先覆盖换幂等——lab 的 50 与 150 就是这条链的分叉点。
本章组件与失败边界参见 13.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。