7.3 精确一次与任务级容错
前两节讲「丢了怎么恢复」,这一节讲「恢复之后结果算几次」。这是分布式计算里最容易混淆的一对概念:计算的容错与端到端的语义。Spark 在计算内部能做到「结果唯一」,但端到端是否精确一次,取决于输出端。
三种投递语义
先统一术语:
| 语义 | 含义 | 典型场景 |
|---|---|---|
| at-most-once | 最多一次,可能丢 | 不重试 |
| at-least-once | 至少一次,可能重复 | 重试机制 |
| exactly-once | 恰好一次,不丢不重 | 重试 + 去重/事务 |
分布式计算的默认配置是 at-least-once:任务失败会重试,所以「至少成功一次」;但重试可能让「成功的任务执行了两次」。要变成 exactly-once,需要在「结果可见性」上做文章。
计算内部:结果唯一
Spark 在计算内部做了一件很聪明的事:只有提交成功的那次尝试,结果才被采纳。
lab 的 ExecutionModel.visibleResults(3, true) 返回 1(用例 11):一个任务尝试了 3 次,但只有提交成功的那次产生可见结果,所以是 1 份。visibleResults(3, false) 返回 0(用例 12):没提交,就没有结果。visibleResults(1, true) 返回 1(用例 13):一次成功并提交,恰好 1 份。
这就是「任务级容错」的核心:重试是「多算几次」,提交是「只认一次」。两者配合,计算结果层面是 exactly-once——无论重试多少次,最终被下游看到的只有一份。
外部副作用:语义的裂缝
裂缝出现在「写外部系统」时:
任务第 1 次执行:写入数据库 100 行(成功)
任务上报失败(网络超时,实际已写)
任务第 2 次执行:又写入 100 行
→ 数据库里有 200 行
计算层认为「只有第 2 次的结果可见」,但数据库里已经有第 1 次的写入了。计算层的「结果唯一」管不到外部系统的副作用——这是 at-least-once 在端到端的暴露。
三种补救方式
要补上这个裂缝,有三条路:
| 方式 | 做法 | 前提 |
|---|---|---|
| 幂等写 | 重复写不产生重复结果(唯一键覆盖) | 存储支持幂等 |
| 事务写 | 写入与提交在同一事务里 | 存储支持事务 |
| 两阶段提交 | 先预写、再统一提交 | 有协调者 |
第一种最常见,也最简单:用「主键 + upsert」代替「insert」,重复执行只是覆盖同一行。第二种适合数据库,第三种适合文件系统(Spark 的 OutputCommitter 就是这类)。
提交协议:成功才可见
Spark 写 HDFS/S3 时用的是「提交协议」:
任务执行 → 写临时目录(_temporary)
任务成功 → 重命名为正式文件
全部任务成功 → 写 _SUCCESS 标记
| 阶段 | 可见性 |
|---|---|
| 写临时目录 | 不可见(下游读不到) |
| 重命名 | 部分可见 |
| 写 _SUCCESS | 完整可见 |
所以「没有 _SUCCESS 的目录」的含义取决于提交器和是否启用了成功标记,消费端应遵循所选提交协议。提交协议把「写了一半」与「写完了」区分开,是文件系统上的 exactly-once 近似。
重命名的原子性
提交协议依赖「重命名是原子的」:
| 文件系统 | 重命名原子性 | 影响 |
|---|---|---|
| HDFS | 原子 | 提交协议可靠 |
| 本地文件系统 | 通常原子 | 单机可靠 |
| S3 等对象存储 | 非原子(rename = copy + delete) | 需要额外机制 |
对象存储上「重命名」实际是「复制再删除」,中间状态可能被看到。所以 Spark 在 S3 上通常用「输出提交协调器」或「按作业隔离目录」来规避——同一个提交协议,在不同存储上的可靠性不同。
输出提交协调器
Spark 3 引入的输出提交协调器(OutputCommitCoordinator)解决的是「多任务竞争提交」的问题:
| 问题 | 协调器的做法 |
|---|---|
| 两个推测副本同时尝试提交 | 只允许一个成功 |
| 重试任务与旧任务竞争 | 按任务尝试号裁决 |
| 提交失败 | 整体作业失败,不产生半成品 |
它保证「同一个分区的输出只有一个最终版本」,配合提交协议,把「任务级重试」与「文件级可见性」对齐。
端到端精确一次的完整条件
把所有条件摆在一起:
| 层 | 要求 |
|---|---|
| 输入 | 可重放(文件偏移固定、数据不变) |
| 计算 | 确定性(同输入同输出) |
| 容错 | 重试 + 只认提交 |
| 输出 | 幂等写或事务提交 |
四层缺一不可。「Spark 支持精确一次」这句话,只在四层都满足时成立——很多「重复数据」问题,根因在输入不可重放(比如读了会变化的表)或输出不幂等,不是 Spark 本身。
为什么「提交」能收敛多份结果
重试会产生多个尝试,提交只留一个,机制是「尝试号 + 唯一裁决」:
| 步骤 | 发生什么 |
|---|---|
| 任务尝试 | 每个尝试带递增的 attemptId |
| 尝试成功 | 向 Driver 申请提交 |
| Driver 裁决 | 同一分区只批准一个(通常是第一个) |
| 其余尝试 | 被取消或忽略其结果 |
lab 的 ExecutionModel.visibleResults(3, true) 返回 1(用例 11):3 次尝试、已提交,所以只有 1 份可见结果。这正是「幂等」在计算层的实现:不是让重复不发生,而是让重复不可见。
写外部系统的四种实现
把「端到端」落到代码,有四种常见写法:
| 写法 | 幂等靠什么 | 适用 |
|---|---|---|
| 覆盖写(overwrite) | 整表/整分区替换 | 结果表可整体刷新 |
| 主键 upsert | 唯一键 | 数据库、支持 merge 的表 |
| 按稳定批次标识原子提交 | 批次标识 | 流式写入(10.3) |
| 事务提交(两阶段) | 提交协议 | 文件系统、支持事务的存储 |
四种的强度递减、成本递减:覆盖写最简单但只能整表刷;upsert 需要主键;批次戳需要能按条件删;两阶段提交最重但最严格。
一个容易被忽略的前提:输入可重放
7.1 讲血缘重算时强调「从源重来」,这个能力依赖输入可重放:
| 输入 | 可重放吗 |
|---|---|
| 固定的 HDFS 文件 | 是(偏移不变) |
| Kafka 有保留期的 topic | 期内是,过期后不是 |
| 会被覆盖的「最新」表 | 否(重跑读到新数据) |
| 外部 API 实时拉取 | 否(响应会变) |
如果输入不可重放,重试会读到不同的数据——此时即使输出幂等,「两次执行的结果不同」也会破坏一致性。所以生产上常把「不可重放的源」先落一份不可变的快照。
目标系统的提交边界
批处理提交器协调任务尝试对于指定输出的可见性。对数据库更新、外部 HTTP 或多表写入要单独建立可恢复协议。批次重试中,先删除再独立写入会暴露空档,应用可在目标端一次提交数据与稳定批次标识。对象存储还需使用与其语义匹配的提交器。参见 Spark 写出语义 与卷二 10.3。
三个常见误解
误解一:Spark 天生精确一次。 真相:计算内部结果唯一,端到端要看输入可重放与输出幂等。
误解二:重试必然导致重复。 真相:有提交协议时,重试的中间结果不可见,最终只有一份。
误解三:写文件天然幂等。 真相:覆盖写幂等,追加写不幂等;对象存储的「重命名」也不是原子的。
一句话总结本节
Spark 任务可能多次执行。同一输出的可见性由所选提交器与读者协议控制,所以计算内部是「结果唯一」;裂缝在外部副作用——重试可能重复写数据库或消息。补救靠幂等写、事务写、两阶段提交;文件系统上的提交协议(临时目录 + 重命名 + _SUCCESS)可提供完成标识。端到端精确一次需要四层同时满足:输入可重放、计算确定性、只认提交、输出幂等。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现「只认提交」的语义:
- 源码:
src/exec/ExecutionModel.java(visibleResults / attemptsNeeded)与src/exec/ExecSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
ExecSuite用例 11-13 验证「3 次尝试只有 1 份可见结果」「未提交 0 份」「一次成功并提交恰好 1 份」;用例 1-2 验证重试上限。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:重试导致多算 → 提交只认一次 → 计算内部结果唯一 → 外部副作用需幂等 → 端到端四层条件——lab 的可见结果计数就是这条链的核心判据。
本章组件与失败边界参见 7.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。