《大规模分布式计算深入解析》7.3 精确一次与任务级容错

计算内部的「结果唯一」不等于端到端的「精确一次」:任务可能重试多次,但只有提交的那次可见;一旦写外部系统,重复执行就可能重复写入。本节讲 Spark 的提交协议与输出提交协调器,说明为什么「计算层精确一次 + 存储层幂等」才能拼出端到端精确一次。

7.3 精确一次与任务级容错

前两节讲「丢了怎么恢复」,这一节讲「恢复之后结果算几次」。这是分布式计算里最容易混淆的一对概念:计算的容错与端到端的语义。Spark 在计算内部能做到「结果唯一」,但端到端是否精确一次,取决于输出端。

三种投递语义

先统一术语:

语义含义典型场景
at-most-once最多一次,可能丢不重试
at-least-once至少一次,可能重复重试机制
exactly-once恰好一次,不丢不重重试 + 去重/事务

分布式计算的默认配置是 at-least-once:任务失败会重试,所以「至少成功一次」;但重试可能让「成功的任务执行了两次」。要变成 exactly-once,需要在「结果可见性」上做文章。

计算内部:结果唯一

Spark 在计算内部做了一件很聪明的事:只有提交成功的那次尝试,结果才被采纳。

lab 的 ExecutionModel.visibleResults(3, true) 返回 1(用例 11):一个任务尝试了 3 次,但只有提交成功的那次产生可见结果,所以是 1 份。visibleResults(3, false) 返回 0(用例 12):没提交,就没有结果。visibleResults(1, true) 返回 1(用例 13):一次成功并提交,恰好 1 份。

这就是「任务级容错」的核心:重试是「多算几次」,提交是「只认一次」。两者配合,计算结果层面是 exactly-once——无论重试多少次,最终被下游看到的只有一份。

外部副作用:语义的裂缝

裂缝出现在「写外部系统」时:

任务第 1 次执行:写入数据库 100 行(成功)
任务上报失败(网络超时,实际已写)
任务第 2 次执行:又写入 100 行
→ 数据库里有 200 行

计算层认为「只有第 2 次的结果可见」,但数据库里已经有第 1 次的写入了。计算层的「结果唯一」管不到外部系统的副作用——这是 at-least-once 在端到端的暴露。

三种补救方式

要补上这个裂缝,有三条路:

方式做法前提
幂等写重复写不产生重复结果(唯一键覆盖)存储支持幂等
事务写写入与提交在同一事务里存储支持事务
两阶段提交先预写、再统一提交有协调者

第一种最常见,也最简单:用「主键 + upsert」代替「insert」,重复执行只是覆盖同一行。第二种适合数据库,第三种适合文件系统(Spark 的 OutputCommitter 就是这类)。

提交协议:成功才可见

Spark 写 HDFS/S3 时用的是「提交协议」:

任务执行 → 写临时目录(_temporary)
任务成功 → 重命名为正式文件
全部任务成功 → 写 _SUCCESS 标记
阶段可见性
写临时目录不可见(下游读不到)
重命名部分可见
写 _SUCCESS完整可见

所以「没有 _SUCCESS 的目录」的含义取决于提交器和是否启用了成功标记,消费端应遵循所选提交协议。提交协议把「写了一半」与「写完了」区分开,是文件系统上的 exactly-once 近似。

重命名的原子性

提交协议依赖「重命名是原子的」:

文件系统重命名原子性影响
HDFS原子提交协议可靠
本地文件系统通常原子单机可靠
S3 等对象存储非原子(rename = copy + delete)需要额外机制

对象存储上「重命名」实际是「复制再删除」,中间状态可能被看到。所以 Spark 在 S3 上通常用「输出提交协调器」或「按作业隔离目录」来规避——同一个提交协议,在不同存储上的可靠性不同。

输出提交协调器

Spark 3 引入的输出提交协调器(OutputCommitCoordinator)解决的是「多任务竞争提交」的问题:

问题协调器的做法
两个推测副本同时尝试提交只允许一个成功
重试任务与旧任务竞争按任务尝试号裁决
提交失败整体作业失败,不产生半成品

它保证「同一个分区的输出只有一个最终版本」,配合提交协议,把「任务级重试」与「文件级可见性」对齐。

端到端精确一次的完整条件

把所有条件摆在一起:

层要求
输入可重放(文件偏移固定、数据不变)
计算确定性(同输入同输出)
容错重试 + 只认提交
输出幂等写或事务提交

四层缺一不可。「Spark 支持精确一次」这句话,只在四层都满足时成立——很多「重复数据」问题,根因在输入不可重放(比如读了会变化的表)或输出不幂等,不是 Spark 本身。

为什么「提交」能收敛多份结果

重试会产生多个尝试,提交只留一个,机制是「尝试号 + 唯一裁决」:

步骤发生什么
任务尝试每个尝试带递增的 attemptId
尝试成功向 Driver 申请提交
Driver 裁决同一分区只批准一个(通常是第一个)
其余尝试被取消或忽略其结果

lab 的 ExecutionModel.visibleResults(3, true) 返回 1(用例 11):3 次尝试、已提交,所以只有 1 份可见结果。这正是「幂等」在计算层的实现:不是让重复不发生,而是让重复不可见。

写外部系统的四种实现

把「端到端」落到代码,有四种常见写法:

写法幂等靠什么适用
覆盖写(overwrite)整表/整分区替换结果表可整体刷新
主键 upsert唯一键数据库、支持 merge 的表
按稳定批次标识原子提交批次标识流式写入(10.3)
事务提交(两阶段)提交协议文件系统、支持事务的存储

四种的强度递减、成本递减:覆盖写最简单但只能整表刷;upsert 需要主键;批次戳需要能按条件删;两阶段提交最重但最严格。

一个容易被忽略的前提:输入可重放

7.1 讲血缘重算时强调「从源重来」,这个能力依赖输入可重放:

输入可重放吗
固定的 HDFS 文件是(偏移不变)
Kafka 有保留期的 topic期内是,过期后不是
会被覆盖的「最新」表否(重跑读到新数据)
外部 API 实时拉取否(响应会变)

如果输入不可重放,重试会读到不同的数据——此时即使输出幂等,「两次执行的结果不同」也会破坏一致性。所以生产上常把「不可重放的源」先落一份不可变的快照。

目标系统的提交边界

批处理提交器协调任务尝试对于指定输出的可见性。对数据库更新、外部 HTTP 或多表写入要单独建立可恢复协议。批次重试中,先删除再独立写入会暴露空档,应用可在目标端一次提交数据与稳定批次标识。对象存储还需使用与其语义匹配的提交器。参见 Spark 写出语义 与卷二 10.3。

三个常见误解

误解一:Spark 天生精确一次。 真相:计算内部结果唯一,端到端要看输入可重放与输出幂等。

误解二:重试必然导致重复。 真相:有提交协议时,重试的中间结果不可见,最终只有一份。

误解三:写文件天然幂等。 真相:覆盖写幂等,追加写不幂等;对象存储的「重命名」也不是原子的。

一句话总结本节

Spark 任务可能多次执行。同一输出的可见性由所选提交器与读者协议控制,所以计算内部是「结果唯一」;裂缝在外部副作用——重试可能重复写数据库或消息。补救靠幂等写、事务写、两阶段提交;文件系统上的提交协议(临时目录 + 重命名 + _SUCCESS)可提供完成标识。端到端精确一次需要四层同时满足:输入可重放、计算确定性、只认提交、输出幂等。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现「只认提交」的语义:

  • 源码:src/exec/ExecutionModel.java(visibleResults / attemptsNeeded)与 src/exec/ExecSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:ExecSuite 用例 11-13 验证「3 次尝试只有 1 份可见结果」「未提交 0 份」「一次成功并提交恰好 1 份」;用例 1-2 验证重试上限。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:重试导致多算 → 提交只认一次 → 计算内部结果唯一 → 外部副作用需幂等 → 端到端四层条件——lab 的可见结果计数就是这条链的核心判据。

本章组件与失败边界参见 7.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路