2.3 重启-重放容错模型(任务级重试)
这一节讲 MapReduce 的容错模型,它是全书「重放/一致」主线上的第一环。核心只有一句:哪个任务失败,重跑哪个任务,其余不受影响。 这句话看起来朴素,背后的取舍却很深。
容错不是「避免故障」,而是「让故障便宜」
单机程序的容错思路是「尽力避免出错」:内存错误检测、磁盘 RAID、冗余电源。但分布式集群里,机器越多、跑得越久,故障越接近必然。MapReduce 换了个思路:
- 不追求「机器不挂」,而是追求「机器挂了作业照样完成」;
- 不追求「任务不失败」,而是追求「任务失败后重跑一遍就行」;
- 不追求「0 故障」,而是追求「每个故障只影响一个任务、恢复成本只是重跑一个任务」。
这套「重启-重放(restart-replay)」模型成立的前提,正是 2.1 的纯函数纪律:map/reduce 无副作用、可重放,重跑同一输入得到同一输出。 如果任务有副作用(写数据库、扣库存),重放就会产生重复副作用,容错模型立刻崩溃。
重放 vs 副本:两条容错路线的取舍
对「机器挂了怎么办」,系统设计有两条路线:
| 路线 | 做法 | 成本 | 适合 |
|---|---|---|---|
| 副本 | 同时跑两份(或预存冗余结果),一份挂了用另一份 | 资源翻倍(CPU/存储),持续占用 | 在线服务:不能接受「重来一次」的延迟 |
| 重放 | 任务失败后重跑一份 | 仅在失败时付出(一般作业失败率不高) | 批处理计算:结果正确、稍慢一点可接受 |
MapReduce 选重放的原因很直接:在线服务不能等,而批处理能等。 一个 1000 任务的作业里挂 1 个任务,重跑它只需要重新调度一份输入,整体延迟增加不过几分钟;但维持两份副本却要把集群资源翻倍。对「目标是完成而不是实时」的批计算,重放是压倒性的更优解。
失败检测的不可判性
「任务失败重跑」的第一步是「发现失败」。这比看起来难:分布式里你永远无法确定「对方挂了」还是「网络慢了」——这就是著名的 FLP 类结论在工程上的体现。
工程上用「心跳 + 超时」近似解决:
- 任务跟踪器定期上报心跳;调度器超过超时阈值(如 10 分钟)未收到就判定任务失败。
- 判定可能错:可能误杀一个其实还在慢慢跑的任务(网络抖动导致心跳延迟)。于是配合幂等重放,重复执行无害。
- 判定可能晚:一个任务真挂了可能要等一个超时周期才被发现,作业延迟被拉长。于是配合推测执行(卷一第 6 章):发现慢任务就启动一个备份,谁先完成用谁。
重放模型的三级粒度
故障可以发生在不同粒度,MapReduce 对每一级给出不同处理:
| 故障粒度 | 例子 | 处理 |
|---|---|---|
| 任务失败 | map/reduce 进程异常退出 | 重跑该任务(可重试多次,超出阈值则该作业失败) |
| 任务跟踪器/节点故障 | 整台机器挂 | 该节点上的所有任务重调度到其他节点;节点进黑名单 |
| 作业失败 | 大量任务重试仍失败 | 作业整体失败,可配置从最近检查点/直接重跑 |
关键洞察:粒度越小,恢复越便宜。 任务级重放把「一台机器挂了」的成本隔离在「这台机器上的任务」——其他几百个任务的成果全部保留。
重试参数的工程选择
「任务失败重跑」不是无脑重试,参数要按作业特性调:
| 参数 | 含义 | 典型取值 | 依据 |
|---|---|---|---|
| maxAttempts | 单个任务最大尝试次数 | 4 次 | 临时故障(进程崩溃、节点抖动)多在 1–2 次内恢复;超过 4 次多半是数据或代码本身的问题 |
| 重试退避 | 失败后等待再重试的时间 | 指数退避 1s→2s→4s | 避免所有失败任务同时重试打爆调度器 |
| 黑名单 | 连续失败的节点不再派任务 | 该节点隔离 | 一个节点反复失败说明它本身有问题,继续派只会再失败 |
| 作业级上限 | 总失败比例超过阈值则作业失败 | 如 10% 任务失败则失败 | 大面积失败说明系统性故障,重跑无意义 |
直觉:重试要覆盖「临时故障」,不要掩盖「系统性故障」。 少量失败重试即可;大面积失败应立即停止,检查根因,而不是让重试掩盖真实问题。
失败重放与「输出恰好一次」的区别
计算作业常被问「失败重放会不会导致输出重复或丢失」。要分清两个概念:
- 任务级重放(MapReduce 的模型):失败任务重跑,最终结果「恰好一次」(每份输入被处理一次)。因为输入只读、任务幂等,重跑只是把同一份输入再算一遍,没有副作用累积。
- 端到端恰好一次(更强):整个管线(含写下游系统)只影响一次。MapReduce 对「写 HDFS 输出」能保证(输出文件用
_temporary过渡,作业完成后原子 rename),但对「写外部数据库」不保证——需要幂等写入或事务(卷三第 9、13 章讲 Flink 如何做到端到端恰好一次)。
所以:MapReduce 保证的是「输入被处理一次、输出正确生成」,不是「对任意外部副作用恰好一次」。理解这个边界,才不会在「作业重跑后外部账本多记了一次」时冤枉引擎。
为什么 map 与 reduce 的重放成本不同
重放成本不对称,值得注意:
- map 任务重放便宜:map 读的是输入数据(HDFS 上永久的、有副本的),重跑只需要重新调度一个任务,读同一份输入。
- reduce 任务重放较贵:reduce 的输入是 shuffle 后的中间数据。如果 reduce 失败,中间数据可能已随 map 任务结束而部分丢弃,需要重跑其上游 map 任务重新生成中间数据。所以 reduce 阶段做「中间数据落盘 + 保存」更常见(合并/排序结果落盘,失败时从落盘点恢复)。
这个不对称是后续优化(shuffle 落盘、spark 血缘、flink 检查点)的起点。
重放模型在后续引擎里的进化
「任务级重放」是 MapReduce 的答案,但后续引擎沿同一思路给出了升级版,这条进化线值得先记住:
| 引擎 | 重放机制 | 比 MapReduce 强在哪 | 章节 |
|---|---|---|---|
| MapReduce | 任务级重放(失败重跑任务) | 简单可靠 | 本节 |
| Spark | 血缘重算(RDD 变换记录来源,失败重建依赖链) | 内存中间结果也能重建,不必全部重跑 | 卷二第 7 章 |
| Flink | 检查点快照 + 状态恢复(定期存运行状态) | 流处理无「批次」,用状态快照恢复 | 卷三第 6–7 章 |
| 数据湖 | 目录事务(快照 + 日志,回滚到一致点) | 多引擎写同一批数据也能一致恢复 | 卷四第 3–6 章 |
共同点:都遵守「无副作用 + 可重放」纪律,只是把「重放的单元」和「重放的时机」越做越精细——从重跑任务,到重建血缘,到恢复状态快照,到回滚事务。理解本节是理解这条进化线的起点。
故障演练:重放模型必须被验证
重放模型的可靠性不能靠「相信实现」,要故意制造故障验证:
- 任务级:杀一个 map/reduce 任务,看作业是否自动重放并完成。
- 节点级:隔离一个节点,看它上面的任务是否被重调度、副本是否补足。
- 作业级:模拟大面积节点故障,看作业是恢复还是失败、失败时是否有清晰的错误而不是挂死。
这类验证是「混沌工程」的雏形(卷四第 14 章展开)。重放模型只有在「真的故障过」时才可信——没演练过故障的集群,第一次真实故障往往暴露你没预料到的问题。
一个失败重放的可视化例子
把「任务级重放」画成一个时间线,直观看到成本隔离:
作业 1000 个任务,t=0 启动
t=5min map 任务 #217 在 node-3 崩溃(该任务进度丢失)
t=5min 调度器检测到失败,把 #217 重新调度到 node-9
t=5min+ #217 在 node-9 重跑(输入块有副本,node-9 也有)
t=6min 作业全部完成,结果正确
注意三点:只有 #217 重跑(其余 999 个任务的成果保留)、重跑不需要整作业重来、重跑的成本只相当于「多算了一个分片」。对比「整作业重跑」(1000 个任务全重来),任务级重放把故障成本缩小了三个数量级——这就是 2.3 的工程价值所在。
重放 vs 副本:一条贯穿全书的决策主线
2.3 的核心决策——「重放而非副本」——不是 MapReduce 独有,而是贯穿全书所有引擎的一条主线。在不同层,同一问题反复出现:
| 层面 | 问题是 | 答案(重放侧) | 答案(副本侧) | 章节 |
|---|---|---|---|---|
| 计算任务 | 任务失败怎么办 | 重放失败任务(便宜、幂等) | 维持两份同时跑(贵、低延迟) | 2.3 |
| 数据块 | 节点挂丢数据怎么办 | 补副本(从健康副本重建) | 初始就多副本(3 副本) | 5.1 |
| 元数据 | NameNode 挂怎么办 | 从 edits log 重放恢复 | QJM 多数派复制 | 5.2 |
| 中间数据 | shuffle 数据丢怎么办 | 重算上游 map | 中间数据落盘/冗余 | 7 章 |
| 运行状态 | 流作业状态丢怎么办 | 从检查点重放 | 状态多副本 | 卷三 6 章 |
观察:计算侧偏爱「重放」(因为任务幂等、重放便宜),存储/状态侧偏爱「冗余」(因为数据不可重算、复制可靠)。 边界在于「能否廉价地重建」:能重建的用重放,不能重建的用副本。理解这条主线,后面每个引擎的容错设计都能对号入座。
三个常见误解
误解一:任务失败 = 作业失败,重放会把整个作业重来一遍。 真相:重放是任务级的——只重跑失败的那一个任务,已完成的任务成果保留。作业级重跑是最后手段(大量任务失败时),正常情况下一个 1000 任务的作业挂 3 个任务,只重跑 3 个。
误解二:重放能解决所有故障。 真相:重放的前提是「输入还在、输出可重建」。如果 HDFS 数据块本身丢失且副本也没了(比如副本所在机器全挂),任务无从重放——所以存储层的副本冗余(第 5 章)与计算层的任务重放是两套互补的容错,缺一不可。
误解三:检测到任务失败就该立刻重跑。 真相:失败判定本身可能误判(网络抖动)。工程上用「超时 + 幂等 + 有限重试」容忍误判:宁可偶尔重跑一个还活着的任务(幂等所以无害),也不冒着「双写」风险贸然判定。所以重试策略有超时阈值和上限。
幂等的完整含义
「任务幂等」是重放模型的基石,值得拆开。任务幂等指对同一输入执行多次,结果相同。完整的保证需要三层:
| 层面 | 要求 | 若违反 |
|---|---|---|
| 计算 | map/reduce 无副作用,不写外部状态 | 重跑导致外部重复写 |
| 输入 | 输入只读、不边算边改 | 重跑读到变化的数据 |
| 确定性 | 相同输入得到相同输出(不用随机数/时钟) | 重跑结果不同 |
三层里最容易踩坑的是确定性:代码里用了 Math.random()、System.currentTimeMillis() 或依赖未排序集合的迭代顺序,任务就「非幂等」——单机运行没问题,重放后结果就和第一次不同。写 map/reduce 的纪律就是「输入决定输出、不依赖环境」,这正是「纯函数」的工程含义。
一句话总结本节
MapReduce 用「任务级重放」做容错:哪个任务失败就重跑哪个,其余成果保留;这套模型靠「无副作用 + 幂等」保证重放安全,靠「重放比副本便宜」保证规模化可行,靠「心跳超时 + 有限重试」容忍失败检测的不可判性——它把「机器会挂」从灾难变成了常态开销。
本节 lab
在 bd-fs-lab/ 中复现任务级重放:
- 源码:
src/mapreduce/MiniMR.java(Job.failOnce模拟「split 首次执行必失败」、maxAttempts限重试上限)与src/mapreduce/MapReduceSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
MapReduceSuite用例 7 验证「带失败重放的输出与无失败运行完全一致」(a=1;b=1;c=1);用例 8 验证「失败任务被重放恰好 1 次(failedAttempts == 1)」。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:任务失败被检测后重放、其余任务成果保留、最终输出与无失败一致——「任务级重放」在断言里被直接证明。
本章组件与失败边界参见 2.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。