6.3 推测执行与失败黑名单
2.3 的容错靠「任务失败重放」,但分布式集群里还有一种更隐蔽的故障:任务没失败、只是慢。一个慢任务拖住整个作业,就是长尾效应。这一节讲两套应对机制:推测执行(加快慢任务)与失败黑名单(隔离坏节点)。
长尾问题:慢任务为什么是作业的瓶颈
一个作业的完成时间由最慢的任务决定(木桶效应)。集群里的慢任务来源:
| 来源 | 表现 | 本质 |
|---|---|---|
| 慢节点(坏磁盘、CPU 争抢) | 该节点上的任务普遍慢 | 节点级性能劣化 |
| 数据倾斜 | 某任务处理的数据远超平均 | 数据分布不均(7.1 讲) |
| 随机抖动 | 单任务偶发变慢 | 环境噪声 |
推论:只要有一个慢任务,整个作业就等它。 而「慢」不像「失败」那样可以靠重放解决——任务还活着、还在算,重放它反而浪费资源。所以需要「推测执行」:并行地多跑一份,谁先完成用谁。
推测执行:谁慢、备一份
推测执行(speculative execution)的核心流程:
对每个运行中的任务,周期检查进度:
1. 计算所有同类任务的「平均进度」或「最快进度」
2. 某任务进度显著落后(如 < 最快进度 - 阈值)→ 判定为「疑似慢任务」
3. 为该任务启动一个「备份任务」,跑在别的节点(读同一分片)
4. 原任务与备份谁先完成,用谁的结果;后完成的被 kill
三个关键设计点:
- 不 kill 原任务:推测执行是「另起炉灶」,不是「先杀后重」——因为「疑似慢」可能是误判(节点暂时抖动),原任务也许马上就完成。
- 进度比较的基准:用「同类任务的平均/最快进度」而非绝对时间——因为任务长度不一,只有「显著落后于同类」才值得备份。
- 结果正确性不受影响:两个任务读同一分片、是同一纯函数(2.1),谁先完成结果都一样——所以「谁先完成用谁」在结果上无差别,只是时间上更快。
推测执行与重放(2.3)的区别:重放是「失败后的补救」,推测是「慢时的并行」。前者等失败,后者不等失败、主动加速。两者互补:失败靠重放、慢靠推测。
推测执行的成本与阈值
推测不是免费:备份任务占双份资源(CPU、内存、读带宽)。所以要「克制地推测」:
| 参数 | 含义 | 太激进 | 太保守 |
|---|---|---|---|
| 进度阈值 | 落后多少算「慢」 | 备份太多、资源浪费 | 慢任务拖住作业 |
| 启动时机 | 任务运行多久后才检查 | 早期误判 | 太晚失去意义 |
| 备份上限 | 最多同时备份多少 | 集群资源被占满 | 长尾难消 |
工程判断:推测执行只对「map 任务」默认开启,reduce 任务默认关闭——因为 reduce 的输入是 shuffle 中间数据,备份 reduce 要先重读 shuffle,成本高;而 map 读的是本地分片,备份成本低。这印证了「重放/推测的成本不对称」(2.3 讲过 reduce 重放贵)。
黑名单:隔离反复失败的节点
推测执行治「慢」,黑名单治「坏」——一个节点反复失败,说明它本身有问题,再派任务只会继续失败。黑名单机制:
| 步骤 | 动作 |
|---|---|
| 1 | 某节点上的任务失败 → 记录该节点失败次数 |
| 2 | 失败次数达到阈值(如 3 次)→ 节点进黑名单 |
| 3 | 调度器不再向黑名单节点派任务 |
| 4 | 节点恢复健康(心跳正常、任务成功)→ 可解除黑名单 |
黑名单的阈值要「既敏感又不误伤」:
- 太敏感:一次失败就拉黑 → 误伤因网络抖动失败的正常节点。
- 太保守:失败很多次才拉黑 → 坏节点持续浪费调度机会。
工程实践常用**「连续失败 N 次」或「窗口内失败率超过阈值」**。黑名单是短期的(几分钟到几小时),不是永久——节点可能只是短暂故障,恢复后应重新被信任。
黑名单与调度的关系
黑名单不是独立的模块,而是调度器决策的输入:
调度主循环(6.2 的扩展):
对任务选择节点时:
跳过「黑名单中的节点」
跳过「满载节点」
在剩余节点里按本地性三级选最优
所以黑名单改变了「可选节点集合」——调度器看到的候选,永远是「非黑名单 + 有空槽」的交集。这解释了为什么黑名单要放在调度循环的最外层判断:不先过滤坏节点,本地性三级判断会白做。
黑名单与任务重放的衔接
黑名单与 2.3 的重放配合,形成完整容错链:
| 事件 | 处理 |
|---|---|
| 单任务失败 | 重放该任务(2.3) |
| 单节点反复失败 | 黑名单该节点,不再派任务 |
| 黑名单节点上的未完成任务 | 重调度到其他节点 |
| 大量节点失败 | 作业级处理(大面积故障,2.3) |
黑名单的价值是「防止重放打水漂」:没有黑名单时,坏节点上的任务失败 → 重放到同一节点 → 再失败 → 无限循环,白白消耗调度与重放资源。黑名单截断了这个循环——它让「重放」只发生在「值得重放的节点」上。
推测执行与黑名单的配合
两套机制看似独立,实际配合:
| 场景 | 推测执行 | 黑名单 |
|---|---|---|
| 节点慢但不失败 | 启动备份加速 | 不需要(还没到失败阈值) |
| 节点慢且偶尔失败 | 备份加速 + 失败多了进黑名单 | 逐步隔离 |
| 节点频繁失败 | 备份无用(都失败)→ 黑名单优先 | 立即隔离 |
推测执行治「慢而不挂」,黑名单治「挂了又挂」。一个健康集群里,推测执行是常态优化(总有节点稍慢),黑名单是异常隔离(真正有问题的节点被剔除)。两者都是「调度 + 容错」闭环的组成部分。
黑名单的作用域:作业级还是集群级
黑名单挂在「谁」身上,工程上有两种选择:
| 作用域 | 做法 | 特点 |
|---|---|---|
| 作业级黑名单 | 每个作业记录「我遇到过的坏节点」 | 隔离只对本作业生效,不误伤其他作业 |
| 集群级黑名单 | 全局记录坏节点,所有作业避开 | 更快隔离,但可能误伤 |
经典 MapReduce 用作业级黑名单,理由很具体:
| 场景 | 作业级黑名单的优势 |
|---|---|
| 节点只对特定负载差 | 作业 A 的坏节点,作业 B 可能正常 |
| 临时故障恢复 | 作业结束后黑名单清空,下次作业重新观察 |
| 不同作业资源不同 | 内存不足的作业觉得节点坏,轻量作业觉得没事 |
「节点坏」其实是「节点在该作业的负载下表现差」——同一个节点,对吃内存的作业是坏的、对轻量作业是好的。作业级黑名单把这个「坏」限定在「本作业的视角」,不把一次性故障放大成全局隔离。
黑名单的解除也遵循作用域:作业内按「失败窗口」解除(连续成功即信任),作业结束整体清空。这样设计的好处是**「坏节点」的判定总是新鲜的**——昨天的坏节点今天可能已修复,新作业不被旧记录拖累。
与集群监控的关系:作业级黑名单管「本作业的即时隔离」,集群级监控(心跳异常、磁盘坏)管「基础设施层的长线告警」——两层互补,黑名单不取代监控。
推测执行与黑名单还有一层联动:某节点频繁被推测(慢而不挂)——它没到失败阈值,却持续拖慢作业。
工程上会把「被推测」当信号:一个节点被推测次数超过阈值,也进黑名单(比「等失败」更早隔离)。
| 信号 | 判定 | 动作 |
|---|---|---|
| 失败次数达阈值 | 坏(挂了又挂) | 进黑名单 |
| 被推测次数过多 | 坏(慢得过分) | 进黑名单 |
「慢得过分 = 坏」让「慢」与「坏」的边界更柔和——不是非黑即白,而是渐进隔离。
三个常见误解
误解一:推测执行是「失败的备份」,任务失败后靠它恢复。 真相:推测执行处理的是慢任务(没失败、只是慢),启动备份并行加速;任务失败靠的是重放(2.3),不是推测。两者的触发条件(慢 vs 失败)和处理方式(并行 vs 重跑)完全不同。
误解二:黑名单是永久的,进黑名单的节点永远不用。 真相:黑名单是短期的临时隔离——节点恢复健康后(心跳正常、任务成功)可被解除。永久拉黑会让集群在节点恢复后仍损失资源。
误解三:推测执行越多越好,多启动几个备份总能更快。 真相:推测执行占双份资源,太多会导致资源被备份占满、正常任务反而变慢。工程上用阈值控制「何时推测、备份几个」,默认只对 map 开启——推测是克制的优化,不是无脑并行。
一句话总结本节
长尾靠推测执行加速、坏节点靠黑名单隔离:推测执行对进度显著落后的任务启动备份(谁先完成用谁,结果正确性不受影响),黑名单对反复失败的节点停止派任务(防止重放打水漂);慢与失败是两类故障,推测与黑名单分别应对,与任务重放一起构成「调度 + 容错」的完整闭环。
本节 lab
在 bd-fs-lab/ 中复现推测执行与黑名单:
- 源码:
src/scheduler/SpeculativeScheduler.java(进度落后于 max-threshold 的任务建议备份)、src/scheduler/BlacklistTracker.java(连续失败达阈值拉黑)与src/scheduler/SchedulerSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
SchedulerSuite用例 12 验证「落后任务 slow 建议备份」;用例 13 验证「fast 未落后不备份」;用例 14 验证「已完成任务不备份」;用例 8–10 验证「连续失败 2 次达到阈值 → 进黑名单」。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:慢任务被识别并建议备份、快任务不受影响、反复失败节点被隔离——推测与黑名单两套机制在断言里各有一席。
本章组件与失败边界参见 6.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。