《大规模分布式计算深入解析》6.2 任务失败重试与重算

TaskEndReason决定计数、阶段恢复或立即失败;计数失败耗尽会令Job失败,不能再承诺通用Stage兜底。

6.2 任务失败重试与重算

不同失败使用不同预算

spark.task.maxFailures描述单个task的可计数失败上限,实际本机local[n,m]还可指定调度器失败次数。被取消、Executor丢失归因、FetchFailed、不可序列化等原因有各自处理,不是所有结束原因都加同一个整数。

TaskSetManager计数达到上限会abort并通知DAGScheduler,相关Job可能失败;不能把它统一画成“task失败→stage重提→一直能恢复”。FetchFailed则涉及受影响map输出和Stage恢复,另受阶段预算与材料可重算条件约束。

产物决定重算范围

若reduce输入Shuffle仍在,只需新的结果attempt;若map输出失效,Driver需重新生成相关产物。一个map的输出面向多个reduce块,失效、Executor或节点范围及indeterminate输出条件会扩大恢复范围,不能保证永远只重跑一个reduce或一个分区。

普通RDD缓存miss在已有task里回退计算,不应被算作FetchFailed。ESS、tracking与迁移也有不同故障域;源码确认的恢复分支不能靠一个min(failed,total)函数验证。

副作用与重试

确定性输入计算可以重放,但任务成功回包丢失时,其数据库更新或HTTP调用可能已经发生。取消和只采用一个结果不撤销外部效果。稳定意图ID、目标端原子去重及适合存储的committer必须单独建立。

可复现观察

本机local[2,2]执行必现异常并用SparkListener计数,达到2次时Job失败,Stage没有通用额外重试兜底。有限RetryBudget区分计数失败与fetch失效map集合,验证两种预算的不同终点。

实际跨Executor丢文件和网络fetch恢复不在这个本机异常探针中;要验证它,需记录Stage attempt、map产物、任务输出及最终结果,而不只是日志出现“retry”。





架构与流程

flowchart TD
    END["Task结束原因"] --> TYPE{"分类"}
    TYPE -- "可计数失败" --> COUNT["累计该分区失败计数"]
    COUNT --> LIMIT{"达到maxTaskFailures?"}
    LIMIT -- "否" --> RETRY["新attempt重新排队"]
    LIMIT -- "是" --> ABORT["abort TaskSet;相关Job失败"]
    TYPE -- "FetchFailed" --> FETCH["Driver标记失败阶段及受影响map产物"]
    FETCH --> BUDGET{"允许阶段恢复且上游可重算?"}
    BUDGET -- "是" --> RESTORE["恢复产物后重提受影响阶段"]
    BUDGET -- "否" --> FAIL["Job失败"]
    TYPE -- "非计数/取消/特定fatal原因" --> POLICY["按具体TaskEndReason处理"]
    RETRY --> EFFECT["外部副作用可能重复,需目标协议"]
    RESTORE --> EFFECT

实现与验证范围

原生计数失败测试与有限产物状态机分开;未对集群注入真实FetchFailed。

教学入口:exec.ExecSuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路