6.2 任务失败重试与重算
不同失败使用不同预算
spark.task.maxFailures描述单个task的可计数失败上限,实际本机local[n,m]还可指定调度器失败次数。被取消、Executor丢失归因、FetchFailed、不可序列化等原因有各自处理,不是所有结束原因都加同一个整数。
TaskSetManager计数达到上限会abort并通知DAGScheduler,相关Job可能失败;不能把它统一画成“task失败→stage重提→一直能恢复”。FetchFailed则涉及受影响map输出和Stage恢复,另受阶段预算与材料可重算条件约束。
产物决定重算范围
若reduce输入Shuffle仍在,只需新的结果attempt;若map输出失效,Driver需重新生成相关产物。一个map的输出面向多个reduce块,失效、Executor或节点范围及indeterminate输出条件会扩大恢复范围,不能保证永远只重跑一个reduce或一个分区。
普通RDD缓存miss在已有task里回退计算,不应被算作FetchFailed。ESS、tracking与迁移也有不同故障域;源码确认的恢复分支不能靠一个min(failed,total)函数验证。
副作用与重试
确定性输入计算可以重放,但任务成功回包丢失时,其数据库更新或HTTP调用可能已经发生。取消和只采用一个结果不撤销外部效果。稳定意图ID、目标端原子去重及适合存储的committer必须单独建立。
可复现观察
本机local[2,2]执行必现异常并用SparkListener计数,达到2次时Job失败,Stage没有通用额外重试兜底。有限RetryBudget区分计数失败与fetch失效map集合,验证两种预算的不同终点。
实际跨Executor丢文件和网络fetch恢复不在这个本机异常探针中;要验证它,需记录Stage attempt、map产物、任务输出及最终结果,而不只是日志出现“retry”。
架构与流程
flowchart TD
END["Task结束原因"] --> TYPE{"分类"}
TYPE -- "可计数失败" --> COUNT["累计该分区失败计数"]
COUNT --> LIMIT{"达到maxTaskFailures?"}
LIMIT -- "否" --> RETRY["新attempt重新排队"]
LIMIT -- "是" --> ABORT["abort TaskSet;相关Job失败"]
TYPE -- "FetchFailed" --> FETCH["Driver标记失败阶段及受影响map产物"]
FETCH --> BUDGET{"允许阶段恢复且上游可重算?"}
BUDGET -- "是" --> RESTORE["恢复产物后重提受影响阶段"]
BUDGET -- "否" --> FAIL["Job失败"]
TYPE -- "非计数/取消/特定fatal原因" --> POLICY["按具体TaskEndReason处理"]
RETRY --> EFFECT["外部副作用可能重复,需目标协议"]
RESTORE --> EFFECT
实现与验证范围
原生计数失败测试与有限产物状态机分开;未对集群注入真实FetchFailed。
教学入口:exec.ExecSuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。