10.2 失败与 backoffLimit
10.1 节看了「成功怎么计数」。失败的那一半同样关键:任务失败时 Job 重试还是放弃,由 backoffLimit 决定。本节解剖失败计数与退避边界——为什么 Job 不会无限重试,以及失败怎么和完成竞态。
失败从哪来:哪些事件计入 Failed
Job 的 Pod 任务失败不止「容器崩溃」一种:
| 失败来源 | 表现 | 计入 |
|---|---|---|
| 容器崩溃 | 退出码非 0、CrashLoop | Failed++ |
| 被驱逐/抢占 | Pod 被 node 驱逐 | Failed++(重跑) |
| 初始化失败 | init 容器失败 | Failed++ |
| 超过 activeDeadlineSeconds | 单 Pod 超时 | Failed++ |
关键是「退出码非 0 就计数」。任务「跑完了但结果不对」(退出码 0)不算失败——K8s 只看进程退出码,正确性由任务本身负责(这是 Job 语义的边界,呼应 5.3 节「平台不猜应用意图」)。
backoffLimit:失败的上限
func (j *Job) FailedJob() bool {
return j.Failed >= j.BackoffLimit
}
backoffLimit(默认 6)是整个 Job 生命周期内容忍的失败总数。Failed >= backoffLimit→ Job 判 Failed,NeedNew返回 false(10.1 节的第二道闸门),停止开新 Pod。
backoffLimit 的意义:给「重试」一个边界。没有它,一个永远失败的任务会让 Job 无限创建 Pod(耗尽资源)。有了它,失败是可收敛的——要么完成,要么失败,Job 一定到达终态。
重试的节奏:不是立刻重跑
K8s 的重试不是「失败一个马上补一个」那么简单:
- 失败的 Pod 计入 Failed。
- Job 控制器以指数退避的方式重建(Pod 层面由 kubelet 的 CrashLoopBackOff 控制,Job 层面由控制器节奏控制)。
- 失败累计到 backoffLimit → 停止。
为什么退避:失败往往是系统性问题(镜像拉不到、配置错)。立刻重试只会连着重试全部失败,浪费资源;退避给「间歇性故障」留自愈时间。这和 6.1 节 workqueue 的指数退避是同一哲学——重试要有节奏,不能莽。
失败与完成的竞态
Job 的生命周期里,「失败累计」和「成功累计」是并行计数:
成功累计到 completions → Completed(即使有失败)
失败累计到 backoffLimit → Failed(即使没完成)
两者先到谁,Job 就进谁的状态
竞态的场景:
| 场景 | 结果 |
|---|---|
| 跑 10 个,成功 8 个,失败 2 个(limit=2) | 未完成也未失败,继续(失败恰好到限) |
| 跑 10 个,成功 8 个,失败 3 个(limit=2) | Failed(失败先到限,停止) |
| 跑 10 个,成功 10 个,失败 5 个(limit=2) | Completed(成功先到) |
关键认识:失败到限不会「抹掉」已成功。Job 判 Failed 时,Succeeded 的计数保留(可在 status 里看到完成多少、失败多少)。「半途而废」有明确的记录——这正是 Job 作为批处理控制器的价值:任务没做完,但做完了多少清清楚楚。
失败后的清理:谁负责
Job 判 Failed 后:
- 控制器停止开新 Pod。
- 在跑的 Pod 呢?不会立刻被删——它们要么自己退出,要么等 Job 被删除/清理策略生效。
- 手动
kubectl delete job才删剩余 Pod(或等 TTL 清理机制)。
对比 8.3 节:Deployment 卡住时副本还在服务;Job Failed 时剩余 Pod 也在「驻留」——两者都保留现场供诊断,这是平台「可观测优于自动清理」的一贯选择。
主动失败 vs 被动失败:退出码的两种含义
「失败」在 Job 语义里有两种,区分它们才能正确设置 backoffLimit:
| 类型 | 例子 | 重试有价值吗 |
|---|---|---|
| 被动失败 | 镜像拉不到、节点被驱逐、OOM | 有(可能恢复) |
| 主动失败 | 校验失败、依赖数据缺失、退出码 1 | 无(重试也是失败) |
关键认识:K8s 只看退出码,不区分主动/被动。两个信号都要靠配置表达:
- backoffLimit 大:适合「被动失败为主」的任务——网络抖动、资源紧张,多试几次能成功。
- backoffLimit 小(或 0):适合「主动失败为主」的任务——参数错了重试百遍也是错,不如快速失败止损。
失败类型的区分是任务作者的责任:平台统一按退出码计数,任务方决定「失败后要不要再试」。这呼应 10.1 节「平台不猜应用意图」——平台给重试能力,应用给重试策略。
失败后的现场:Job Failed 之后能看到什么
Job 判 Failed 后,运维要回答「为什么失败」,K8s 保留了三层现场:
| 层 | 看什么 | 回答什么 |
|---|---|---|
| Job | status.failed、conditions | 失败了多少、何时判 Failed |
| Pod | 容器状态、退出码、lastState | 每个任务怎么失败的 |
| 事件 | 调度/镜像/驱逐事件 | 失败的原因线索 |
三层从外到内:先看 Job(失败规模),再看 Pod(退出码),最后看事件(根因)。这与 8.3 节「先看差异在哪一层」是同一方法论。
现场保留的设计考量:
- Job 对象不自动删:判 Failed 后 Job 和它的 Pod 都留着,供诊断(除非配 TTL 清理)。
- 退出码是核心线索:退出码 1(业务失败)、137(OOM/被杀)、143(SIGTERM)——每种码指向不同根因。
- 重试的 Pod 有多次 lastState:CrashLoopBackOff 的容器保留每次退出的记录——能看出「重试了 N 次、每次怎么死的」。
「判 Failed」不是「信息丢失」,而是「诊断起点」:Job 的失败状态正是为了让人能回答「这批任务为什么没做完」。
主动退避:任务方自己控制的节奏
除了 backoffLimit 的「总上限」,任务还能控制「单次重试的节奏」——在容器里自己做退避:
任务脚本:
尝试 → 失败 → sleep 10s → 再试 → 失败 → sleep 20s → ...
两种退避的分工:
| 层 | 控制什么 | 谁配置 |
|---|---|---|
| backoffLimit | 重试的总上限 | Job spec |
| 容器内 sleep | 单次重试的间隔 | 任务代码 |
为什么任务要自己退避:Pod 重启本身有成本(重新拉镜像、重新初始化)。如果一个任务失败大概率「再等等就能好」,在容器内 sleep 重试比重启 Pod 便宜得多——这也是很多批处理框架(如 Spring Batch 的 retry)的标准实践。
注意区分:容器内 sleep 的重试不算 Failed 计数(进程还活着,还没退出);Pod 重启才算。「在进程内重试」与「在 Pod 层面重试」是两条不同的重试通道——前者不消耗 backoffLimit,后者消耗。
选择「在哪一层重试」的判断依据:
| 决策 | 用哪层 | 原因 |
|---|---|---|
| 失败可能很快恢复 | 进程内重试 | 便宜、不重启 Pod |
| 失败是系统性的(配置错) | 不要重试 | 重试无意义,快速失败 |
| 失败是间歇性的(网络) | 进程内 + Pod 层 | 两层结合,先进程后 Pod |
| 单次任务必须干净重来 | Pod 层 | 进程内重试会留下脏状态 |
「重试在哪里做」也是任务设计的一部分。K8s 给了两层通道,任务作者决定怎么用——平台提供能力,应用定义策略(10.1 节的主题在这里收束)。
最后回顾本节的整体结构:Job 的失败处理是「两个上限 + 两个通道」——backoffLimit 是总上限、activeDeadlineSeconds 是单次上限(10.1 节);进程内重试与 Pod 重启是两个通道。上限保证「失败可收敛」,通道保证「重试有选择」——两者的组合让批处理在「重试到成功」与「快速失败」之间有了完整的表达空间。
三个常见误解
- 「Job 会无限重试失败任务」——错误。backoffLimit 就是重试上限,超限判 Failed。
- 「有一个任务失败,整个 Job 就失败」——错误。失败累计到 limit 才失败;单个失败会被重试。
- 「Failed 就清空成功计数」——错误。Succeeded 保留,Job 状态记录「完成多少、失败多少」。
本节 lab
本节验证 backoffLimit 的判定路径:
cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestJobBackoffLimit' -v
TestJobBackoffLimit:失败累计到 backoffLimit 时FailedJob()为真、NeedNew停止开新 Pod——「失败可收敛」的边界判定。
Job 失败处理的两个上限(backoffLimit 总量、activeDeadline 单次)与两条通道(进程内重试、Pod 重启),让重试可收敛、有选择——失败不是偶然事件,而是批处理控制器的第一等设计对象。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。