《Kubernetes 分布式系统原理深入解析》10.2 失败与 backoffLimit

Job 的任务不总是一次成功:容器崩溃、退出码非 0、被驱逐——都会计入失败。Job 用 backoffLimit 控制『最多容忍多少次失败』:未超限则重试,超限则整个 Job 判 Failed。本节解剖失败计数、backoffLimit 的语义、以及失败与完成的竞态。lab 用 controller/job.go 验证 backoffLimit 的判定路径。

10.2 失败与 backoffLimit

10.1 节看了「成功怎么计数」。失败的那一半同样关键:任务失败时 Job 重试还是放弃,由 backoffLimit 决定。本节解剖失败计数与退避边界——为什么 Job 不会无限重试,以及失败怎么和完成竞态。

失败从哪来:哪些事件计入 Failed

Job 的 Pod 任务失败不止「容器崩溃」一种:

失败来源表现计入
容器崩溃退出码非 0、CrashLoopFailed++
被驱逐/抢占Pod 被 node 驱逐Failed++(重跑)
初始化失败init 容器失败Failed++
超过 activeDeadlineSeconds单 Pod 超时Failed++

关键是「退出码非 0 就计数」。任务「跑完了但结果不对」(退出码 0)不算失败——K8s 只看进程退出码,正确性由任务本身负责(这是 Job 语义的边界,呼应 5.3 节「平台不猜应用意图」)。

backoffLimit:失败的上限

func (j *Job) FailedJob() bool {
    return j.Failed >= j.BackoffLimit
}
  • backoffLimit(默认 6)是整个 Job 生命周期内容忍的失败总数。
  • Failed >= backoffLimit → Job 判 Failed,NeedNew 返回 false(10.1 节的第二道闸门),停止开新 Pod。

backoffLimit 的意义:给「重试」一个边界。没有它,一个永远失败的任务会让 Job 无限创建 Pod(耗尽资源)。有了它,失败是可收敛的——要么完成,要么失败,Job 一定到达终态。

重试的节奏:不是立刻重跑

K8s 的重试不是「失败一个马上补一个」那么简单:

  1. 失败的 Pod 计入 Failed。
  2. Job 控制器以指数退避的方式重建(Pod 层面由 kubelet 的 CrashLoopBackOff 控制,Job 层面由控制器节奏控制)。
  3. 失败累计到 backoffLimit → 停止。

为什么退避:失败往往是系统性问题(镜像拉不到、配置错)。立刻重试只会连着重试全部失败,浪费资源;退避给「间歇性故障」留自愈时间。这和 6.1 节 workqueue 的指数退避是同一哲学——重试要有节奏,不能莽。

失败与完成的竞态

Job 的生命周期里,「失败累计」和「成功累计」是并行计数:

成功累计到 completions     → Completed(即使有失败)
失败累计到 backoffLimit    → Failed(即使没完成)
两者先到谁,Job 就进谁的状态

竞态的场景:

场景结果
跑 10 个,成功 8 个,失败 2 个(limit=2)未完成也未失败,继续(失败恰好到限)
跑 10 个,成功 8 个,失败 3 个(limit=2)Failed(失败先到限,停止)
跑 10 个,成功 10 个,失败 5 个(limit=2)Completed(成功先到)

关键认识:失败到限不会「抹掉」已成功。Job 判 Failed 时,Succeeded 的计数保留(可在 status 里看到完成多少、失败多少)。「半途而废」有明确的记录——这正是 Job 作为批处理控制器的价值:任务没做完,但做完了多少清清楚楚。

失败后的清理:谁负责

Job 判 Failed 后:

  • 控制器停止开新 Pod。
  • 在跑的 Pod 呢?不会立刻被删——它们要么自己退出,要么等 Job 被删除/清理策略生效。
  • 手动 kubectl delete job 才删剩余 Pod(或等 TTL 清理机制)。

对比 8.3 节:Deployment 卡住时副本还在服务;Job Failed 时剩余 Pod 也在「驻留」——两者都保留现场供诊断,这是平台「可观测优于自动清理」的一贯选择。

主动失败 vs 被动失败:退出码的两种含义

「失败」在 Job 语义里有两种,区分它们才能正确设置 backoffLimit:

类型例子重试有价值吗
被动失败镜像拉不到、节点被驱逐、OOM有(可能恢复)
主动失败校验失败、依赖数据缺失、退出码 1无(重试也是失败)

关键认识:K8s 只看退出码,不区分主动/被动。两个信号都要靠配置表达:

  1. backoffLimit 大:适合「被动失败为主」的任务——网络抖动、资源紧张,多试几次能成功。
  2. backoffLimit 小(或 0):适合「主动失败为主」的任务——参数错了重试百遍也是错,不如快速失败止损。

失败类型的区分是任务作者的责任:平台统一按退出码计数,任务方决定「失败后要不要再试」。这呼应 10.1 节「平台不猜应用意图」——平台给重试能力,应用给重试策略。

失败后的现场:Job Failed 之后能看到什么

Job 判 Failed 后,运维要回答「为什么失败」,K8s 保留了三层现场:

层看什么回答什么
Jobstatus.failed、conditions失败了多少、何时判 Failed
Pod容器状态、退出码、lastState每个任务怎么失败的
事件调度/镜像/驱逐事件失败的原因线索

三层从外到内:先看 Job(失败规模),再看 Pod(退出码),最后看事件(根因)。这与 8.3 节「先看差异在哪一层」是同一方法论。

现场保留的设计考量:

  1. Job 对象不自动删:判 Failed 后 Job 和它的 Pod 都留着,供诊断(除非配 TTL 清理)。
  2. 退出码是核心线索:退出码 1(业务失败)、137(OOM/被杀)、143(SIGTERM)——每种码指向不同根因。
  3. 重试的 Pod 有多次 lastState:CrashLoopBackOff 的容器保留每次退出的记录——能看出「重试了 N 次、每次怎么死的」。

「判 Failed」不是「信息丢失」,而是「诊断起点」:Job 的失败状态正是为了让人能回答「这批任务为什么没做完」。

主动退避:任务方自己控制的节奏

除了 backoffLimit 的「总上限」,任务还能控制「单次重试的节奏」——在容器里自己做退避:

任务脚本:
  尝试 → 失败 → sleep 10s → 再试 → 失败 → sleep 20s → ...

两种退避的分工:

层控制什么谁配置
backoffLimit重试的总上限Job spec
容器内 sleep单次重试的间隔任务代码

为什么任务要自己退避:Pod 重启本身有成本(重新拉镜像、重新初始化)。如果一个任务失败大概率「再等等就能好」,在容器内 sleep 重试比重启 Pod 便宜得多——这也是很多批处理框架(如 Spring Batch 的 retry)的标准实践。

注意区分:容器内 sleep 的重试不算 Failed 计数(进程还活着,还没退出);Pod 重启才算。「在进程内重试」与「在 Pod 层面重试」是两条不同的重试通道——前者不消耗 backoffLimit,后者消耗。

选择「在哪一层重试」的判断依据:

决策用哪层原因
失败可能很快恢复进程内重试便宜、不重启 Pod
失败是系统性的(配置错)不要重试重试无意义,快速失败
失败是间歇性的(网络)进程内 + Pod 层两层结合,先进程后 Pod
单次任务必须干净重来Pod 层进程内重试会留下脏状态

「重试在哪里做」也是任务设计的一部分。K8s 给了两层通道,任务作者决定怎么用——平台提供能力,应用定义策略(10.1 节的主题在这里收束)。

最后回顾本节的整体结构:Job 的失败处理是「两个上限 + 两个通道」——backoffLimit 是总上限、activeDeadlineSeconds 是单次上限(10.1 节);进程内重试与 Pod 重启是两个通道。上限保证「失败可收敛」,通道保证「重试有选择」——两者的组合让批处理在「重试到成功」与「快速失败」之间有了完整的表达空间。

三个常见误解

  • 「Job 会无限重试失败任务」——错误。backoffLimit 就是重试上限,超限判 Failed。
  • 「有一个任务失败,整个 Job 就失败」——错误。失败累计到 limit 才失败;单个失败会被重试。
  • 「Failed 就清空成功计数」——错误。Succeeded 保留,Job 状态记录「完成多少、失败多少」。

本节 lab

本节验证 backoffLimit 的判定路径:

cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestJobBackoffLimit' -v
  • TestJobBackoffLimit:失败累计到 backoffLimit 时 FailedJob() 为真、NeedNew 停止开新 Pod——「失败可收敛」的边界判定。

Job 失败处理的两个上限(backoffLimit 总量、activeDeadline 单次)与两条通道(进程内重试、Pod 重启),让重试可收敛、有选择——失败不是偶然事件,而是批处理控制器的第一等设计对象。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图