《Kubernetes 分布式系统原理深入解析》10.1 完成语义:completions/parallelism

Job 与前面的控制器都不一样:它不为『保持副本数』,而为『把一批任务做完』。spec.completions 定义总目标、spec.parallelism 定义并发上限,控制器在『还差多少』与『并发多少』之间做决策。本节解剖 Job 的完成语义:NeedNew 的判定、并发窗口、成功计数与完成条件的判定。lab 用 controller/job.go 验证完成语义。

10.1 完成语义:completions/parallelism

前 8 章的控制器都在维持「期望的副本数」。Job 是第一个不维护稳态的控制器:它的目标是「把一批任务做完」。本节解剖 Job 的完成语义——completions 定目标、parallelism 定并发,控制器在两者间调谐。

Job 与 Deployment 的本质区别:终态 vs 稳态

DeploymentJob
目标保持 N 个副本运行完成 M 个任务
终态无(永远运行)有(Completed/Failed)
Pod 角色服务(长时间存活)工作(跑完即退)
调谐方向建/删到 N建/等到 M 成功

Job 的 Pod 会自己退出(任务做完容器退出),控制器关心的是「成功退出的数量够不够」,而不是「活着的数量够不够」。这是调谐目标从「数量」到「完成度」的转变。

两个关键字段:completions 与 parallelism

type Job struct {
    Name       string
    Completions int   // 总目标:要成功完成多少次
    Parallelism int   // 并发上限:同时跑多少个 Pod
    Succeeded  int
    Failed     int
    Active     int
    BackoffLimit int
}
  • completions(总目标):整个 Job 要成功完成的任务数。默认 1(跑一次就完)。
  • parallelism(并发):同时允许运行多少个 Pod。默认 1(串行)。

两者的关系:completions 是终点,parallelism 是路的宽度。10 个任务、并发 3——控制器保证「同时最多 3 个在跑,直到累计成功 10 个」。

NeedNew:要不要再开一个 Pod

Job 控制器每轮调谐的核心决策是「要不要新开一个 Pod」。lab 的 NeedNew:

func (j *Job) NeedNew() bool {
    if j.Succeeded+j.Active >= j.Completions {
        return false // 已够数(含在跑的),不再开
    }
    if j.Failed >= j.BackoffLimit {
        return false // 失败超限,整个 Job 失败,不再开
    }
    if j.Active >= j.Parallelism {
        return false // 并发已满
    }
    return true
}

三个「不再开」的条件,一个「开」的条件:

  1. 已够数:Succeeded + Active ≥ Completions——要么已完成,要么在跑的够完成目标的,不再多开。
  2. 已失败:Failed ≥ BackoffLimit——整个 Job 判定失败,停止。
  3. 并发已满:Active ≥ Parallelism——当前窗口已满。

三者都不满足 → 开一个新 Pod。NeedNew 是「三个闸门」的与逻辑——任何一个闸门关上都不开。

并发窗口的推进

Job 的调谐是一条流水线:

每轮调谐:
  1. 清理完成的 Pod(Finish 计入 Succeeded)
  2. 清理失败的 Pod(计入 Failed)
  3. NeedNew?是 → 开新 Pod(Active++)

以 completions=5、parallelism=3 为例:

时刻SucceededActive动作
t000开 3(并发满)
t112开 1(补到 3)
t232开 1(补到 3)
t350Succeeded=5≥5 → 不再开,Completed

并发窗口始终 ≤ parallelism,直到累计成功达到 completions。流水线的节奏:一个完成、补一个,完成的多了、窗口自然收缩。

完成判定:Completions 到了就 Completed

Job 完成的条件:

func (j *Job) Completed() bool {
    return j.Succeeded >= j.Completions
}
  • 只看成功数,不看失败数:失败的任务只要没超 backoffLimit,不影响 Job 整体完成。
  • 完成的瞬间:Succeeded 达到 Completions 时,Job 标记 Completed,控制器停止调谐,不再开新 Pod。

对比并行的普通 Pod:Job 的「完成」是可计数的成功——跑 10 个、成功 10 个才完成;跑 10 个、成功 8 个就不是完成。计数语义是 Job 的核心。

为什么 completion 语义比「跑完」复杂

「任务做完」在 K8s 里不是一个瞬间,而是一个可观测的计数:

  1. Pod 成功退出(exit 0)→ 计入 Succeeded。
  2. Pod 失败退出(非 0)→ 计入 Failed(可能重试)。
  3. Pod 还活着 → Active,不计数。
  4. 累计 Succeeded 达标 → Job Completed。

这个计数的每一步都要可观测、可重试、可判定。Job 控制器本质上是一个「完成度计数器」——它把「一批任务做完了没」翻译成可调谐的数值状态。

Job 的 Pod 模板:一次性的配置

Job 创建 Pod 也用 spec.template,但有一个强制差异:restartPolicy 必须是 Never 或 OnFailure。

restartPolicy行为语义
Never容器退出即 Pod 失败任务「跑一次」,不重启容器
OnFailure容器失败则重启任务「可能重跑」,Pod 内重试
Always不合法(Job 里禁用)任务「一直跑」违背 Job 目标

为什么 Always 被禁:Job 的 Pod 必须能「终止」——任务做完容器退出、Pod 进入 Succeeded,Job 才计数。Always 意味着容器永远重启、Pod 永不完成,与「做完任务」矛盾。

模板的其他考量:

  1. 探针可省略:批处理任务通常「跑完即成功」,不需要就绪探针(那是长跑服务的概念)。
  2. activeDeadlineSeconds 兜底:单个 Pod 超过此时间强制失败(10.2 节的失败来源之一)。
  3. ttlSecondsAfterFinished:Job 完成后自动清理 Pod 对象,防止堆积。

模板是「一次性任务」的配置:与 Deployment 模板(长跑服务)比,少了探针、多了 restartPolicy 约束与 TTL——每个字段都反映「这个工作是要做完的,不是要一直跑的」。

完成的可观测性:status 里有什么

Job 的进度全部体现在 status 字段,控制器和人都靠它观测:

status 字段含义判定用途
succeeded成功数是否 Completed(10.1 节)
failed失败数是否 Failed(10.2 节)
active在跑数并发窗口
conditions完成/失败条件终态标记

观测的意义:

  1. 不做「任务进度」的魔法:K8s 只看容器退出码,不猜任务内部进度(比如「解析到第 3 个文件」)——进度由应用自己报(Prometheus 等),平台只数「成功/失败/在跑」。
  2. status 是幂等写的(6.2 节):控制器反复把最新计数写上去,不累加——即使重启也不会重复计数。
  3. 人类可读:kubectl get job 一眼看到 succeeded/failed——「做完多少、失败多少」的运维信息就在字段里。

Job 的「完成度」是平台可观测、应用不可替代的:平台数退出码,应用报进度——两者合起来才是批处理的完整可观测性。

三个常见误解

  • 「Job 会保持副本数」——错误。Job 不维护稳态,只追求完成度;全做完就停。
  • 「parallelism 决定总共跑几个」——错误。parallelism 是并发上限,总目标由 completions 决定。
  • 「失败的任务会重试到成功为止」——错误。受 backoffLimit 约束(10.2 节),超限则整个 Job 失败。

本节 lab

本节验证 Job 的完成语义与并发窗口:

cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestJobCompletion' -v
  • TestJobCompletion:completions=5、parallelism=3 时,控制器按窗口开 Pod,累计成功 5 个后 Completed——「计数达标即完成」的完整路径。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图