《Kubernetes 分布式系统原理深入解析》10.1 Pending→Running 的路径(PLEG/CRI)

调度器把 Pod 绑到节点只是第一步:从 spec.nodeName 写回到容器真正 Running,中间隔着 kubelet 的启动流水线与 CRI 运行时抽象。本节拆解 kubelet 的认领与启动链路,讲清 PLEG 如何用周期对账把『期望状态 vs 实际状态』的差异变成事件,并驱动容器的重建与状态维护。lab 用 kubelet 包的 PLEG 对账用例验证差异与孤儿事件。

10.1 Pending→Running 的路径(PLEG/CRI)

前 9 章讲完调度:从队列、硬约束、软偏好到抢占,调度器最终的动作是把 Pod 绑定到一个节点——在 etcd 里写回 spec.nodeName。但绑定只是「决策落纸」,真正的 Pending→Running 发生在节点上:kubelet 认领这个 Pod,调容器运行时把它变成一组真实进程。本节拆解这条路径上的两个关键机制:CRI(kubelet 与运行时之间的接口)和 PLEG(把「期望 vs 实际」差异变成事件的对账器)。

从绑定到认领:一条异步的握手

调度器写回 spec.nodeName 后,kubelet 怎么知道该干活了?

  • kubelet 通过 apiserver 的 watch(informer)监听 Pod 变化,看到 spec.nodeName == 自己节点名 的 Pod,才把它加入本地同步队列。
  • 这里没有「确认签收」的握手——是异步认领:调度器只写期望,kubelet 在下一个 watch 事件里看见它才开始处理。
  • 认领之前,Pod 状态仍是 Pending;只有 kubelet 真正执行 SyncPod 后,Pod 才向 Running 移动。

所以从调度器视角看,Pod 是「绑定了就应该会跑」;从节点视角看,Pod 是「watch 到了才认领」。中间这段「调度绑定完成 → kubelet 认领」的空档,是 Pending 的第一段滞留时间。调度吞吐再高,也覆盖不了这段节点侧启动延迟——这也是为什么「调度快」和「Pod 运行快」是两个不同的 SLO。

一条 Pending→Running 的延迟可以拆成四段:

阶段耗时量级决定者
调度器选择 + 绑定写回毫秒级调度器(第 2 章)
watch 传播 + kubelet 认领亚秒级apiserver watch + informer
启动流水线(沙箱/镜像/容器/启动)秒级到分钟级运行时、镜像大小、节点负载
容器内进程就绪应用决定应用自身(配合 10.2 探针)

前两段是控制面与事件传播的延迟,后两段是节点侧与应用侧的真实启动成本。镜像拉取往往是最大头:大镜像冷启动(数百 MB 到 GB 级)比流水线其余部分加起来还慢。这也是「预热镜像」「用小镜像」「用镜像加速」这些实践存在的根本原因。

kubelet 的启动流水线

kubelet 认领 Pod 后走一条固定流水线(SyncPod 主循环),每一步都对应一次 CRI 调用:

步骤主要动作失败信号
准备卷与挂载本地 kubelet 完成 volume/挂载准备挂载失败事件,Pod 停在 Pending
创建沙箱CRI RunPodSandbox事件 FailedCreatePodSandBox,停 ContainerCreating
拉镜像CRI PullImageErrImagePull → ImagePullBackOff(指数退避)
创建容器CRI CreateContainer事件 FailedCreateContainer
启动容器CRI StartContainer反复失败 → CrashLoopBackOff
上报状态apiserver PUT PodStatus上报失败 → 节点失联信号(见 10.3)

Init 容器在应用容器之前串行跑完——每个 init 容器走一遍「创建 + 启动 + 等退出」,全部成功才进入主容器。流水线每一步失败,Pod 都停在对应阶段,失败原因写进事件和 ContainerStatus 的 Waiting 原因。ImagePullBackOff、CrashLoopBackOff 这些 kubectl 里常见的名字,就是这条流水线的失败出口。

启动流水线里,沙箱创建与镜像拉取是两个最重、也最常失败的环节。

  • 沙箱(sandbox):kubelet 先为 Pod 创建沙箱,它占住网络命名空间与 cgroup 资源域。containerd 的沙箱是一个 pause 容器——它的唯一作用是「占位」,让同 Pod 的容器共享其网络栈;CRI-O 用等价的 pod 概念承载同一职责。网络插件(CNI)在沙箱创建时把 Pod 挂进 overlay 网络,Pod 的 IP 在这一步确定。
  • 镜像拉取:按 imagePullPolicy(Always/IfNotPresent/Never)决定是否拉取。镜像不存在、仓库不可达、认证失败,都会让流水线停在「拉镜像」一步,表现为 ErrImagePull,随后退避成 ImagePullBackOff。
  • 沙箱与容器的解耦带来一个实用特性:容器可以重建而沙箱不重建。10.2 的 CrashLoopBackOff 重启循环只重建容器,Pod 的 IP 与端口保持不变——这对「重启不能丢网络身份」的服务很关键。

CRI:运行时无关的接口

kubelet 为什么不直接操作容器?因为它要支持多种容器运行时,而每种运行时的内部 API 都不一样。CRI(Container Runtime Interface)把这个差异封装成接口:

  • CRI 是 gRPC + protobuf 协议(k8s.io/cri-api),不是某个运行时的内部 API。
  • 它分两个服务:RuntimeService(沙箱/容器生命周期:RunPodSandbox、CreateContainer、StartContainer、ContainerStatus 等)和 ImageService(镜像:PullImage、ListImages、RemoveImage)。
  • 接口的对象是**沙箱(sandbox)**而非「Pod」:每个 Pod 对应一个沙箱(containerd 用 pause 容器占住网络命名空间与资源域;CRI-O 有对等的 pod sandbox 概念),容器装进沙箱并共享其网络。

常见 CRI 实现:

运行时CRI 提供方式特点
containerd内建 CRI plugin主流默认,也是 Docker 的底层运行时
CRI-O内建 CRI专为 K8s 而生,镜像面更薄
Docker经 cri-dockerd 垫片dockershim 在 1.24 移除后需自行接入

RuntimeService 的关键调用及其失败含义:

调用作用失败含义
RunPodSandbox创建 Pod 沙箱(网络/资源域)网络插件或运行时故障
CreateContainer创建容器(不启动)配置无效、镜像缺失
StartContainer启动容器进程启动失败 → CrashLoopBackOff
ContainerStatus查询容器状态PLEG 对账的数据源

CRI 让启动流水线与具体运行时解耦:同一个 StartContainer 调用,在 containerd 上走 containerd 的实现,在 CRI-O 上走它的实现。接口隔离的是「运行时语义」的差异——但注意,沙箱、镜像、健康检查的具体行为差异(例如 pause 镜像版本、cgroup 归属)仍会以 Pod 行为差异的形式漏出来,换运行时不是无痛操作。

PLEG:把差异变成事件

启动流水线解决「把一个 Pod 跑起来」,但 kubelet 还要回答一个持续的问题:已经跑起来的容器,现在还好吗?

早期 kubelet 周期性地把容器运行时全量拉一遍、逐容器比对,容器多了以后每次全量比对都极贵。PLEG(Pod Lifecycle Event Generator)改变了思路:

  • PLEG 周期性 relist(默认 1s):向运行时要一次全量容器/沙箱状态(ListPods/ListContainers)。
  • 它把这份「实际状态」和本地登记的「期望状态」对账,产出差异事件(容器从 Running 变 Missing、出现新容器、出现期望之外的孤儿容器)。
  • kubelet 的同步循环按事件而非按全量轮询决定要不要重同步某个 Pod。

关键点:PLEG 不是监控器,是对账器。它不做「容器一挂立刻喊」的主动监控,而是「每 1s 看一次,把与上次的差异整理成事件」。事件驱动的结果是:状态没变的容器不打扰 kubelet,只有变化才触发同步——用一次全量 relist 换 N 次针对性处理,这是它在高容器密度下仍然高效的原因。

PLEG 的缓存与事件驱动同步

PLEG 附带维护一个容器状态缓存:kubelet 查询某个 Pod/容器的状态时,先命中缓存,而不是现场打运行时。

  • 缓存让状态查询变便宜——同步循环频繁问「这个容器什么状态」,全部走缓存。
  • 缓存的对账基准来自上一次 relist 的实际快照;期望状态来自 apiserver 的 Pod spec。
  • 代价是一致性延迟:实际状态变化要等下一次 relist 才进缓存(最多约一个 relist 周期)。这解释了为什么「容器被杀」到「kubelet 产生反应」之间存在可感知的延迟。

kubelet 的主循环是 SyncLoop:它消费三类输入——PLEG 事件、来自 apiserver 的 Pod 变化、定时任务(housekeeping)——决定要不要「同步」某个 Pod:

  • 同步(SyncPod)就是本节开头描述的启动流水线,加上探针与状态维护;不同步则 Pod 状态不变化。
  • PLEG 事件是主要的「按需同步」触发源:容器状态变化 → 事件 → 该 Pod 排队同步。
  • housekeeping 兜底:周期性地重同步一批 Pod,覆盖「事件丢失」的极端情况。

事件驱动加定时兜底,是 kubelet 维持数万容器状态的引擎。PLEG 是事件源,SyncLoop 是执行器——前者省掉无谓的全量同步,后者保证没有事件也会兜底。这也是「事件驱动」在节点侧的落地:和调度器的事件队列(第 2 章)用的是同一套思想,只是对账对象从「调度决策」换成了「容器状态」。

PLEG 不健康:relist 卡顿的代价

PLEG 的 relist 是「向运行时拉全量再对账」。当运行时本身变慢(容器太多、运行时 bug、磁盘 IO 紧张),relist 会超出预期时长,PLEG 健康检查就会报警:

  • kubelet 会报告 PLEG is not healthy 事件,并进入受限模式:正常的 Pod 增删改操作被暂停,防止在对账数据不一致时做出错误动作。
  • 这是「宁可慢,不可错」的取舍:对账数据不一致时强行同步,可能杀掉健康容器。
  • 生产中排查「Pod 卡在 ContainerCreating、事件里满是 PLEG not healthy」的路径:先查运行时列表/状态接口的耗时、容器总数、节点磁盘与 CPU,再决定是否扩容节点或换运行时。

PLEG 的健康度是节点侧运维的核心指标:它把「运行时性能问题」显式暴露成 kubelet 的降级信号,而不是让故障以「Pod 神秘卡住」的形式出现。

崩溃与缺失:PLEG 检测到之后

PLEG 对账可能产出的几类差异,处理路径不同:

差异类型含义kubelet 的处理
diff期望与实际阶段不一致触发该 Pod 重同步,按当前状态修正
missing期望运行但运行时里没有重建容器 / 按重启策略处理(见 10.2)
orphan运行时里有、期望之外清理孤儿容器,回收资源

「容器崩溃」的完整链路:容器退出 → 运行时状态变化 → 下一次 PLEG relist 对出 diff/missing → 事件推给 kubelet → 同步循环按 restartPolicy 决定重启(Always/OnFailure/Never,见 10.2)→ 重新走启动流水线拉起。PLEG 是这条链路的事件源:没有它对账,kubelet 就退化成低效的全量轮询。

另一个实用细节:orphan 与 missing 的处置时机不同——orphan 通常在对账后立即回收(释放资源),missing 则先走重启决策(见 10.2)再决定是否重建。分清这两类差异,是读 kubelet 日志时判断「它在清理还是在重建」的线索。

从调度决策到真实进程:与卷三的呼应

把第 1–9 章和本章串起来看,完整链路是:

调度器选择节点 → 写回 spec.nodeName → kubelet watch 认领
→ PLEG 期望登记 → CRI 启动流水线(沙箱→镜像→容器→启动)
→ 容器真实运行 → PLEG 持续对账 → 探针与重启策略(10.2)
→ 节点心跳与失联判定(10.3)

调度决策在节点上变成真实进程,靠的是「期望状态流转 + 事件驱动」:调度器只声明期望(绑定到哪个节点),kubelet 负责把期望兑现成实际(CRI 流水线),PLEG 负责维持「期望 vs 实际」的闭环(对账 + 事件)。卷三前半讲「决策如何做出」,本章讲「决策如何在节点上兑现并持续维持」。

三个常见误解

  • 「spec.nodeName 一写回,Pod 就 Running」——错误。绑定只是调度器侧完成;kubelet 要 watch 认领、走沙箱/镜像/容器/启动流水线,期间 Pod 停在 Pending(ContainerCreating)。调度完成 ≠ 运行完成。
  • 「PLEG 主动监控容器,容器一挂立刻上报」——错误。PLEG 是被动对账器:每 1s relist 一次,把与缓存期望的差异整理成事件。崩溃检测存在至多一个 relist 周期的延迟,kubelet 的反应不会「立刻」。
  • 「CRI 是某种容器运行时的实现」——错误。CRI 是 kubelet 与运行时之间的接口协议(gRPC),实现是 containerd/CRI-O/cri-dockerd。接口在、实现可换,这才是「运行时无关」的含义。

本节 lab

本节把 PLEG 对账落到 kubelet/kubelet.go 的 PLEGReconcile 与两个测试(kubelet 包共 7 个用例):

cd private/labs/k8s-sched-lab
go test ./kubelet -run 'TestPlegReconcileDiff|TestPlegReconcileOrphan' -v

TestPlegReconcileDiff 验证「期望运行但实际缺失」产生 diff 事件;TestPlegReconcileOrphan 验证「实际存在但期望之外」的容器被标记为孤儿。这正是本节「期望 vs 实际 → 差异事件 → 驱动处理」的最小验证:启动流水线把 Pod 变成进程,PLEG 用同一份对账逻辑维持闭环。

一句话总结本节

Pending→Running 是「调度决策 + 节点兑现」两段接力:调度器只写期望(绑定),kubelet 经 CRI 流水线兑现成真实进程,PLEG 用周期对账把期望与实际的差异变成事件来持续维护闭环。下一节看探针与重启策略——这是 PLEG 对账之后,kubelet 最频繁做出的两类决定。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图