10.1 Pending→Running 的路径(PLEG/CRI)
前 9 章讲完调度:从队列、硬约束、软偏好到抢占,调度器最终的动作是把 Pod 绑定到一个节点——在 etcd 里写回 spec.nodeName。但绑定只是「决策落纸」,真正的 Pending→Running 发生在节点上:kubelet 认领这个 Pod,调容器运行时把它变成一组真实进程。本节拆解这条路径上的两个关键机制:CRI(kubelet 与运行时之间的接口)和 PLEG(把「期望 vs 实际」差异变成事件的对账器)。
从绑定到认领:一条异步的握手
调度器写回 spec.nodeName 后,kubelet 怎么知道该干活了?
- kubelet 通过 apiserver 的 watch(informer)监听 Pod 变化,看到
spec.nodeName == 自己节点名的 Pod,才把它加入本地同步队列。 - 这里没有「确认签收」的握手——是异步认领:调度器只写期望,kubelet 在下一个 watch 事件里看见它才开始处理。
- 认领之前,Pod 状态仍是
Pending;只有 kubelet 真正执行 SyncPod 后,Pod 才向Running移动。
所以从调度器视角看,Pod 是「绑定了就应该会跑」;从节点视角看,Pod 是「watch 到了才认领」。中间这段「调度绑定完成 → kubelet 认领」的空档,是 Pending 的第一段滞留时间。调度吞吐再高,也覆盖不了这段节点侧启动延迟——这也是为什么「调度快」和「Pod 运行快」是两个不同的 SLO。
一条 Pending→Running 的延迟可以拆成四段:
| 阶段 | 耗时量级 | 决定者 |
|---|---|---|
| 调度器选择 + 绑定写回 | 毫秒级 | 调度器(第 2 章) |
| watch 传播 + kubelet 认领 | 亚秒级 | apiserver watch + informer |
| 启动流水线(沙箱/镜像/容器/启动) | 秒级到分钟级 | 运行时、镜像大小、节点负载 |
| 容器内进程就绪 | 应用决定 | 应用自身(配合 10.2 探针) |
前两段是控制面与事件传播的延迟,后两段是节点侧与应用侧的真实启动成本。镜像拉取往往是最大头:大镜像冷启动(数百 MB 到 GB 级)比流水线其余部分加起来还慢。这也是「预热镜像」「用小镜像」「用镜像加速」这些实践存在的根本原因。
kubelet 的启动流水线
kubelet 认领 Pod 后走一条固定流水线(SyncPod 主循环),每一步都对应一次 CRI 调用:
| 步骤 | 主要动作 | 失败信号 |
|---|---|---|
| 准备卷与挂载 | 本地 kubelet 完成 volume/挂载准备 | 挂载失败事件,Pod 停在 Pending |
| 创建沙箱 | CRI RunPodSandbox | 事件 FailedCreatePodSandBox,停 ContainerCreating |
| 拉镜像 | CRI PullImage | ErrImagePull → ImagePullBackOff(指数退避) |
| 创建容器 | CRI CreateContainer | 事件 FailedCreateContainer |
| 启动容器 | CRI StartContainer | 反复失败 → CrashLoopBackOff |
| 上报状态 | apiserver PUT PodStatus | 上报失败 → 节点失联信号(见 10.3) |
Init 容器在应用容器之前串行跑完——每个 init 容器走一遍「创建 + 启动 + 等退出」,全部成功才进入主容器。流水线每一步失败,Pod 都停在对应阶段,失败原因写进事件和 ContainerStatus 的 Waiting 原因。ImagePullBackOff、CrashLoopBackOff 这些 kubectl 里常见的名字,就是这条流水线的失败出口。
启动流水线里,沙箱创建与镜像拉取是两个最重、也最常失败的环节。
- 沙箱(sandbox):kubelet 先为 Pod 创建沙箱,它占住网络命名空间与 cgroup 资源域。containerd 的沙箱是一个 pause 容器——它的唯一作用是「占位」,让同 Pod 的容器共享其网络栈;CRI-O 用等价的 pod 概念承载同一职责。网络插件(CNI)在沙箱创建时把 Pod 挂进 overlay 网络,Pod 的 IP 在这一步确定。
- 镜像拉取:按
imagePullPolicy(Always/IfNotPresent/Never)决定是否拉取。镜像不存在、仓库不可达、认证失败,都会让流水线停在「拉镜像」一步,表现为ErrImagePull,随后退避成ImagePullBackOff。 - 沙箱与容器的解耦带来一个实用特性:容器可以重建而沙箱不重建。10.2 的 CrashLoopBackOff 重启循环只重建容器,Pod 的 IP 与端口保持不变——这对「重启不能丢网络身份」的服务很关键。
CRI:运行时无关的接口
kubelet 为什么不直接操作容器?因为它要支持多种容器运行时,而每种运行时的内部 API 都不一样。CRI(Container Runtime Interface)把这个差异封装成接口:
- CRI 是 gRPC + protobuf 协议(
k8s.io/cri-api),不是某个运行时的内部 API。 - 它分两个服务:
RuntimeService(沙箱/容器生命周期:RunPodSandbox、CreateContainer、StartContainer、ContainerStatus等)和ImageService(镜像:PullImage、ListImages、RemoveImage)。 - 接口的对象是**沙箱(sandbox)**而非「Pod」:每个 Pod 对应一个沙箱(containerd 用 pause 容器占住网络命名空间与资源域;CRI-O 有对等的 pod sandbox 概念),容器装进沙箱并共享其网络。
常见 CRI 实现:
| 运行时 | CRI 提供方式 | 特点 |
|---|---|---|
| containerd | 内建 CRI plugin | 主流默认,也是 Docker 的底层运行时 |
| CRI-O | 内建 CRI | 专为 K8s 而生,镜像面更薄 |
| Docker | 经 cri-dockerd 垫片 | dockershim 在 1.24 移除后需自行接入 |
RuntimeService 的关键调用及其失败含义:
| 调用 | 作用 | 失败含义 |
|---|---|---|
RunPodSandbox | 创建 Pod 沙箱(网络/资源域) | 网络插件或运行时故障 |
CreateContainer | 创建容器(不启动) | 配置无效、镜像缺失 |
StartContainer | 启动容器进程 | 启动失败 → CrashLoopBackOff |
ContainerStatus | 查询容器状态 | PLEG 对账的数据源 |
CRI 让启动流水线与具体运行时解耦:同一个 StartContainer 调用,在 containerd 上走 containerd 的实现,在 CRI-O 上走它的实现。接口隔离的是「运行时语义」的差异——但注意,沙箱、镜像、健康检查的具体行为差异(例如 pause 镜像版本、cgroup 归属)仍会以 Pod 行为差异的形式漏出来,换运行时不是无痛操作。
PLEG:把差异变成事件
启动流水线解决「把一个 Pod 跑起来」,但 kubelet 还要回答一个持续的问题:已经跑起来的容器,现在还好吗?
早期 kubelet 周期性地把容器运行时全量拉一遍、逐容器比对,容器多了以后每次全量比对都极贵。PLEG(Pod Lifecycle Event Generator)改变了思路:
- PLEG 周期性 relist(默认 1s):向运行时要一次全量容器/沙箱状态(
ListPods/ListContainers)。 - 它把这份「实际状态」和本地登记的「期望状态」对账,产出差异事件(容器从 Running 变 Missing、出现新容器、出现期望之外的孤儿容器)。
- kubelet 的同步循环按事件而非按全量轮询决定要不要重同步某个 Pod。
关键点:PLEG 不是监控器,是对账器。它不做「容器一挂立刻喊」的主动监控,而是「每 1s 看一次,把与上次的差异整理成事件」。事件驱动的结果是:状态没变的容器不打扰 kubelet,只有变化才触发同步——用一次全量 relist 换 N 次针对性处理,这是它在高容器密度下仍然高效的原因。
PLEG 的缓存与事件驱动同步
PLEG 附带维护一个容器状态缓存:kubelet 查询某个 Pod/容器的状态时,先命中缓存,而不是现场打运行时。
- 缓存让状态查询变便宜——同步循环频繁问「这个容器什么状态」,全部走缓存。
- 缓存的对账基准来自上一次 relist 的实际快照;期望状态来自 apiserver 的 Pod spec。
- 代价是一致性延迟:实际状态变化要等下一次 relist 才进缓存(最多约一个 relist 周期)。这解释了为什么「容器被杀」到「kubelet 产生反应」之间存在可感知的延迟。
kubelet 的主循环是 SyncLoop:它消费三类输入——PLEG 事件、来自 apiserver 的 Pod 变化、定时任务(housekeeping)——决定要不要「同步」某个 Pod:
- 同步(SyncPod)就是本节开头描述的启动流水线,加上探针与状态维护;不同步则 Pod 状态不变化。
- PLEG 事件是主要的「按需同步」触发源:容器状态变化 → 事件 → 该 Pod 排队同步。
- housekeeping 兜底:周期性地重同步一批 Pod,覆盖「事件丢失」的极端情况。
事件驱动加定时兜底,是 kubelet 维持数万容器状态的引擎。PLEG 是事件源,SyncLoop 是执行器——前者省掉无谓的全量同步,后者保证没有事件也会兜底。这也是「事件驱动」在节点侧的落地:和调度器的事件队列(第 2 章)用的是同一套思想,只是对账对象从「调度决策」换成了「容器状态」。
PLEG 不健康:relist 卡顿的代价
PLEG 的 relist 是「向运行时拉全量再对账」。当运行时本身变慢(容器太多、运行时 bug、磁盘 IO 紧张),relist 会超出预期时长,PLEG 健康检查就会报警:
- kubelet 会报告
PLEG is not healthy事件,并进入受限模式:正常的 Pod 增删改操作被暂停,防止在对账数据不一致时做出错误动作。 - 这是「宁可慢,不可错」的取舍:对账数据不一致时强行同步,可能杀掉健康容器。
- 生产中排查「Pod 卡在 ContainerCreating、事件里满是 PLEG not healthy」的路径:先查运行时列表/状态接口的耗时、容器总数、节点磁盘与 CPU,再决定是否扩容节点或换运行时。
PLEG 的健康度是节点侧运维的核心指标:它把「运行时性能问题」显式暴露成 kubelet 的降级信号,而不是让故障以「Pod 神秘卡住」的形式出现。
崩溃与缺失:PLEG 检测到之后
PLEG 对账可能产出的几类差异,处理路径不同:
| 差异类型 | 含义 | kubelet 的处理 |
|---|---|---|
| diff | 期望与实际阶段不一致 | 触发该 Pod 重同步,按当前状态修正 |
| missing | 期望运行但运行时里没有 | 重建容器 / 按重启策略处理(见 10.2) |
| orphan | 运行时里有、期望之外 | 清理孤儿容器,回收资源 |
「容器崩溃」的完整链路:容器退出 → 运行时状态变化 → 下一次 PLEG relist 对出 diff/missing → 事件推给 kubelet → 同步循环按 restartPolicy 决定重启(Always/OnFailure/Never,见 10.2)→ 重新走启动流水线拉起。PLEG 是这条链路的事件源:没有它对账,kubelet 就退化成低效的全量轮询。
另一个实用细节:orphan 与 missing 的处置时机不同——orphan 通常在对账后立即回收(释放资源),missing 则先走重启决策(见 10.2)再决定是否重建。分清这两类差异,是读 kubelet 日志时判断「它在清理还是在重建」的线索。
从调度决策到真实进程:与卷三的呼应
把第 1–9 章和本章串起来看,完整链路是:
调度器选择节点 → 写回 spec.nodeName → kubelet watch 认领
→ PLEG 期望登记 → CRI 启动流水线(沙箱→镜像→容器→启动)
→ 容器真实运行 → PLEG 持续对账 → 探针与重启策略(10.2)
→ 节点心跳与失联判定(10.3)
调度决策在节点上变成真实进程,靠的是「期望状态流转 + 事件驱动」:调度器只声明期望(绑定到哪个节点),kubelet 负责把期望兑现成实际(CRI 流水线),PLEG 负责维持「期望 vs 实际」的闭环(对账 + 事件)。卷三前半讲「决策如何做出」,本章讲「决策如何在节点上兑现并持续维持」。
三个常见误解
- 「spec.nodeName 一写回,Pod 就 Running」——错误。绑定只是调度器侧完成;kubelet 要 watch 认领、走沙箱/镜像/容器/启动流水线,期间 Pod 停在 Pending(ContainerCreating)。调度完成 ≠ 运行完成。
- 「PLEG 主动监控容器,容器一挂立刻上报」——错误。PLEG 是被动对账器:每 1s relist 一次,把与缓存期望的差异整理成事件。崩溃检测存在至多一个 relist 周期的延迟,kubelet 的反应不会「立刻」。
- 「CRI 是某种容器运行时的实现」——错误。CRI 是 kubelet 与运行时之间的接口协议(gRPC),实现是 containerd/CRI-O/cri-dockerd。接口在、实现可换,这才是「运行时无关」的含义。
本节 lab
本节把 PLEG 对账落到 kubelet/kubelet.go 的 PLEGReconcile 与两个测试(kubelet 包共 7 个用例):
cd private/labs/k8s-sched-lab
go test ./kubelet -run 'TestPlegReconcileDiff|TestPlegReconcileOrphan' -v
TestPlegReconcileDiff 验证「期望运行但实际缺失」产生 diff 事件;TestPlegReconcileOrphan 验证「实际存在但期望之外」的容器被标记为孤儿。这正是本节「期望 vs 实际 → 差异事件 → 驱动处理」的最小验证:启动流水线把 Pod 变成进程,PLEG 用同一份对账逻辑维持闭环。
一句话总结本节
Pending→Running 是「调度决策 + 节点兑现」两段接力:调度器只写期望(绑定),kubelet 经 CRI 流水线兑现成真实进程,PLEG 用周期对账把期望与实际的差异变成事件来持续维护闭环。下一节看探针与重启策略——这是 PLEG 对账之后,kubelet 最频繁做出的两类决定。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。