15.1 从调度到运行的完整状态流
卷三各章分别讲了调度队列、硬约束、软偏好、抢占、拓扑分布、调度框架、资源模型、QoS 驱逐、kubelet 状态机与伸缩控制回路,彼此像散落的零件。本节把它们装回一条流水线:一个 Pod 从被定义出来,到在节点上健康运行,中间经过哪些状态环节、每个环节的状态存在哪里、谁写谁读谁兜底、卡住时从哪里排查。这是第 15 章的开篇,也是整卷的收束视角。
一条状态流串起卷三
把「调度」和「运行」放进同一条时间线,可以拆成九个环节:
- 期望状态:Pod 对象被创建(spec 描述想要的副本形态)。
- 调度队列:Pod 进入调度器的队列,等待被处理。
- 决策:Filter 筛掉不可行节点,Score 选出最优节点。
- 绑定写回:调度器把选定节点写进 Pod。
- kubelet 认领:节点上的 kubelet 发现 Pod 归属自己,开始启动。
- PLEG 对账:kubelet 持续把期望状态与容器运行时实际状态对齐。
- 容器运行:容器被创建、启动,进入 Running。
- 探针就绪:就绪探针通过,Pod 进入 Ready,可对外服务。
- 节点心跳:kubelet 定期上报节点健康,作为下一轮调度决策的输入。
前四个环节是第 1、2 章讲的调度段,中间三个是第 10 章讲的 kubelet 状态机,最后一个把信号送回调度器,形成闭环。状态流不是单向管道,而是一个循环:第 9 环的输出(节点健康、污点、资源余量)正是第 3 环 Filter/Score 的输入。
把九个环节再按「谁拥有最终决定权」归成两段:调度段(环节 1–4)的权威是调度器,运行段(环节 5–9)的权威是 kubelet。两段之间靠 spec.nodeName 这个唯一的「交接字段」衔接——调度器写了它就算交棒,kubelet 读了它才算接棒。
状态载体:每个环节在 apiserver 留下什么
状态流中最关键的问题是「每个环节的中间产物存不存在」。答案不是「都存」,而是「只有少数环节落盘,其余只是内存里的瞬时决策」:
| 环节 | 状态载体 | 持久性 |
|---|---|---|
| 期望状态 | Pod 对象的 spec | 持久(etcd) |
| 调度队列 | 调度器内存中的三队列 | 不持久 |
| Filter/Score 决策 | 调度器内存(仅中间结果) | 不持久 |
| 绑定写回 | Pod 对象的 spec.nodeName | 持久 |
| kubelet 认领 | Pod watch + 节点本地 pod 缓存 | 半持久(watch 重建) |
| PLEG 对账 | Pod 的 status + 运行时真实状态 | status 持久 |
| 容器运行 | CRI 运行时内部状态 | 运行时持久 |
| 探针就绪 | Pod 的 status.conditions | 持久 |
| 节点心跳 | Lease 对象 + Node 的 status | 持久 |
这个表格解释了「调度器为什么是无状态的」:它的全部中间决策都不需要持久化,只有绑定那一刻才把结论写回 apiserver。 崩溃后只要从 informer 缓存重建队列即可继续工作——这正是 15.2 节要展开的恢复语义。
为什么这些载体偏偏是「持久」或「不持久」两类?背后是一个取舍:状态落盘提供可恢复性,但也付出 etcd 写入成本。 中间决策既不值得恢复(重算一遍很便宜),也没有消费者依赖(没人读「调度器刚才算过什么」),所以全部留在内存;绑定结论、status、Lease 有多个消费者(kubelet、控制器、调度器自身),必须落盘才有人能看到。
期望状态与调度队列:流的源头
流从 Pod 定义开始。控制器(如 Deployment 控制器)把「我想要 3 个副本」翻译成具体的 Pod 对象写入 apiserver,Pod 的 spec 就是期望状态的载体:nodeSelector、亲和性、污点容忍、resources.requests、topologySpreadConstraints,全部是第 3、6、8 章讲过的决策输入。
调度器通过 informer watch 到这个新 Pod,把它放进调度队列。第 2 章的队列不是一条而是三条:
- ActiveQ:等待立即调度的 Pod,按优先级出队。
- BackoffQ:失败的 Pod 按指数退避,到期后回 ActiveQ。
- UnschedulableQ:失败原因可能被事件修复的 Pod,等事件触发整队移动。
队列本身在调度器内存里,不在 apiserver。它是「待办清单」,不是「已承诺状态」——调度器重启后队列重建,未绑定的 Pod 依然在 apiserver 里等下一轮处理。出队顺序不是先进先出,而是按第 2 章讲的优先级降序:高优先级 Pod 抢占队首,这又与第 5 章的抢占机制呼应——队列内先让高优先级者先被处理,队列装不下时再用抢占把节点让出来。
Filter/Score 决策与绑定写回
第 3、4、6、7 章讲的决策逻辑都在这一步。调度器从 ActiveQ 弹出一个 Pod,对候选节点先跑 Filter(硬约束,违反就淘汰,可短路),再对剩余节点跑 Score(软偏好,加权求和),选出分数最高的节点。决策的输入不是 apiserver 实时查询,而是调度器内存里的节点快照——由 informer 持续同步,保证每一步决策看到的是「当前时刻附近」的集群状态。
关键点:这一步的结果不落盘。 调度器内存里算完最优节点,紧接着就写绑定——把节点名写进 Pod 的 spec.nodeName。绑定是状态流里第一个「从内存到持久」的跳跃,也是一切下游环节的入口。决策到绑定之间没有中间态:要么还没决策(Pod 仍在队列),要么已绑定(nodeName 已写)。这正是调度器崩溃后能安全恢复的结构基础——见 15.2 节。
绑定写回有三种方式:直接用 spec.nodeName 字段、通过 Binding 对象、或经调度框架的 Bind 插件链(第 7 章)。无论哪种,kubelet 都只认 spec.nodeName 这个唯一事实。谁在写它、写的是哪台节点,决定了 Pod 最终去哪。
kubelet 认领与 PLEG 对账
kubelet 启动时以自己所在节点的名字为过滤条件 watch Pod。当某个 Pod 的 spec.nodeName 等于自己的节点名,kubelet 就「认领」它,开始准备容器运行时环境(拉镜像、建 cgroup、挂卷)。
认领之后是第 10 章的 PLEG 对账。期望状态(apiserver 的 Pod spec)和实际状态(容器运行时的真实容器)之间存在差异,PLEG 周期性探测差异并触发同步:
- 期望有容器而实际没有 → 创建。
- 期望删除而实际还在 → 停止删除。
- 实际容器退出而期望它活着 → 按
restartPolicy重启。
PLEG 的价值是把「声明式期望」和「不可靠的运行时」之间的鸿沟交给对账循环去弥合。这也是 kubelet 与调度器共享的设计哲学:不假设一次指令就能到达终态,而是持续比较、持续收敛。
认领阶段还有一层微妙处:kubelet 只认领 spec.nodeName 等于自己节点名的 Pod,因此一个 Pod 在任何时刻只有一个 kubelet 对它负责。多副本调度器场景下(15.2 节),即使两个调度器都试图绑定同一个 Pod,最终只会写定一个 nodeName,也只有那台节点的 kubelet 会认领——这是天然的去重边界。
容器运行、探针就绪
在容器真正启动之前,认领之后还有一层准备:拉镜像、挂载卷、分配 cgroup 资源。这一层失败的 Pod 会停在 ContainerCreating,症状各不相同——镜像拉取超时、卷不存在、资源无法满足,分别对应第 8 章资源模型与卷冲突的第 3 章过滤语义。
容器被 CRI 运行时创建后,进入 Running 状态,但「运行」不等于「可用」。第 10 章把可用性交给探针:
- 就绪探针(readiness)失败 → Pod 的
status.conditions[type=Ready]为 False,EndpointSlice 把 Pod 移出 Service 后端,流量不再进来。 - 存活探针(liveness)失败 → kubelet 重启容器;连续失败超过
failureThreshold触发更激进的重启策略。 - 启动探针(startup)保护启动慢的容器,避免存活探针在启动期误杀。
探针是状态流里「质量门禁」:调度保证 Pod 被放到了合适的节点,探针保证 Pod 被放上之后真的能服务。 这两个承诺分别属于调度段和运行段,缺一不可。
节点心跳:健康闭环
第 10.3 节的节点心跳把流拉回起点。kubelet 通过 Lease 对象高频续租,node controller 用「租约过期 + 宽限耗尽」双条件判失联,失联节点被打上 NoExecute 污点。调度器的 TaintToleration 插件把这些节点从候选集合里剔除——于是第 9 环的结论直接影响第 3 环的输入。
这就是整条状态流的闭环结构:
Pod 定义 → 队列 → 决策 → 绑定 → 认领 → PLEG → 运行 → 就绪
↑ ↓
节点心跳/污点/资源余量 ←—— 健康信息持续上报 ←—— kubelet
把「调度」和「运行」合起来看,调度不是一次性的安置动作,而是「基于当前集群健康状态,把 Pod 放到它能健康运行的地方」的持续决策。
这条闭环也解释了第 11–14 章伸缩控制回路的位置:当运行段发现副本不足或利用率偏离目标时,HPA 改变期望副本数,控制器据此创建新 Pod,新 Pod 重新走完整条状态流。状态流的每一次「跑圈」,都可能是上一圈健康信息的直接结果。
谁写、谁读、谁兜底:职责一览
把九个环节的读写职责收敛成一张表,是排查一切 Pending/Running 问题的基础:
| 环节 | 状态载体 | 谁写 | 谁读 | 谁兜底 |
|---|---|---|---|---|
| 期望状态 | Pod spec | 控制器/用户 | 调度器、kubelet | 控制器按副本数重建 |
| 调度队列 | 内存三队列 | 调度器入队 | 调度器出队 | informer 重同步重建队列 |
| 决策 | 内存中间结果 | 调度器 | — | 决策不持久,无需兜底 |
| 绑定写回 | spec.nodeName | 调度器 | kubelet、调度器本身 | 失败走调度队列重试 |
| kubelet 认领 | 节点本地缓存 | kubelet | kubelet | watch 断线重连 + relist |
| PLEG 对账 | Pod status + 运行时 | kubelet | kubelet、控制器 | PLEG 周期对账 |
| 容器运行 | 运行时状态 | CRI 运行时 | kubelet | restartPolicy 重启 |
| 探针就绪 | status.conditions | kubelet | EndpointSlice/Service | 探针失败移出后端 |
| 节点心跳 | Lease / Node status | kubelet | node controller、调度器 | 宽限 + 驱逐 + 强制删除 |
读这张表有两个规律。其一是**「写者基本唯一,读者通常多个」:每个状态载体几乎只有一个写者(spec.nodeName 是调度器,status 是 kubelet,Lease 是 kubelet),但读者很多——避免多写者竞争,是这套状态模型不出现混乱的关键。其二是「兜底列越靠后,动作越重」**:队列兜底只是重试,PLEG 兜底是重启容器,节点心跳兜底是驱逐 Pod——因为越接近真实运行,偏差越可能意味着实质故障。
断点定位:Pending 卡在哪一环
生产里最常见的告警是 Pod 长时间 Pending。用状态流定位,就是逐环检查「这个环节的产物出现没有」:
- 卡在队列:
kubectl describe pod没有 FailedScheduling 事件,说明 Pod 可能还在队列里或退避中。看调度器日志的调度延迟指标与队列深度。 - 卡在决策:有 FailedScheduling 事件且原因明确(资源不足、不满足亲和、端口冲突)。这是第 3、6、8 章的 Filter 语义,读事件的失败原因即可定位。
- 卡在绑定:
spec.nodeName已写但 Pod 仍 Pending——kubelet 还没认领。检查 kubelet 是否存活、watch 是否建立。 - 卡在认领/PLEG:nodeName 匹配但容器没起来。看 kubelet 日志与容器运行时状态,区分镜像拉取失败、卷挂载失败、cgroup 创建失败。
- 卡在运行:容器起来了但频繁 CrashLoopBackOff,看
containerStatuses的退出码与重启次数。 - 卡在就绪:容器 Running 但 Ready 为 False,探针失败,流量不进不来——查探针配置与健康检查端点。
断点定位的本质是「找第一个没产生预期产物的环节」。顺着状态载体表逐环比对,Pending 就变成了一个二分定位问题,而不是玄学。
kubectl describe pod 的输出恰好就是这条状态流的快照视图:Events 里的调度事件反映环节 2–4,spec.nodeName 反映环节 4 是否完成,containerStatuses 反映环节 7,conditions 反映环节 8。把 describe 输出当作状态载体表的一行行实例来读,定位会快很多。
定位时区分两类 Pending 还有一层现实意义:卡在调度段(环节 2–4)通常不需要动节点,卡在运行段(环节 5–8)往往与节点本身有关。前者查调度器队列与 Filter 原因,后者查 kubelet 与运行时——两类问题的修复动作完全不同,别在错的一侧耗时间。
三个常见误解
- 「调度器把所有决策都写进 apiserver,重启后能恢复现场」——错误。调度队列、Filter/Score 中间结果都在内存里,不持久。调度器重启后从 informer 缓存重建队列,靠的是 apiserver 里的 Pod 对象仍在等调度,而不是恢复内存现场。
- 「绑定写回后 Pod 立刻 Running」——错误。
spec.nodeName只是让 kubelet 认领的入口,之后还有镜像拉取、PLEG 对账、容器启动、探针就绪等一串环节。绑定到 Running 之间是运行段,各自有自己的失败模式。 - 「探针只影响流量,不影响调度」——错误。就绪探针失败把 Pod 移出 Service 后端,这会改变副本的有效数量,进而被 HPA 的伸缩控制回路读取(第 11 章),还可能间接影响后续调度决策。状态流的各环是互通的,不是孤岛。
本节 lab
本节的状态流调度段落到 queue 包的 TestScheduleLoopBind:
cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v
该用例构造两个 Pod、两台节点,跑 ScheduleLoop 执行从 pop 到绑定的一轮完整流程:两个 Pod 都被调度成功(counts["scheduled"]==2),并留下两条绑定记录("p1->n1"、"p2->n2")。这正是「队列 → 决策 → 绑定写回」三段状态流的缩影——调度段结束的标志是 spec.nodeName 被写定,而 kubelet 认领之后的部分属于第 10 章的 kubelet 包用例。
一句话总结本节
从期望状态到节点心跳是一条九环节的状态流,只有绑定、status、Lease 等少数载体持久化,其余是内存瞬态;调度器因此无状态、可重建。排查 Pending 就是沿状态载体表找第一个没产出结果的环节。下一节把这条流最脆弱的段落——调度失败与调度器本身的高可用——单独展开。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。