15.2 调度失败与多副本调度器
15.1 节把状态流画成一条流水线,但流水线不是永远顺畅的——大多数 Pod 在生命周期里至少经历过一次调度失败。本节处理两个最容易被低估的问题:调度失败怎么分类、怎么回收;调度器自身挂了、或跑多个副本时,怎么保证集群还能继续工作且不产生双重绑定。前者是第 2、3、5、7 章失败语义的收拢,后者是把调度器当作分布式组件看待的高可用设计。
调度失败是正常路径,不是异常
先纠正一个直觉:调度失败不是「出错」,而是控制回路的常规工作态。资源不足、节点标签不匹配、端口冲突、卷占用,都是集群运行中的常态,不是配置错误。设计上的含义是:失败必须有一个确定的回收路径,而不是把 Pod 丢在原地等人工处理。
第 2 章的三队列结构正是为此设计。调度器每轮 ScheduleOnce 有四种出口:scheduled(成功)、unschedulable(进 UnschedulableQ)、backoff(进 BackoffQ)、idle(队列空)。失败被拆成两种去向,依据是同一个问题:
失败原因将来能不能被集群事件修复?
- 能 → 进 UnschedulableQ,等待能修复它的事件(新节点、资源释放)。
- 不能 → 进 BackoffQ,按指数退避自行重试,别频繁打空炮。
这个「先问能不能被事件修复」的判断,本质上是把失败归因到「集群会变的输入」还是「不会变的输入」。集群会变(资源会释放、节点会加入、污点会移除)就值得等事件;不会变(Pod 自己的选择器写错了)就只好靠时间兜底。归因错了,回收策略就错了。
失败分类:可修复与不可修复
判断「可修复性」的依据在 lab 的 isEventFixable 里非常清晰:
| 失败原因 | 示例 | 能否被事件修复 | 去向 |
|---|---|---|---|
| 资源不足 | 内存/CPU 不够,节点被占满 | 能(其他 Pod 删除、新节点加入) | UnschedulableQ |
| 污点不匹配 | 节点有 NoSchedule 污点 | 能(污点被移除) | UnschedulableQ |
| 端口冲突 | 宿主机端口被占用 | 能(占用 Pod 删除) | UnschedulableQ |
| 选择器不匹配 | nodeSelector 没有任何节点满足 | 不能(除非改 Pod 本身) | BackoffQ |
| 无可行节点 | 全部候选节点都被 Filter 拒绝 | 视原因而定,框架统一抛错 | 见下文「失败语义收拢」 |
注意一个细节:「可修复」的标准是「外部事件能改变决策输入」,不是「重试几次就能成」。选择器不匹配不会因为多等几秒就变好,所以它不占 UnschedulableQ 的位置,直接退避。这条区分避免了 UnschedulableQ 被永远等不到的事件的 Pod 塞满。
真实 kube-scheduler 的分类粒度更细:它给每种失败原因打「可被事件修复」的标记,同一类原因在不同场景下结论也可能不同——例如资源不足若无任何节点未来会释放,就接近于不可修复。分类的价值不在于精确,而在于让回收策略可预期:宁可把可修复的误判为不可修复(退避后还会重试,损失可控),也别把不可修复的长期丢进等事件的队列。
回收路径:两条队列,两种节奏
失败后 Pod 进哪条队列,决定了它下次被处理的节奏:
- UnschedulableQ 是「事件驱动的等待区」。Pod 待在这里,不消耗调度器算力,只等节点加入、Pod 删除等事件。事件一来,整队移动到 ActiveQ(或按退避规则进 BackoffQ),重新竞争调度机会。lab 的
HandleNodeAdd/HandlePodDelete就模拟这个「整队移动」。 - BackoffQ 是「时间驱动的冷却区」。Pod 按指数退避(
backoffBase << fails,封顶maxBackoff)计时,到期自动回 ActiveQ。它专为不可修复原因服务:让失败的 Pod 不要以最高频率反复冲击调度器,同时保证它迟早会再试一次。
「整队移动」是个有意的粗粒度选择:节点加入时,把所有 UnschedulableQ 的 Pod 一次性挪回 ActiveQ,让它们重新走一遍 Filter/Score。代价是有一部分 Pod 会再次失败(它们的失败原因与新节点无关),收益是简单且不错过任何被修复的 Pod。用一部分无效重试,换实现简单与不遗漏,是调度失败回收里反复出现的取舍。
两条队列解决的是同一个矛盾的不同侧面:UnschedulableQ 避免「事件能修复却不重试」,BackoffQ 避免「重试太频繁浪费算力」。事件来了要敏感,事件没来要克制——这组语义合起来,就是调度失败回收的完整策略。
退避的时间形貌值得单独说。lab 里退避是 backoffBase << fails,指数翻倍并封顶 maxBackoff:第一次失败等 1 个基数、第二次 2 倍、第三次 4 倍,直到封顶。指数增长的意义是让反复失败的成本以平方级收敛,而不是线性累积——失败的 Pod 越挫越勇的代价由集群全体承担,必须用冷却把它约束住。
两种闭环:事件驱动与时间驱动
失败反馈回控制回路的方式有两条,分别对应上面两条队列的触发机制:
- 事件驱动闭环:节点加入、Pod 删除、污点移除等事件 → 调度器收到 informer 回调 → 把 UnschedulableQ 里可能被修复的 Pod 重新激活。这是「外部世界变了,我立刻重新评估」。
- 时间驱动闭环:BackoffQ 到期、以及周期性的队列清理(真实 kube-scheduler 里有
podMaxInUnschedulablePodsDuration,默认约 5 分钟,把长期滞留 UnschedulableQ 的 Pod 周期性再评估)→ 这是「不管外部变没变,过一段时间我重新看一眼」。
真实调度器两条腿都走:事件驱动保证响应及时,时间驱动保证事件丢失或漏报时也有兜底。两条闭环的冗余,是为了弥补 informer 事件可能漏、可能延迟的现实。
两条闭环对运维有个可见的差异:事件驱动是「推」出来的,时间驱动是「拉」出来的。前者在 describe 里表现为「事件发生后 Pod 立刻被重试」,后者表现为「定时器到了 Pod 才动」。排障时如果发现 Pod 在该重试时没动,先看它等的是哪条闭环——等事件的查事件有没有来,等时间的查退避还有多久。
失败类型 → 队列 → 重试路径一览
把整条回收路径压成一张表:
| 失败类型 | 进哪条队列 | 重试触发 | 重试节奏 |
|---|---|---|---|
| 资源不足 | UnschedulableQ | Pod 删除 / 节点加入事件 | 事件驱动,触发即重试 |
| 污点不匹配 | UnschedulableQ | 污点移除事件 | 事件驱动 |
| 端口冲突 | UnschedulableQ | 占用端口 Pod 删除 | 事件驱动 |
| 选择器不匹配 | BackoffQ | 退避到期 | 时间驱动,指数退避 |
| 无可行节点 | BackoffQ / UnschedulableQ | 视具体失败原因 | 混合 |
这张表也是排障入口:看 describe pod 的 FailedScheduling 事件,能定位「失败原因属于哪类」,从而预判「它会等事件还是等时间」,进而知道「要不要人工介入」——等事件的,推一把节点往往立刻生效;等时间的,是系统在自行冷却。
排障还有一个先决判断:先分清「失败重试还没轮上」和「失败之后没人管」。前者是队列语义,属于正常;后者才是真问题。一个实用的观察点是 FailedScheduling 事件的间隔——间隔在指数拉长,说明退避在工作;间隔完全消失,说明 Pod 卡在了某个不重试的角落(例如被长期遗忘在 UnschedulableQ 而事件又没触发)。
集群维度看这张表还有一层含义:UnschedulableQ 里堆了哪个失败原因,就是集群当前瓶颈的仪表盘。清一色「资源不足」说明容量见底,该上第 14 章的 Cluster Autoscaler;清一色「污点不匹配」说明节点被刻意隔离;清一色「选择器不匹配」往往指向配置错误而非容量问题。
多副本调度器:高可用
单副本调度器是明显的单点。kube-scheduler 以多副本(Deployment)方式部署,但同一时刻只有一个副本真正在调度,其余是热备——这就是 leader 选举的作用。
- 每个副本启动时都尝试获取一个分布式锁(Lease / Endpoint 上的租约),只有持有锁的副本成为 leader。
- leader 周期续租;续租失败或进程退出,锁释放,剩余副本重新选举,新 leader 接管。
- 选举只决定「谁来干活」,不迁移任何数据——因为调度器没有需要迁移的状态(15.1 节的结论)。这是无状态组件高可用最便宜的形态:没有共享存储、没有主从复制、没有数据一致性协议,只有一把锁。
leader 切换的中断窗口是多少?取决于「选举多久能收敛 + 新 leader 多久能把队列重建起来」。实际量级是秒级——对一个把失败重试当常态的系统来说,这个中断是可接受的。
锁的载体与心跳是同一个 Lease 机制(第 10.3 节讲过 Lease 同时服务节点心跳与组件选主):holderIdentity 记录当前 leader,renewTime 记录续租时间,leaseDurationSeconds 决定失联多久后锁可被抢占。一套租约语义,两个用途——节点心跳告诉控制面「节点还活着」,组件选主告诉副本们「谁是当前干活的人」。
多副本还能顺带分担一类负载:每个副本都在 watch apiserver、维护 informer 缓存,leader 切换后新 leader 的缓存通常是热的,不需要从零重建全量数据。这让「抢占即接管」几乎无缝。
运维上要区分两个探针:就绪探针表明「我够资格干活」,活跃探针表明「我还没死」。副本既就绪又活跃 → 参与选举;活跃但未就绪 → 可能刚启动还在建缓存,不抢锁;既不活跃也不就绪 → 进程有问题,Deployment 会重启它。选举状态是「就绪/活跃」探针语义在分布式组件上的延伸。
多副本调度器:一致性
多副本的难点不是高可用,而是一致性:同一时刻绝不能有两个调度器把同一个 Pod 绑到两个不同节点。Kubernetes 的防护是层层叠加的:
- leader 选举收敛:正常情况下只有一个 leader 会从队列 pop Pod 并写绑定。锁本身有 lease 语义,leader 失联后其他副本要等租约过期才抢占,避免「双 leader」。
- 唯一写者:
spec.nodeName的写者只有调度器(及用户手动操作),而活跃调度器唯一。即使出现罕见的双 leader 竞态,两个写者对同一对象做的是「最后写者胜」——Pod 最终只有一个 nodeName。 - kubelet 认领去重:只有 nodeName 匹配的 kubelet 才认领 Pod(15.1 节)。就算两个节点都收到了矛盾的绑定,实际负责的只有写定的那一台。
- schedulerName 分流:一个集群可以有多个调度器,Pod 用
spec.schedulerName指定由谁处理。不同调度器处理不同的 Pod 子集,互不竞争同一个 Pod。
最后一条值得展开:「多调度器」和「多副本调度器」是两种多。多副本是同一个调度器跑多份、靠选举选一个干活,服务于高可用;多调度器是不同调度器各管一批 Pod(按 schedulerName),服务于隔离与定制。两者叠加时,每个 schedulerName 各自再走自己的 leader 选举——一致性边界按 schedulerName 切开。
一致性里最需要警惕的失败模式是 split brain(双 leader):leader 网络抖动导致租约短暂无法续租,被另一个副本抢占,旧 leader 网络恢复后仍以为自己还是 leader。缓解手段一是租约时长留余量(续租频率 ≪ 租约时长),二是一致性检查:写绑定前确认自己仍是锁的持有者。Kubernetes 的选择是「最后写者胜 + kubelet 认领去重」做最终兜底——就算双 leader 短暂并存,系统也不会进入两个节点同时运行同一 Pod 的失控状态,代价只是可能有一次无效绑定需要回收。
还有一层「一致性」常被忽略:调度决策与集群现状的时效一致性。调度器用内存里的节点快照做决策,而快照永远比 apiserver 慢一拍。如果决策时节点资源已被其他 Pod 占用(快照过期),绑定后 kubelet 仍会尝试启动,真正的资源冲突由 kubelet 侧的运行时与节点压力机制(第 9 章)去兜底。调度的一致性保证是「尽力而为 + 下游兜底」,不是硬性事务承诺。
调度器崩溃恢复:无状态与重放
崩溃恢复是「无状态」设计的自然回报:
- 队列重建:新 leader 启动时从 informer 的 lister 缓存拉全量 Pod,凡是
spec.nodeName未写的 Pod 重新入队。队列内容不是备份出来的,是「算」出来的。 - 不重复调度已绑定 Pod:
nodeName已写的 Pod 不会被重新调度——绑定本身是幂等的事实,不是可回滚的事务。 - 崩溃发生在「出队后、绑定前」:Pod 仍在 apiserver 里未绑定,新 leader 重新调度它。对系统无副作用,只是多一次等待。
- 崩溃发生在「绑定中」:写入要么成功(Pod 已绑定,重放时跳过)、要么失败(Pod 未绑定,重新调度)。不存在「写了一半」的中间态,因为
spec.nodeName是一次字段更新。
这个模型的本质是**「把系统状态放在 apiserver,把调度器的内存当作可丢弃的缓存」**。缓存丢了,从事实重建;事实(Pod 对象)在 etcd 里,永远不会因为调度器崩溃而丢。调度器的恢复语义比绝大多数有状态服务简单得多——因为它从不假装自己拥有状态。
重放的起点是 informer 的 resourceVersion:新 leader 从任意版本开始 relist,apiserver 会把该版本之后的所有变更推给调度器。这个机制保证即使队列里有少量事件在崩溃瞬间没被处理,恢复后也会被重新观察到。恢复的正确性不依赖「崩溃前一刻的内存快照」,而依赖「崩溃后重看一遍事实」——这是事件驱动系统通用的恢复哲学。
对比一下有状态方案就能看出这个取舍的分量:如果调度器把队列持久化,就得处理「队列写了一半怎么办」「旧 leader 的队列和新 leader 的队列如何合并」等一堆分布式一致性问题。无状态方案把这些问题全部卸载给 apiserver——用「apiserver 是唯一事实源」这一条原则,换掉了整个持久化一致性栈。这也是本书反复出现的主题:把复杂性卸载到已有的一致性好、可靠性高的组件上。
失败语义收拢:第 2、3、5、7 章回看
- 第 2 章(队列):提供失败回收的容器——三队列的转移规则定义了「失败后去哪、何时回来」。
- 第 3 章(Filter):提供失败原因的分类——
nodeSelector、亲和、污点、资源、端口、卷,每种原因的可修复性不同,直接决定去 UnschedulableQ 还是 BackoffQ。 - 第 5 章(抢占):提供「装不下时怎么办」——高优先级 Pod 无可行节点时先抢占低优先级 Pod 释放资源;若抢占仍凑不够,失败且不可修复,进 BackoffQ。
- 第 7 章(调度框架):提供统一的失败出口——
Schedule返回ErrNoFeasibleNode,把「所有 Filter 都拒绝」收敛成一个明确的错误值,调用方据此决定回收去向。 - 第 11–14 章(伸缩):提供失败的「根治」出口——当 UnschedulableQ 长期堆满资源类失败,说明容量不足,由 Cluster Autoscaler 加节点、或由 HPA 调节负载本身,从源头消掉失败。
四章合起来是一条完整的失败处理链:Filter 判定原因 → 队列决定去向 → 抢占尝试自救 → 框架统一兜底。调度失败因此不是散落的异常,而是一条有分类、有路径、有重试、有兜底的工程化流程。
把这条链和 15.1 节的状态流对照,会发现失败回收本身也有一条「小状态流」:失败从 ActiveQ 流出,按可修复性分流,经事件或时间驱动回流到 ActiveQ,再走一遍 Filter/Score——每一次重试都是一次完整的状态流转,只是入口是队列而非 Pod 创建。理解了这个循环,就理解了为什么调度器可以把大量失败容忍得如此从容。
三个常见误解
- 「调度失败说明集群出问题了」——错误。资源不足、污点不匹配、端口冲突是常态,调度失败是控制回路的常规工作态。判断集群健康看失败后的回收是否顺畅,而不是失败是否发生。
- 「调度器多副本 = 多个调度器同时工作」——错误。多副本靠 leader 选举选出一个干活,其余热备;多调度器才按
schedulerName各自分管一批 Pod。两者语义完全不同。 - 「调度器崩溃会丢调度现场」——错误。调度器无状态,队列和节点快照从 informer 缓存重建,已绑定 Pod 以
spec.nodeName为准跳过。崩溃的代价只是一次队列重建,不是数据损失。
本节 lab
本节两条命令分别验证失败回收与无可行节点判定:
cd private/labs/k8s-sched-lab
go test ./queue -run 'TestFailureBackoff|TestUnschedulableEventMove' -v
go test ./framework -run TestScheduleNoFeasible -v
TestFailureBackoff 用「selector」失败(不可被事件修复)验证不可修复原因走 BackoffQ(断言 BackoffQ 计数为 1);TestUnschedulableEventMove 用「缺 GPU 标签」失败(resource 类,可被事件修复)验证进 UnschedulableQ,再模拟节点加上标签、HandleNodeAdd 整队移动后重新调度成功——这正是「事件驱动闭环」的可运行版本。TestScheduleNoFeasible 则验证 framework 的 Schedule 在所有候选节点都不满足 Filter 时返回 ErrNoFeasibleNode,即第 7 章的失败出口。
三个用例合起来覆盖了本节的核心语义:可修复失败等事件、不可修复失败退避、全部节点不可行则统一抛错。跑一遍这两条命令,就能在测试输出里看到「进 BackoffQ → 事件触发 → 重新调度成功」的完整失败回收轨迹。
多副本与 leader 选举没有单独的可运行用例——它属于部署拓扑而非算法——但本节的两条命令已经覆盖了选举之外的全部失败语义,剩下的是把调度器按多副本 Deployment 部署时由 kube-scheduler 自带的 --leader-elect 行为接管。
一句话总结本节
调度失败按可修复性分流到 UnschedulableQ(等事件)与 BackoffQ(等时间),靠事件驱动与时间驱动两条闭环回收;多副本调度器用 leader 选举保证高可用、用「唯一写者 + kubelet 认领去重 + schedulerName 分流」保证同一 Pod 不被二次绑定,崩溃后无状态重建队列即可恢复。下一节把这些机制连同前面各章讲的硬约束、软偏好、抢占一起,收束成卷三「约束满足 + 评分 + 抢占 + 负反馈」四个机制的全局视图。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。