5.1 Preemption 流程与受害者选择
前四章的调度假设「节点装得下就调度,装不下就失败」。但高优先级 Pod 到来时,K8s 有一个更重的后手:抢占(Preemption)——把已经运行在节点上的低优先级 Pod 赶走,腾出空间给高优先级 Pod。
抢占是调度循环里最「重」的机制:它中断正在运行的工作,影响真实用户流量。所以它的每一步(选哪个节点、驱逐谁、什么时候做)都必须有明确策略。本节拆抢占的完整流程与受害者选择算法。
抢占的触发:不是「失败就抢」
抢占不是默认的失败处理。触发条件精确限定为:
- 正常 Filter + Score 失败:所有候选节点都装不下这个 Pod。
- 失败原因是资源不足类(可被抢占修复):如果是「节点没有匹配 label」「污点不容忍」,抢占也没用——抢不出一个 label 来。
- Pod 的优先级足够高,且有
preemptionPolicy: PreemptLowerPriority(第 5.2 节)。
三个条件缺一不可。抢占是资源问题的最后手段,不是调度失败的万能解。lab 的 SelectVictims 从设计上就只管「资源不足」这一类:它只在 needCPU/needMem > 0 时找受害者。
抢占流程:五步
完整流程(kube-scheduler 的 Preempt):
| 步 | 动作 | 目的 |
|---|---|---|
| 1 | 在所有节点上跑 Filter,找「有低优先级受害者可驱逐」的候选节点 | 排除没救的节点 |
| 2 | 对候选节点跑 抢占模拟:选受害者、算驱逐后剩余量 | 确认「驱逐后真能装下」 |
| 3 | 选「最优」候选节点(受害者代价最小) | 破坏最小化 |
| 4 | 把 Pod 标记为 nominatedNode,异步驱逐受害者 | 不阻塞,驱逐是异步的 |
| 5 | Pod 重新进入调度队列,等资源释放后完成绑定 | 闭环回到调度主循环 |
关键在第 4 步:抢占不是同步的。调度器不直接杀 Pod,而是驱逐受害者(kubelet 执行 Pod 终止),把高优先级 Pod 标为「提名这个节点」然后回队列等资源释放(第 2.3 节的事件重试正好派上用场——受害者删除事件触发 UnschedulableQ 整体移动)。抢占 = 提名 + 异步驱逐 + 事件驱动重试的组合。
受害者选择:两条排序规则
选受害者(SelectVictims)的算法是抢占的核心:
- 优先级升序:先驱逐优先级最低的 Pod。越低越早被牺牲——高优先级 Pod 尽量保留。
- 同优先级按资源占用降序:同样优先级,驱逐占资源大的——驱逐一个顶几个,驱逐数量最小化。
两条规则合起来是「破坏最小化」的两个维度:尽量不动高优先级,尽量少驱逐几个。lab 的 SelectVictims 精确实现:排序(Priority 升序、同优先级 CPU+Mem 降序)后逐个驱逐直到 needCPU/needMem ≤ 0。
一个完整的受害选择例子
节点容量 8 CPU / 8G,已运行三个 Pod:
| Pod | 优先级 | 占用 |
|---|---|---|
| high | 90 | 1 CPU / 1G |
| mid | 50 | 2 CPU / 2G |
| low | 10 | 2 CPU / 2G |
新来 Pod 优先级 100、要 4 CPU / 4G。free = 3 CPU / 3G,需释放 1 CPU / 1G:
- 候选 = 优先级 < 100 的全部三个。
- 按优先级升序:low(10) → mid(50) → high(90)。
- 驱逐 low(2 CPU / 2G)→ 释放够(free 变 5 CPU / 5G ≥ 4)→ 只驱逐 low 一个。
「驱逐最小的那个就够」是受害者选择的直觉目标:不为了一个 4 资源的 Pod 赶走三个 Pod。lab 的 TestSelectVictimsLowestFirst 验证的正是这条。
为什么选择「破坏最小化」
受害者选择其实是在三个目标间权衡:
- 优先级语义:高优先级 Pod 运行中不被牺牲——否则优先级机制失去意义。
- 驱逐数量:受害者越少,受影响工作越少。
- 资源匹配:最好驱逐的受害者正好释放够量,不多不少。
这三个目标不一定兼容(比如最低优先级的 Pod 只占 0.5 CPU,驱逐它不够还得再驱逐一个)。K8s 的排序规则是「优先级优先、同优先级资源大者优先」的贪心近似——保证先保高优先级,再尽量少驱逐。贪心不是最优,但在线、低成本、可解释——这是调度决策一贯的工程风格。
抢占与 QoS 的关系
受害者选择只看优先级,不看 QoS 等级(Guaranteed/Burstable/BestEffort,第 9 章)。但实际驱逐时,kubelet 的终止顺序会参考 QoS(BestEffort 先死)。抢占的『选谁』由调度器定(按优先级),『怎么死』由 kubelet 定(按 QoS 优雅程度)——两个维度解耦,别混淆。
nominatedNode:提名的完整语义
5.1 节第 4 步的「提名」(nominatedNode)值得单独拆——它常被误读:
- 提名是调度器的预占位:把 Pod 的
status.nominatedNodeName设为候选节点,意思是「我打算把这 Pod 放这台,但还没绑定」。 - 提名不占资源:被提名节点没被预扣,其他 Pod 仍可调度上去。
- 提名可能失效:受害者还没被驱逐、或提名节点又满了,Pod 可能最终绑到别的节点——提名是软承诺。
为什么要提名?为了协作:被驱逐的受害者、kubelet 的终止流程能看到「高优先级 Pod 正在等这个节点」,避免资源一释放又被别人抢走。提名是调度器与执行侧之间的一次轻量协调,靠写一个 status 字段完成——又是「配置即协调」模式的实例。
抢占与 PodDisruptionBudget
抢占有最重要的保护机制还没讲:PodDisruptionBudget(PDB)。
PDB 声明「这类 Pod 至少要有 N 个可用」:
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata: {name: web-pdb}
spec:
minAvailable: 2 # 至少 2 个副本可用
selector: {matchLabels: {app: web}}
抢占(自愿中断)必须尊重 PDB:如果驱逐一个 app=web 的 Pod 会让可用数跌破 minAvailable,这个 Pod 不能被抢占。PDB 把「被驱逐的代价」量化成「可用性底线」,抢占算法在选择受害者时把它当作硬约束。
对比两种中断:
| 中断类型 | 是否受 PDB 约束 | 例子 |
|---|---|---|
| 自愿(抢占、节点排空) | 是 | 5.1 节抢占、节点维护 |
| 非自愿(节点故障、OOM) | 否 | 第 9 章驱逐 |
PDB 是抢占「可容忍性」的最重要防线:它让受害者(或受害者所在工作负载)拥有「至少 N 个可用」的谈判权。没有 PDB 的抢占是无底线中断,有 PDB 的抢占是可计价的谈判。
抢占的频率与代价权衡
抢占的频率是可观测的(第 5.2 节的优先级表、节点压力监控)。频率的合理区间取决于代价权衡:
| 抢占频率 | 信号 | 该做什么 |
|---|---|---|
| 罕见(偶发竞争) | 正常 | 抢占在兜底 |
| 频繁(持续竞争) | 资源长期不足 | 扩容/预留,别靠抢占 |
| 极频繁(风暴) | 优先级设计失衡 | 调优先级梯度、加 Never |
一个判断基准:如果抢占成为常态而不是例外,说明架构有问题——资源规划、优先级设计、隔离手段三者至少有一个失衡。抢占设计成「最后手段」,它的存在不是让你依赖它,而是让系统在偶发竞争时不至于崩溃。
把 5.1 节到本节的代价拆解串起来:触发条件压掉「无关抢占」,受害者选择压掉「过度驱逐」,异步化压掉「同步阻塞」,PDB 压掉「无底线中断」,频率监控暴露「架构失衡」。抢占的可容忍性是一层层设计叠出来的,不是靠调度器一个开关。
三个常见误解
- 「Pod 调度失败就会抢占」——错误。抢占有严格前置:资源不足类失败 + 优先级够高 +
PreemptLowerPriority。label 不匹配、污点不容忍这类失败不会触发抢占。 - 「抢占是同步的,高优先级 Pod 立刻顶替受害者位置」——错误。抢占先提名 + 异步驱逐,高优先级 Pod 回队列等受害者真正退出(事件触发重试)后才绑定。不是插队,是等位。
- 「受害者按资源最大者先驱逐」——错误。第一排序是优先级最低;只有同优先级才看资源大小。一个占 1 资源的高优先级 Pod 永远不会被先于占 10 资源的低优先级 Pod 驱逐。
抢占的分布式本质
把抢占放回分布式系统视角:抢占是调度器对「资源竞争」的集中仲裁。它不做本地协商(节点不会「自己决定赶走谁」),而是由唯一持有全局优先级视图的调度器做全局决策。这又一次体现 1.1 节的定位:需要全貌的决策集中在调度器,节点只执行。抢占决策的全貌 = 所有节点的运行 Pod + 全局优先级表。
一句话总结本节
抢占流程与受害者选择收成三个要点:
- 触发严格:资源不足类失败 + 优先级够高 +
PreemptLowerPriority三个前置,缺一不可。 - 流程是异步的:提名 nominatedNode → 异步驱逐受害者 → 回队列等事件重试——不是同步插队,是等位。
- 受害者选择:优先级最低优先、同优先级资源大者优先、够用即停——「破坏最小化」的两个维度。
PDB 是抢占最重要的保护:自愿中断必须尊重可用性底线。下一节讲优先级的分布式协调——PriorityClass。
抢占流程时序
抢占的完整时序(从失败到绑定)按序走:
- Filter + Score 全失败(资源不足类原因)。
- 检查优先级与 preemptionPolicy(够高且允许抢占)。
- 各节点跑抢占模拟:选受害者、算驱逐后剩余量。
- 选「破坏最小」的节点,设 nominatedNodeName。
- 异步驱逐受害者(尊重 PDB 与优雅终止)。
- 高优先级 Pod 回队列,受害者删除事件触发重试。
- 资源释放后重新调度,绑定成功。
关键在第 5-6 步的异步:驱逐与绑定之间隔着事件循环,不是同步顶替。
本节 lab
本节把受害者选择落到 preempt/preempt.go:SelectVictims 实现「优先级升序 + 同优先级资源大者优先 + 驱逐到满足」:
cd private/labs/k8s-sched-lab
go test ./preempt -run 'TestSelectVictimsLowestFirst|TestSelectVictimsSamePriorityBiggerFirst|TestSelectVictimsInsufficient|TestSelectVictimsNoLowPriority' -v
四个用例覆盖本节核心:TestSelectVictimsLowestFirst(先驱逐最低优先级)、TestSelectVictimsSamePriorityBiggerFirst(同优先级选资源大的)、TestSelectVictimsInsufficient(驱逐全部仍不够返回失败)、TestSelectVictimsNoLowPriority(没有更低优先级受害者返回失败)。这正是「优先级第一、资源第二、够用即停」的精确验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。