《Kubernetes 分布式系统原理深入解析》5.1 Preemption 流程与受害者选择

高优先级 Pod 在所有候选节点都资源不足时,K8s 不直接放弃,而是触发抢占:选中一个候选节点,驱逐上面优先级更低的 Pod 腾出空间。本节拆抢占的完整流程(失败→选节点→选受害者→驱逐→重试)与受害者选择的策略——优先级最低优先、同优先级资源占用大者优先、破坏最小化——并说明为什么抢占是调度循环里最『重』、最该谨慎的机制。lab 用 preempt/preempt.go 验证受害者选择的两条排序规则与驱逐后资源是否满足。

5.1 Preemption 流程与受害者选择

前四章的调度假设「节点装得下就调度,装不下就失败」。但高优先级 Pod 到来时,K8s 有一个更重的后手:抢占(Preemption)——把已经运行在节点上的低优先级 Pod 赶走,腾出空间给高优先级 Pod。

抢占是调度循环里最「重」的机制:它中断正在运行的工作,影响真实用户流量。所以它的每一步(选哪个节点、驱逐谁、什么时候做)都必须有明确策略。本节拆抢占的完整流程与受害者选择算法。

抢占的触发:不是「失败就抢」

抢占不是默认的失败处理。触发条件精确限定为:

  1. 正常 Filter + Score 失败:所有候选节点都装不下这个 Pod。
  2. 失败原因是资源不足类(可被抢占修复):如果是「节点没有匹配 label」「污点不容忍」,抢占也没用——抢不出一个 label 来。
  3. Pod 的优先级足够高,且有 preemptionPolicy: PreemptLowerPriority(第 5.2 节)。

三个条件缺一不可。抢占是资源问题的最后手段,不是调度失败的万能解。lab 的 SelectVictims 从设计上就只管「资源不足」这一类:它只在 needCPU/needMem > 0 时找受害者。

抢占流程:五步

完整流程(kube-scheduler 的 Preempt):

步动作目的
1在所有节点上跑 Filter,找「有低优先级受害者可驱逐」的候选节点排除没救的节点
2对候选节点跑 抢占模拟:选受害者、算驱逐后剩余量确认「驱逐后真能装下」
3选「最优」候选节点(受害者代价最小)破坏最小化
4把 Pod 标记为 nominatedNode,异步驱逐受害者不阻塞,驱逐是异步的
5Pod 重新进入调度队列,等资源释放后完成绑定闭环回到调度主循环

关键在第 4 步:抢占不是同步的。调度器不直接杀 Pod,而是驱逐受害者(kubelet 执行 Pod 终止),把高优先级 Pod 标为「提名这个节点」然后回队列等资源释放(第 2.3 节的事件重试正好派上用场——受害者删除事件触发 UnschedulableQ 整体移动)。抢占 = 提名 + 异步驱逐 + 事件驱动重试的组合。

受害者选择:两条排序规则

选受害者(SelectVictims)的算法是抢占的核心:

  1. 优先级升序:先驱逐优先级最低的 Pod。越低越早被牺牲——高优先级 Pod 尽量保留。
  2. 同优先级按资源占用降序:同样优先级,驱逐占资源大的——驱逐一个顶几个,驱逐数量最小化。

两条规则合起来是「破坏最小化」的两个维度:尽量不动高优先级,尽量少驱逐几个。lab 的 SelectVictims 精确实现:排序(Priority 升序、同优先级 CPU+Mem 降序)后逐个驱逐直到 needCPU/needMem ≤ 0。

一个完整的受害选择例子

节点容量 8 CPU / 8G,已运行三个 Pod:

Pod优先级占用
high901 CPU / 1G
mid502 CPU / 2G
low102 CPU / 2G

新来 Pod 优先级 100、要 4 CPU / 4G。free = 3 CPU / 3G,需释放 1 CPU / 1G:

  1. 候选 = 优先级 < 100 的全部三个。
  2. 按优先级升序:low(10) → mid(50) → high(90)。
  3. 驱逐 low(2 CPU / 2G)→ 释放够(free 变 5 CPU / 5G ≥ 4)→ 只驱逐 low 一个。

「驱逐最小的那个就够」是受害者选择的直觉目标:不为了一个 4 资源的 Pod 赶走三个 Pod。lab 的 TestSelectVictimsLowestFirst 验证的正是这条。

为什么选择「破坏最小化」

受害者选择其实是在三个目标间权衡:

  • 优先级语义:高优先级 Pod 运行中不被牺牲——否则优先级机制失去意义。
  • 驱逐数量:受害者越少,受影响工作越少。
  • 资源匹配:最好驱逐的受害者正好释放够量,不多不少。

这三个目标不一定兼容(比如最低优先级的 Pod 只占 0.5 CPU,驱逐它不够还得再驱逐一个)。K8s 的排序规则是「优先级优先、同优先级资源大者优先」的贪心近似——保证先保高优先级,再尽量少驱逐。贪心不是最优,但在线、低成本、可解释——这是调度决策一贯的工程风格。

抢占与 QoS 的关系

受害者选择只看优先级,不看 QoS 等级(Guaranteed/Burstable/BestEffort,第 9 章)。但实际驱逐时,kubelet 的终止顺序会参考 QoS(BestEffort 先死)。抢占的『选谁』由调度器定(按优先级),『怎么死』由 kubelet 定(按 QoS 优雅程度)——两个维度解耦,别混淆。

nominatedNode:提名的完整语义

5.1 节第 4 步的「提名」(nominatedNode)值得单独拆——它常被误读:

  • 提名是调度器的预占位:把 Pod 的 status.nominatedNodeName 设为候选节点,意思是「我打算把这 Pod 放这台,但还没绑定」。
  • 提名不占资源:被提名节点没被预扣,其他 Pod 仍可调度上去。
  • 提名可能失效:受害者还没被驱逐、或提名节点又满了,Pod 可能最终绑到别的节点——提名是软承诺。

为什么要提名?为了协作:被驱逐的受害者、kubelet 的终止流程能看到「高优先级 Pod 正在等这个节点」,避免资源一释放又被别人抢走。提名是调度器与执行侧之间的一次轻量协调,靠写一个 status 字段完成——又是「配置即协调」模式的实例。

抢占与 PodDisruptionBudget

抢占有最重要的保护机制还没讲:PodDisruptionBudget(PDB)。

PDB 声明「这类 Pod 至少要有 N 个可用」:

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata: {name: web-pdb}
spec:
  minAvailable: 2        # 至少 2 个副本可用
  selector: {matchLabels: {app: web}}

抢占(自愿中断)必须尊重 PDB:如果驱逐一个 app=web 的 Pod 会让可用数跌破 minAvailable,这个 Pod 不能被抢占。PDB 把「被驱逐的代价」量化成「可用性底线」,抢占算法在选择受害者时把它当作硬约束。

对比两种中断:

中断类型是否受 PDB 约束例子
自愿(抢占、节点排空)是5.1 节抢占、节点维护
非自愿(节点故障、OOM)否第 9 章驱逐

PDB 是抢占「可容忍性」的最重要防线:它让受害者(或受害者所在工作负载)拥有「至少 N 个可用」的谈判权。没有 PDB 的抢占是无底线中断,有 PDB 的抢占是可计价的谈判。

抢占的频率与代价权衡

抢占的频率是可观测的(第 5.2 节的优先级表、节点压力监控)。频率的合理区间取决于代价权衡:

抢占频率信号该做什么
罕见(偶发竞争)正常抢占在兜底
频繁(持续竞争)资源长期不足扩容/预留,别靠抢占
极频繁(风暴)优先级设计失衡调优先级梯度、加 Never

一个判断基准:如果抢占成为常态而不是例外,说明架构有问题——资源规划、优先级设计、隔离手段三者至少有一个失衡。抢占设计成「最后手段」,它的存在不是让你依赖它,而是让系统在偶发竞争时不至于崩溃。

把 5.1 节到本节的代价拆解串起来:触发条件压掉「无关抢占」,受害者选择压掉「过度驱逐」,异步化压掉「同步阻塞」,PDB 压掉「无底线中断」,频率监控暴露「架构失衡」。抢占的可容忍性是一层层设计叠出来的,不是靠调度器一个开关。

三个常见误解

  • 「Pod 调度失败就会抢占」——错误。抢占有严格前置:资源不足类失败 + 优先级够高 + PreemptLowerPriority。label 不匹配、污点不容忍这类失败不会触发抢占。
  • 「抢占是同步的,高优先级 Pod 立刻顶替受害者位置」——错误。抢占先提名 + 异步驱逐,高优先级 Pod 回队列等受害者真正退出(事件触发重试)后才绑定。不是插队,是等位。
  • 「受害者按资源最大者先驱逐」——错误。第一排序是优先级最低;只有同优先级才看资源大小。一个占 1 资源的高优先级 Pod 永远不会被先于占 10 资源的低优先级 Pod 驱逐。

抢占的分布式本质

把抢占放回分布式系统视角:抢占是调度器对「资源竞争」的集中仲裁。它不做本地协商(节点不会「自己决定赶走谁」),而是由唯一持有全局优先级视图的调度器做全局决策。这又一次体现 1.1 节的定位:需要全貌的决策集中在调度器,节点只执行。抢占决策的全貌 = 所有节点的运行 Pod + 全局优先级表。

一句话总结本节

抢占流程与受害者选择收成三个要点:

  • 触发严格:资源不足类失败 + 优先级够高 + PreemptLowerPriority 三个前置,缺一不可。
  • 流程是异步的:提名 nominatedNode → 异步驱逐受害者 → 回队列等事件重试——不是同步插队,是等位。
  • 受害者选择:优先级最低优先、同优先级资源大者优先、够用即停——「破坏最小化」的两个维度。

PDB 是抢占最重要的保护:自愿中断必须尊重可用性底线。下一节讲优先级的分布式协调——PriorityClass。

抢占流程时序

抢占的完整时序(从失败到绑定)按序走:

  1. Filter + Score 全失败(资源不足类原因)。
  2. 检查优先级与 preemptionPolicy(够高且允许抢占)。
  3. 各节点跑抢占模拟:选受害者、算驱逐后剩余量。
  4. 选「破坏最小」的节点,设 nominatedNodeName。
  5. 异步驱逐受害者(尊重 PDB 与优雅终止)。
  6. 高优先级 Pod 回队列,受害者删除事件触发重试。
  7. 资源释放后重新调度,绑定成功。

关键在第 5-6 步的异步:驱逐与绑定之间隔着事件循环,不是同步顶替。

本节 lab

本节把受害者选择落到 preempt/preempt.go:SelectVictims 实现「优先级升序 + 同优先级资源大者优先 + 驱逐到满足」:

cd private/labs/k8s-sched-lab
go test ./preempt -run 'TestSelectVictimsLowestFirst|TestSelectVictimsSamePriorityBiggerFirst|TestSelectVictimsInsufficient|TestSelectVictimsNoLowPriority' -v

四个用例覆盖本节核心:TestSelectVictimsLowestFirst(先驱逐最低优先级)、TestSelectVictimsSamePriorityBiggerFirst(同优先级选资源大的)、TestSelectVictimsInsufficient(驱逐全部仍不够返回失败)、TestSelectVictimsNoLowPriority(没有更低优先级受害者返回失败)。这正是「优先级第一、资源第二、够用即停」的精确验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图