5.2 PriorityClass 的分布式协调
5.1 节的抢占按「优先级」选受害者——但「优先级」到底存哪?它不是一个 Pod 里写个数字就完事的。K8s 的答案是:优先级是集群级的共享配置,由 PriorityClass 全局对象统一定义,Pod 通过名字引用。
这个设计是典型的分布式协调:调度器、每个 kubelet、所有控制器都要读优先级,若每个 Pod 自带随意数字,全集群就没有一致的排序依据。本节拆 PriorityClass 的模型、preemptionPolicy 的全局语义,以及优先级在调度决策的三个环节如何被消费。
PriorityClass:全局优先级表
PriorityClass 是集群级(非命名空间)对象:
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: high-priority
value: 1000000
preemptionPolicy: PreemptLowerPriority
globalDefault: false
要点:
- value:优先级数值。1-10 亿之间,越大越优先。调度器、kubelet 都读它。
- globalDefault:若为 true,未引用任何类的 Pod 默认用这个值。
- preemptionPolicy:
PreemptLowerPriority(默认,可抢占)或Never(永不抢占)。
Pod 引用它:
spec:
priorityClassName: high-priority
priority: 1000000 # 由调度器填写的解析结果(用户不直接写)
名字 → 数值的解析由控制面完成:调度器读 PriorityClass informer(1.2 节),把 priorityClassName 解析成 spec.priority。lab 的 Registry.Resolve 就是这个解析:Resolve("high-priority") → 1000000,未注册名回退 0。
为什么优先级要「集中定义」
优先级若每个 Pod 直接写数字,会有两个分布式问题:
- 不一致:不同用户对「高」的理解不同(有人写 100,有人写 1000000),调度器没法可靠地比较。
- 不可管理:改策略(比如「所有高优先级 Pod 降低一档」)要逐个改 Pod。
PriorityClass 把数值表集中:全集群只有一个权威来源,所有 Pod 引用同一张表。改策略 = 改类定义,一次生效。这正是「配置即协调」——用共享配置对象替代协议协商,是 K8s 里最常见的分布式协调手段(卷二里 PriorityClass 同级的还有 StorageClass、RuntimeClass)。
preemptionPolicy:谁能抢占,全局一致
preemptionPolicy 是优先级协调里最微妙的部分:它不是「这个 Pod 值多少分」,而是「这个 Pod 允不允许抢占别人」:
PreemptLowerPriority(默认):可以抢占,优先级低于它的 Pod 都是潜在受害者。Never:永不抢占——即使它优先级很高,调度失败也不会驱逐别人。
为什么需要 Never?有些高优先级工作不应该打断正在运行的工作——比如刚处理完一批数据的批处理任务、一次性的关键迁移任务。让它们声明「别为了我打断别人」,是对「优先级即特权」的主动约束。lab 的 CanPreempt 就是这条:PreemptionPolicy != "Never" 才允许抢占。
注意一个不对称:Never 只禁「主动抢」,不禁「被抢」——一个 Never 的 Pod 若优先级低,照样可能被更高优先级的 Pod 驱逐。抢占策略是单向的。
优先级进入调度决策的三个环节
优先级不是只在抢占时用。它贯穿调度的三个环节:
| 环节 | 优先级的作用 | 章节 |
|---|---|---|
| 队列排序 | ActiveQ 按优先级降序 pop,高优先级先调度 | 2.2 |
| 抢占触发 | 调度失败时判断是否有资格抢占、受害者按优先级选 | 5.1 |
| 运行期 | NoExecute 驱逐、节点压力驱逐按优先级后驱逐(第 9 章) | 9.2 |
同一份数值在「先调度、可抢占、后驱逐」三个环节被消费——优先级是调度到运行全链路的统一排序依据。这就是「分布式协调」的意义:一个全局一致的值,全链路一致地使用。
优先级与 QoS 的边界
优先级(priority,调度语义)与 QoS(服务质量,运行时语义,第 9 章)是两个正交维度,常被混淆:
| 维度 | 决定什么 | 谁消费 |
|---|---|---|
| 优先级 | 谁先调度、谁能抢占 | 调度器 |
| QoS | 资源耗尽时谁先被驱逐 | kubelet(节点压力) |
一个 Pod 可以「高优先级 + BestEffort QoS」——调度时插队,但节点内存紧张时先死。也可以「低优先级 + Guaranteed QoS」——慢慢排,但一旦跑起来最稳。别用优先级表达 QoS,反之亦然——它们是两个坐标系,第 9.2 节会再展开驱逐排序。
优先级风暴:协调失败的代价
集中定义优先级能防乱,但数值设计不当会引发抢占风暴:
- 把系统组件(如控制器、kubelet 相关的关键 Pod)设成超高优先级,它们一旦调度失败就抢占业务 Pod。
- 多套系统都声明「我最高」,抢占变成「看谁晚声明」。
K8s 的缓解:给关键系统 Pod 设一个合理的高值而非极端值,用 Never 禁抢不需要抢占的工作,避免数值军备竞赛。优先级表是集群的政治,集中定义反而要求更谨慎的设计。
优先级数值的设计空间
value 的取值范围是 1-10 亿(math.MaxInt32 - 1 以内)。怎么分档,是集群的优先级政治。一套常见设计:
| 档位 | 数值范围 | 用途 |
|---|---|---|
| 系统关键 | 900000000+ | 控制面组件、系统 daemon |
| 高优先业务 | 1000000+ | 核心交易、在线服务 |
| 普通业务 | 100000-999999 | 一般无状态服务 |
| 低优先 | <100000 | 批处理、离线任务 |
设计要点:
- 档位之间留出量级差:至少 10 倍,避免「多套系统都在 90 万附近」无法区分。
- 系统组件用『高而不过高』:太高会让系统 Pod 抢占业务;太低会被业务抢占。
- 新增档位走评审:优先级表是全集群契约,改它是变更不是调参。
一个好的优先级表让「插队」变得可预期:高优先级业务插到普通业务前面,但不会插到系统组件前面。数值设计 = 集群的可用性层级声明。
优先级与命名空间的隔离
优先级是集群级资源,但 Pod 在命名空间里——优先级默认跨命名空间生效:
high-priority类可以被任何命名空间的 Pod 引用。- 命名空间 A 的高优先 Pod 可以抢占命名空间 B 的低优先 Pod——优先级无视命名空间边界。
这带来隔离问题:一个命名空间滥用高优先级类,会抢占其他命名空间的工作。缓解手段:
- 用 ResourceQuota(命名空间级)限制资源,间接限制「能抢多少」。
- 用 优先级类的准入限制(只允许特定用户引用特定类)控制谁能用高优先级。
- 需要硬隔离的命名空间,用专用节点池(污点)物理隔离——3.2 节的机制。
优先级「全局一致」的语义既是力量也是风险:一致排序保证公平,但跨空间生效需要访问控制来收口。这是「共享配置做协调」必须配套治理的典型。
PriorityClass 的准入与默认值
PriorityClass 的全局语义需要一个「默认值」的细节:globalDefault。
- 只有一个 PriorityClass 能把
globalDefault: true——它是未声明优先级类的 Pod 的兜底值。 - 没有设置
globalDefault时,未声明类的 Pod 优先级为 0——最容易被抢占。
这带来两个运维要点:
- 给系统组件设一个合理的高优先级,否则它们(未声明类,优先级 0)会被业务 Pod 抢占——这是「系统组件莫名被驱逐」的常见原因。
- 全局只有一个默认类,改默认值会影响所有未声明类的 Pod——变更影响面大,需谨慎。
准入侧:K8s 还允许用 scheduling.k8s.io/v1 的准入控制限制谁可以引用高优先级类(globalDefault 的管理也要权限)。优先级是权限的一部分——能让 Pod 插队是特权,控制谁能拿到这个特权是治理职责。
三个常见误解
- 「优先级是 Pod 自己写的数字」——错误。用户写的是
priorityClassName(名字);priority数值由控制面解析填充。直接改spec.priority是不稳定行为(会被调度器覆盖)。 - 「
Never策略的 Pod 不会被驱逐」——错误。Never只禁「主动抢占」;它作为低优先级 Pod 时照样可能被高优先级抢占,节点压力驱逐也照常。 - 「优先级只在抢占时有意义」——错误。队列排序、抢占、运行期驱逐三处都用同一份优先级值。优先级是「从调度到运行的全链路排序依据」。
从 PriorityClass 看分布式协调模式
PriorityClass 是卷三里「共享配置对象做协调」的典型样本,和第 6 章拓扑约束、第 11 章 HPA 目标一样:用 apiserver 里的配置对象表达集群级意图,各组件 watch 它、各自消费。这套模式贯穿卷三——不是各组件自己商量,而是所有人读同一份声明。这与卷二「声明式 API」的哲学完全一致:期望状态集中声明,系统向它收敛。
一句话总结本节
PriorityClass 的分布式协调收成三个要点:
- 集中定义:优先级是集群级共享配置,Pod 引用名字、控制面解析数值,全链路一致消费(队列排序、抢占、驱逐)。
- preemptionPolicy 单向语义:
Never禁主动抢占,但作为低优先级仍可被抢、被驱逐。 - 与 QoS 正交:优先级管「谁先调度/谁能抢占」,QoS 管「资源耗尽时谁先死」——两个坐标系。
优先级表是集群的政治,数值设计需谨慎(梯度、系统组件合理高值、访问控制)。下一节讲抢占的代价与可容忍性。
本节 lab
本节把优先级协调落到 preempt/priority.go:Registry.Resolve(名字 → 数值)、CanPreempt(抢占策略):
cd private/labs/k8s-sched-lab
go test ./preempt -run TestPriorityClassResolve -v
TestPriorityClassResolve 覆盖:Resolve("critical") → 100000、未注册名回退 0、PreemptLowerPriority 允许抢占、Never 禁止抢占。这正是「名字解析到全局一致数值、抢占策略单向生效」的最小验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。