《Kubernetes 分布式系统原理深入解析》9.1 Guaranteed/Burstable/BestEffort 分类

QoS 分类由 requests/limits 的组合决定:全容器 requests==limits 是 Guaranteed,全未设置是 BestEffort,其余是 Burstable。分类是 Pod 级的,最弱容器决定整体待遇。本节讲三类在调度保证、驱逐优先、OOM 得分与 CPU 份额上的差异,以及 Guaranteed 与 CPU manager 的配合。lab 用 qos 包验证三种分类规则。

9.1 Guaranteed/Burstable/BestEffort 分类

第 8 章讲完了资源声明,本节回答一个总被低估的问题:Kubernetes 怎么决定「谁是主角、谁是配角」。QoS(Quality of Service)分类不写在任何 YAML 字段里,它完全由 requests/limits 的组合推导出来——但这三个字的等级,决定了调度保证、驱逐顺序、OOM 得分和 CPU 份额的全部待遇。

三分类的判定规则

判定只看「requests 与 limits 是否设置、是否相等」,规则极简:

类别判定条件直觉
Guaranteed每个容器都设置 requests 且 requests == limits「我说到做到」
BestEffort任何容器都没设置任何 requests/limits「我什么都不承诺」
Burstable其余一切情况「我承诺一部分」

关键在第三行:只要有一个容器不符合 Guaranteed 条件,整个 Pod 就是 Burstable。分类是 Pod 级的,容器的任何「不完美」都会把整艘船拉低一档。

Pod 级还是容器级:最弱环节决定

容器级声明、Pod 级分类——这个不对称是 QoS 最反直觉的地方。一个多容器 Pod:

容器 A:requests 1核/2Gi,limits 1核/2Gi   → 完美
容器 B:requests 500m/1Gi,limits 1核/2Gi → requests < limits
Pod 整体:Burstable(因为 B 拖累)

「最弱环节决定」意味着:把 sidecar 加进一个 Guaranteed 主容器里,整个 Pod 立刻降为 Burstable。这在实战中经常悄悄发生——为省事不给 sidecar 配 limits,主容器辛苦维持的 Guaranteed 就没了。设计多容器 Pod 时,要么所有容器一起 Guaranteed,要么接受整体 Burstable 并做好心理预期。

判定规则的边界:默认行为

判定前有一个隐性的默认步骤:容器设置了 limits 但没设 requests 时,Kubernetes 会把 requests 默认成 limits。这带来几个边界情形:

声明实际判定结果
只设 limits,无 requestsrequests 默认 = limits可判为 Guaranteed
只设 requests,无 limitsrequests 保留,limits 无限Burstable
全部不设无默认可套BestEffort
CPU 相等、内存留差一个维度不满足Burstable

所以「只设 limits」的容器意外可能是 Guaranteed——这不是 bug,是「limits 即承诺上限,承诺上限等于承诺要这么多」。默认行为让『写一半』比『全不写』更危险:你以为它只是没写 requests,系统却当它写了等于 limits 的 requests,调度余量被悄悄吃掉。

还有一个维度要补上:Guaranteed 要求 CPU 与内存两个维度都 requests==limits。CPU 相等但内存留差(requests 1Gi / limits 2Gi),整体就是 Burstable——「一维完美,全维度拉低」。排障时对着 kubectl get pod -o jsonpath='{.status.qosClass}' 看类别,再逐个容器核对两维资源声明,多数「为什么是 Burstable」的疑问当场就能解开。

三类在调度与运行的行为差异

三类在调度阶段几乎没有区别——调度器对所有 QoS 一视同仁地按 requests 判定。差异全部在运行期。换句话说,调度器只认 requests,不认 QoS;QoS 的差别要等 Pod 上了节点、开始争抢资源才显形。这也是为什么「QoS 是无形的」——你只在节点出压力时感受得到它。

运行期的差异集中在一张表:

维度GuaranteedBurstableBestEffort
调度保证高(requests==limits)中(部分保证)低(无保证)
CPU 权重按 requests 高权重按 requests 中权重低权重,抢不过
OOM 得分约 -998(几乎不被杀)2–999(按超用比例)1000(最先被杀)
驱逐顺序最后中间最先
内存突发空间无(==limits)有(requests~limits 之间)任意

OOM 得分的含义要单独强调:Guaranteed 的 -998 不是「不会死」,是「内核最后才选它」。它仍可能死——当整节点内存耗尽且它自己把 limits 用满时。但相比 BestEffort 的 1000,它是「排队最后的那个」,这一点的差距在内存紧张时是生死之别。

oom_score_adj 的数值口径值得记准:BestEffort 固定 +1000,Guaranteed 约 -998,Burstable 落在中间——系统按「(内存使用量 − requests) / limits」的比例在 2 到 999 之间给它打分。超用得越狠,分数越接近 1000,越接近 BestEffort 的待遇。这也是驱逐排序里「同类 QoS 内超用多者先」在内核侧的镜像——两套机制用同一个「超用程度」作为第二排序键。

CPU 权重口径也类似:cgroup v2 的 cpu.weight 由 requests 换算,权重越大在 CPU 争抢中分到越多。Guaranteed 的 1 核与 BestEffort 的 1 核声明的是同一个请求量,但前者有配额保护、后者只有权重——BestEffort 的 CPU 声明在争抢时不构成硬保证。

Guaranteed 与 CPU manager 的配合

QoS 不只是「待遇等级」,它还解锁机制。CPU manager 的 static 策略只对 Guaranteed Pod 生效:给它分配独占的核心,CPU 配额与 cpuset 完全对齐,延迟与缓存局部性最可控。

条件也很硬:

条件说明
容器 requests == limits(CPU)独占核要按整数分配,非整数核无法独占
requests 为整数核1、2、3… 独占;500m 只能共享
全部容器 Guaranteed任一个 Burstable,整体不享受静态策略

这就是「Guaranteed 解锁 CPU 独占」的链条:想要低延迟的确定 CPU,先把资源声明做成 Guaranteed。反过来,一个 500m 的 Guaranteed Pod 也无法独占核心——独占需要整数核,QoS 只决定「够不够格」,核心数决定「分不分得到」。

独占核心与配额保护的差别要分清:

机制提供的保证适用
配额保护(cpu.max)不超限,但与其他 Pod 争抢同核所有 QoS
独占核心(cpuset)独占物理核,无争抢仅 Guaranteed + 整数核 requests

低延迟服务要的是后者:不仅「不被限流」,还要「没有邻居」。static CPU manager 在 pod 级 cgroup 上把独占核与配额一并配置好,quota 与 cpuset 对齐后,节流统计基本归零——这是运行期性能可预测性的来源,而它的入口是 QoS 分类。

一个多容器 Pod 的分类示例

把规则连起来,跑一个完整示例。Pod 有主容器与日志 sidecar:

containers:
  - name: app
    resources:
      requests: {cpu: "1", memory: "1Gi"}
      limits:   {cpu: "1", memory: "1Gi"}
  - name: sidecar
    resources:
      requests: {cpu: "100m", memory: "64Mi"}   # 没设 limits

sidecar 有 requests 无 limits → 不满足「全容器 requests==limits」→ Pod 为 Burstable。后果:整体 CPU 份额按两个 requests 的权重算,CPU manager static 策略不适用,内存上它有一段「requests 到无限」的突发窗口。若把 sidecar 的 limits 补成与 requests 相等,整个 Pod 升为 Guaranteed——加一行 YAML,待遇全面升级。

把这个示例扩展成「修复前 vs 修复后」对比:

项sidecar 无 limits(Burstable)sidecar 补齐 limits(Guaranteed)
整体 CPU 份额按两容器 requests 权重分摊按保证量受配额保护
CPU manager不适用static 可用(若 requests 为整数核)
内存突发sidecar 可无限借内存无突发,各自圈定
OOM 得分整体按超用比例 2–999约 -998
驱逐优先级中等最低

结论:多容器 Pod 的 QoS 决策不是一个容器的取舍,而是整 Pod 的待遇设计。加日志 sidecar、网格代理这类「非业务容器」时,把它们的资源声明与主容器对齐,才能保住主容器的 Guaranteed。

QoS 与驱逐、OOM 的联动预告

本节先立结论,后两节展开机制:

机制GuaranteedBurstableBestEffort
节点压力驱逐(9.2)最后被驱逐中间最先被驱逐
内核 OOM(9.3)oom_score 最低按超用比例oom_score 最高
优先级叠加同 QoS 内再按 PriorityClass 排同左同左

QoS 定「类别顺序」,PriorityClass 定「同类内顺序」——两层排序各司其职。9.2 节的驱逐顺序表、9.3 节的 OOM 得分对比,都是这张表的展开。

一个实用的设计建议:别把 QoS 当「想当然的默认值」,当「声明的第一公民」。在集群里用 kubectl get pods --all-namespaces -o custom-columns=NS:.metadata.namespace,POD:.metadata.name,QOS:.status.qosClass 拉一张全景表,看看关键负载落在哪一档——这通常是资源治理的起点。

没有 QoS 会发生什么

用反事实思考设计动机:如果所有 Pod 不分层,内存紧张时谁先死?答案只能是「内存占用最多的进程」——而最占内存的往往是恰好把 requests 设大、正在处理峰值数据的那个。不区分 QoS,等于把「谁该死」交给瞬时内存占用这个随机变量。

QoS 要消灭的正是这种随机性:把「谁该死」变成「按承诺强度排序」的确定性规则。低承诺的 BestEffort 先牺牲,高承诺的 Guaranteed 最后牺牲——这是资源紧缺时的「最优化分配」,不是随机屠杀。QoS 本质是把稀缺资源的分配顺序显式化,让运维能预测、能设计、能靠 PriorityClass 二次调优。

这也是为什么驱逐(9.2)与 OOM(9.3)都坚持 QoS 排序:不排序的驱逐与内核 OOM 无异,排序才把系统决策变成策略决策。后续两节的所有机制,都是这行「按 QoS 分层」原则的执行器。

三个常见误解

  • 「QoS 是写在 YAML 里的字段」——错误。QoS 由 requests/limits 推导,YAML 里没有任何 qos 字段。想升 Guaranteed,就改资源声明,而不是找开关。
  • 「只设 limits 最省事,QoS 无所谓」——错误。只设 limits 可能被默认成 Guaranteed,也可能拖成 Burstable,取决于写了哪一半;省一行 YAML 的代价是待遇不可控。
  • 「Guaranteed 永远不死」——错误。Guaranteed 只是 OOM/驱逐排序里排最后,它把内存 limits 用满时依然可能被杀,只是系统会先牺牲别人。

一句话总结本节

QoS 是 K8s 给 Pod 分层的隐藏机制:Guaranteed 是「承诺即上限」的确定性,Burstable 是「承诺一部分」的弹性,BestEffort 是「无承诺」的随意性;分类是 Pod 级、最弱容器决定。三类待遇的差异在运行期展开,CPU manager 独占、驱逐顺序、OOM 得分都挂在 QoS 上——它值得你在设计负载时主动声明,而不是被动接受。下一节看节点压力来临时,这个分类如何转化为具体的驱逐顺序。

本节 lab

本节把「三种分类的判定规则」落到 qos/qos.go 的 Classify:

cd private/labs/k8s-sched-lab
go test ./qos -run 'TestClassifyGuaranteed|TestClassifyBestEffort|TestClassifyBurstable' -v

三个用例逐一钉住判定规则:TestClassifyGuaranteed 验证 requests==limits 判为 Guaranteed;TestClassifyBestEffort 验证全未设置判为 BestEffort;TestClassifyBurstable 验证 requests<limits 判为 Burstable——正是本节判定表的三行。qos 包共 7 个用例,全部通过。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图