《Kubernetes 分布式系统原理深入解析》9.2 节点压力驱逐排序与阈值

节点压力驱逐是 kubelet 在节点内存、ephemeral-storage、PID 等资源告急时的主动清理:硬阈值立即执行,软阈值给宽限期。驱逐按 QoS 从低到高、同 QoS 内按优先级与超用程度排序,并尊重 PodDisruptionBudget 保护。本节讲阈值、排序键与驱逐策略的取舍。lab 用 qos 包验证驱逐顺序、优先级、刚够即停与 PDB 保护。

9.2 节点压力驱逐排序与阈值

9.1 节定义了 QoS 分类,本节看它的第一个执行器:kubelet 的节点压力驱逐。当节点内存、临时存储或 PID 告急,kubelet 不是随机清理,而是按一套明确顺序驱逐 Pod,直到压力解除。本节讲压力类型、阈值、排序键,以及驱逐与 PDB 的交互。

节点压力类型

kubelet 驱逐管理器监视多类节点压力信号,每类对应一个可被触发的「资源告急」:

信号含义典型诱因
memory.available节点可用内存内存耗尽、缓存不可回收
nodefs.available根文件系统剩余(ephemeral-storage)日志、emptyDir、容器镜像增长
nodefs.inodesFree根文件系统 inode 剩余海量小文件耗尽 inode
imagefs.available镜像文件系统剩余镜像堆积、层下载
imagefs.inodesFree镜像文件系统 inode 剩余同上
pid.available可用 PID 数进程泄漏、线程暴涨

内存是最常见的驱逐触发者,但临时存储的驱逐在日志不受控的集群里同样频繁——emptyDir 与容器日志不设上限,一夜之间能把 nodefs 撑到驱逐线。

不同运行时下信号的意义有差别:PID 信号主要在 Linux 上生效(pid.available 依赖 cgroup 的 PID 控制器);imagefs 只在镜像与工作负载分盘时独立存在(共用一块盘时它和 nodefs 合并)。配置驱逐前先搞清楚节点的磁盘与运行时布局,否则你会为一个根本不存在的信号设阈值,或漏掉真正会爆的信号。

evictionHard 与 evictionSoft

阈值分硬软两档,行为截然不同:

属性硬阈值(evictionHard)软阈值(evictionSoft)
触发超过阈值立即驱逐超过阈值后等宽限期
宽限无evictionSoftGracePeriod(默认如 1m–1m30s)
可恢复性不可协商压力回落可撤销
典型默认memory 100Mi、nodefs 10%需显式配置

kubelet 默认只开硬阈值;软阈值是给「能短暂扛一下」的集群用的——它把「过线就杀」改成「过线先看一会儿」。软宽限期满了仍超线,照样驱逐;宽限期内回到阈值以下,风平浪静。软阈值的价值在于吸收瞬时抖动:流量尖峰让内存短暂过线,不必立刻牺牲一批 BestEffort Pod。

一个典型的软阈值配置场景:缓存类节点,内存水位在「正常」与「临界」之间来回波动。设 evictionSoft 的 memory.available<1Gi + 宽限期 1m30s,短于宽限期的尖峰直接被吸收;连续超过 90 秒才动手驱逐。代价是节点要预留 1Gi 的软阈值缓冲——软阈值本质是「用容量换耐心」。

驱逐排序:QoS → 优先级 → 超用

驱逐选择受害者有严格的顺序,这正是 9.1 节分类的用武之地:

第一键:QoS 从低到高(BestEffort → Burstable → Guaranteed)
第二键:同 QoS 内,Pod 优先级从低到高(PriorityClass 值小者先)
第三键:同优先级内,内存超用(usage − requests)多者先

三个排序键覆盖三个维度:QoS 定「类」,优先级定「类内」,超用定「同类同级里先牺牲谁」。驱逐按这个顺序累积释放内存,直到满足阈值需求。

一个排序演算让规则具体化。节点上四个候选:A(BestEffort,Priority 1000,超用 200Mi)、B(BestEffort,Priority 100,超用 50Mi)、C(Burstable,Priority 1000,超用 300Mi)、D(Guaranteed,Priority 0,超用 0)。第一键 QoS 分组得 [A, B] → [C] → [D];第二键同组内按优先级得 [B, A](B 优先级低先);第三键 C 已是组内唯一。最终驱逐顺序为 B → A → C → D——注意超用更大的 A 排在 B 后,因为优先级键优先于超用键。

这套演算也解释了「该给谁设 PriorityClass」:在 QoS 相同的前提下,优先级是唯一的排序抓手。把关键服务设成高优先级,能让它在同类 QoS 内排到后面;但跨 QoS 时,类别键不可逾越——想要最强保护,仍要把关键服务做成 Guaranteed。

「刚够即停」是驱逐的另一条纪律:不是把受害者一路杀到干净,而是释放到压力解除就停——目标是让节点回到阈值之上,不是清空节点。这决定了驱逐次数最小化,避免「杀过头、白折腾」。

三个排序键的执行有个顺序细节:先按 QoS 分类整体排序,再在同一类里插入优先级,最后在相同优先级里按超用排。它不是三个独立队列,而是一条嵌套排序。实际效果举例:一个高优先级的 Burstable Pod(Priority 10000)仍会排在低优先级的 Guaranteed Pod(Priority 10)之前——类别键的优先级高于优先级键,QoS 的「类差」是不可跨越的第一门槛。

imagefs 与 ephemeral-storage 的分别

镜像与临时存储共用节点磁盘,但在驱逐里是两个信号、两条路径:

维度imagefsnodefs(ephemeral)
装什么容器镜像与层根文件系统、容器可写层、emptyDir、日志
谁在用镜像拉取与垃圾回收运行中的 Pod 与系统
驱逐动作驱逐容器 + 删除无镜像驱逐 Pod,回收其 ephemeral-storage

设计上一个节点两个分区(镜像盘 + 工作盘)时,imagefs 压力主要靠「删镜像、回收层」解决,nodefs 压力才需要驱逐 Pod。分不清这两个信号,就会在「该清镜像」的时候驱逐了业务 Pod——白白中断流量。

镜像清理有「孤儿镜像回收」与「按生存期淘汰」两条路径,配合 imageGCHighThresholdPercent / imageGCLowThresholdPercent 的百分比区间工作。镜像 GC 先于驱逐介入,它把 imagefs 压力消化在「删镜像」这一层,只有删不动(inode 耗尽等)才轮到驱逐容器。

与 PodDisruptionBudget 的交互

驱逐与 PDB 的关系是「受保护者不被优先牺牲」:一个带 PDB 的 Pod,如果驱逐它会违反 minAvailable(可用副本数底线),kubelet 会跳过它,去选下一个受害者。

PDB 状态驱逐行为
Pod 不在 PDB 内正常参与排序
Pod 在 PDB 内且驱逐不破底线正常参与排序
Pod 在 PDB 内且驱逐会破底线跳过,选下一个
全部候选都受保护驱逐失败,压力持续

一个具体例子:某服务 3 副本,PDB minAvailable: 2。节点压力触发驱逐时,若 3 个副本都在同节点,驱逐第一个不会破底线(还剩 2 可用),照常驱逐;等它被驱逐后再来压力,剩下 2 个副本若再驱逐一个就只剩 1——此时 kubelet 跳过它们,改选其他 Pod。

注意 PDB 不是「豁免证」:它保护的是「可用副本数不破底线」,不是「这个 Pod 永不被驱逐」。压到一定程度,PDB 内的 Pod 也可能成为最后的牺牲者——PDB 改变顺序,不取消驱逐。这是「可用性底线」与「节点存活」之间的最后一道平衡。

设计 PDB 的三条经验:minAvailable 设成「可用副本数的业务底线」而不是「舒服数」;把同一服务的副本尽量分散到多节点(第 6 章拓扑分布),让单节点驱逐不集中伤害它;PDB 要与驱逐排序一起看——BestEffort 的 PDB 再好看,节点压力来时也挡不住「全节点候选耗尽」的结局。

与内核 OOM 的区别

驱逐和 OOM 都在节点内存紧张时出手,但机制完全不同:

维度主动驱逐内核 OOM
决策者kubelet(用户态)内核(系统态)
顺序QoS → 优先级 → 超用oom_score(内存占用 + adj)
优雅性有(PreStop、terminationGracePeriod)无(直接 SIGKILL)
可预测可配置、有事件记录瞬时、事后才知道
触发对象节点级压力信号单个 cgroup 超限或节点耗尽

最本质的差别在「谁能决定顺序」:驱逐的顺序由策略(QoS/优先级/PDB)决定,OOM 的顺序由内核的内存占用统计决定。策略顺序是设计出来的,内核顺序是统计出来的——前者可调可预测,后者只能事后归因。

9.3 节会深挖这个对比;本节先记住结论:驱逐是「策略优先」的主动清理,OOM 是「系统兜底」的被动杀戮。驱逐存在,正是为了把 OOM 挡在最后一道防线之后。

驱逐阈值参考表

给一份可对表的默认硬阈值(kubelet 缺省值,不同版本有微调):

信号默认硬阈值说明
memory.available< 100Mi节点可用内存低于 100Mi
nodefs.available< 10%根文件系统剩余不足 10%
nodefs.inodesFree< 5%inode 不足 5%
imagefs.available< 15%镜像盘剩余不足 15%

阈值触发的瞬间,节点会带 MemoryPressure、DiskPressure、PIDPressure 等压力条件——kubectl describe node 的 Conditions 里直接可见,这也是调度器给节点加对应污点(taint)的依据:压力中的节点不再接收新 Pod,先消化存量。

调阈值是容量治理的一部分:内存阈值太低,驱逐触发太晚、OOM 抢跑;太高,节点利用率上不去。阈值与 8.2 节的超卖比、8.3 节的 eviction-threshold 预留是一套系统——把节点内存的 10% 留给驱逐余量,是常见的安全设计。

注意阈值有「绝对值」与「百分比」两种写法:--eviction-hard=memory.available<500Mi 是绝对值,nodefs.available<10% 是百分比。绝对值适合内存(容量已知),百分比适合磁盘(随规格缩放)。混合配置时要先想清楚节点规格分布——一套绝对阈值用在 16Gi 与 128Gi 两种节点上,给前者留的余量比例远高于后者。

驱逐的生命周期与优雅退场

选定了受害者,驱逐不是「杀掉」而是「走流程」,完整链条:

kubelet 检测压力超阈值
→ 按排序选受害者
→ 调用 API 删除该 Pod(记录 Evicted 事件)
→ 容器收到 SIGTERM,PreStop hook 执行
→ terminationGracePeriod(默认 30s)内自行退出
→ 超时未退,kubelet 发 SIGKILL

驱逐的核心价值就在这一段「SIGTERM → 优雅退出」:应用可以排空请求、写检查点、关连接。相比内核 OOM 的直接 SIGKILL,驱逐给应用留了生存的窗口。

两条运维要点:terminationGracePeriod 要按「排空耗时」设,不是默认 30s 拍脑袋——一个要 90s 排空的支付服务,30s 默认值等于没给宽限。PreStop hook 里别做阻塞操作,否则优雅退场变成卡死,最后仍被 SIGKILL 兜底。

驱逐后的事件链也值得盯:Evicted 事件表示「被驱逐」,而 Failed 表示「退出失败」。被驱逐的 Pod 会被控制器重新创建,但它默认没有容忍该节点压力污点——若节点仍带 MemoryPressure 污点,重建的 Pod 会留在 Pending 直到压力解除。驱逐的余波是「重建队列」,不是「立刻恢复」,容量规划要把这一点算进去。

三个常见误解

  • 「驱逐只在内存不足时发生」——错误。ephemeral-storage、PID、inode 告急都会驱逐。日志与 emptyDir 失控是隐蔽的驱逐源,常被误诊为「Pod 无故被杀」。
  • 「软阈值一到就驱逐」——错误。软阈值给宽限期,压力回落就不驱逐;只有宽限期满了仍超线才动手。误把软阈值当硬阈值报警,会制造恐慌。
  • 「Guaranteed 的 Pod 永不驱逐」——错误。Guaranteed 只是排最后,节点压力持续、候选耗尽时它一样被驱逐。PDB 保护也一样——它改顺序,不取消结局。

一句话总结本节

节点压力驱逐是 kubelet 对稀缺资源的主动治理:硬阈值立即动手、软阈值给宽限;受害者按 QoS → 优先级 → 超用的顺序选出,刚够即停;PDB 改变顺序而不取消驱逐。它比内核 OOM 可预测、可配置、可优雅——下一节对比二者,并把「为什么驱逐要先行」讲透。先把本节挂在心上的那个结论带走:驱逐的一切设计,都是为了让「牺牲」可控、可预期、有退场流程。

本节 lab

本节把「驱逐顺序、优先级、刚够即停、PDB 保护」落到 qos/qos.go 的 MemoryEvict:

cd private/labs/k8s-sched-lab
go test ./qos -run 'TestEvictionOrderQoS|TestEvictionRespectsPriority|TestEvictionStopsAtNeed|TestEvictionSkipsProtected' -v

四个用例钉住本节四个结论:TestEvictionOrderQoS 验证 BestEffort 最先被选;TestEvictionRespectsPriority 验证同 QoS 内低优先级先驱逐;TestEvictionStopsAtNeed 验证 need=60 时只驱逐一个就停、总释放不够时返回失败;TestEvictionSkipsProtected 验证受保护 Pod 被跳过、改选下一个。qos 包共 7 个用例,全部通过。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图