《Kubernetes 分布式系统原理深入解析》9.3 主动驱逐 vs 内核 OOM

主动驱逐是 kubelet 的理性决策——有序、可配置、给优雅退场;内核 OOM 是系统的最后手段——按 oom_score 瞬间杀进程、可能杀错。本节对比二者本质,讲 OOMKilled 的判定信号与 cgroup 触发路径,以及为什么驱逐要先于 OOM、二者如何协同兜底。lab 用 qos 包验证主动驱逐的有序性与 PDB 保护——这正是 OOM 所缺的。

9.3 主动驱逐 vs 内核 OOM

前两节讲了驱逐的排序与阈值,本节站在更高的视角回答一个总被混淆的问题:驱逐(eviction)与 OOM 到底有什么本质差别,为什么系统宁可驱逐也不让 OOM 发生? 一句话先立论:主动驱逐是『按策略牺牲』,内核 OOM 是『按统计杀戮』。前者可预测、可配置、可优雅,后者瞬时、随机、无退场。

主动驱逐:kubelet 的理性决策

9.2 节的驱逐管理器,本质是 kubelet 里一个周期性的决策循环:

每 10s 检查一次节点压力信号
→ 超过阈值?
→ 是:按 QoS → 优先级 → 超用 选受害者
→ 驱逐(记录 Evicted 事件、走优雅退场)
→ 压力回到阈值以下即停

它是「理性」的,因为每一步都可解释:为什么是它(排序键)、为什么现在(阈值)、为什么停止(刚够即停)。主动驱逐的全部设计目标,是让『牺牲谁』从随机事件变成策略决策。运维可以提前算出「这个节点内存爆了,先死的一定是那批 BestEffort 批处理」。

驱逐的「理性」还体现在它给操作留了抓手:PodDisruptionBudget 能保护关键负载、PriorityClass 能在同类内调顺序、阈值与宽限期能控制触发时机——整条决策链都是运维可编程的。这是它与内核 OOM 最根本的分野:内核不给配置项,只给统计结果。

内核 OOM:系统的最后手段

内核 OOM killer 是另一套逻辑,它只在「内存真的不够分」时启动:

某个进程/容器申请内存失败
→ 内核进入 OOM 路径
→ 按 oom_score 选一个进程
→ SIGKILL(立即、无协商、无优雅)

触发点不是「节点压力信号」,而是一次具体的内存分配失败。它不关心「谁重要谁不重要」,只按 oom_score = 内存占用估算 + oom_score_adj 选「最好杀」的目标。它是保障系统不冻结的最后手段,不是资源治理的常规工具。

oom_score 与受害者选择

内核怎么决定「杀谁」?关键在 oom_score_adj,它在容器创建时按 QoS 写入:

QoSoom_score_adj被杀优先级
BestEffort1000最优先
Burstable2–999(按超用比例)中等
Guaranteed-998最后
系统进程(非容器)默认 0,可配视占用

oom_score 再叠加上内存占用估算。注意这里的「内存占用」不是 requests/limits,而是进程实际 RSS——一个占内存巨大的 Burstable 进程,可能比一个轻量的 BestEffort 更早被杀。OOM 的排序逻辑与驱逐的 QoS 排序不完全一致:驱逐只看声明与优先级,OOM 还会看实际内存。这正是「内核统计」与「策略设计」分歧的地方。

OOMKilled 的判定信号

容器被杀后,怎么确认死因是 OOM?一套明确的信号链:

信号位置含义
reason: OOMKilledkubectl describe pod 的 Last State容器因 OOM 被杀
exitCode: 137容器退出码128 + SIGKILL(9)
ContainerStatuses[].restartCountPod 状态被 OOM 后重启次数
kernel: Out of memory节点 dmesg/系统日志内核 OOM 记录

OOMKilled 不等于节点内存不足——它可能只是这个容器自己超过了 limits(cgroup 层 OOM)。判定信号只告诉你「被杀的方式」,根因还要回到 9.2 节的两类压力去查。这也是 9.2 节强调「分不清两种压力就找错根因」的延续。

cgroup 内存限制触发 OOM 的路径

当容器超过自己的 limits.memory,OOM 的路径是 cgroup 级的:

容器 cgroup 内内存分配 → memory.max 被触及
→ 先尝试回收页缓存(memory.stat 的 file)
→ 回收不掉 → 内核在该 cgroup 内选进程杀
→ 只杀这个 cgroup 里的进程,不伤邻居

这条路径的关键是故障隔离:cgroup 把 OOM 圈在容器内。一个内存泄漏的容器超限,OOM 只在它的 cgroup 里挑进程,同节点的其他容器与 kubelet 不受连累。limits 的价值在此刻显形——它是把「一个人闯祸」变成「一个人买单」的边界。

与之对比,节点级 OOM(整节点内存耗尽)会在所有进程里挑目标,包括 kubelet、系统守护进程。这正是集群管理者最怕的场景:系统组件被杀,节点进入恶性循环。驱逐存在的意义之一,就是把节点内存压力在「进入节点级 OOM」之前消化掉。

cgroup 内选谁还有个细节:OOM killer 在同一 cgroup 里按 oom_score 选,而容器内进程的 oom_score_adj 由容器运行时统一设置——所以经常出现「杀的是 cgroup 里内存最大的子进程」而非主进程。容器主进程没被直接杀,但整个容器已处于病态;restartCount 与容器退出码才是可靠的判定信号,不能只看「主进程还在」。

驱逐与 OOM 的边界在这里再次显形:驱逐删除整个 Pod(连带容器统一退场),OOM 只杀 cgroup 内的个别进程(Pod 处于半死不活状态)。这也是为什么很多团队宁要驱逐的「整体性」,也不要 OOM 的「局部性」。

为什么驱逐要先于 OOM

把两者放到同一场内存危机里,驱逐为什么必须先行:

理由驱逐OOM
顺序可控QoS → 优先级 → 超用oom_score + RSS
优雅退场SIGTERM → PreStop → 宽限SIGKILL 瞬间
保护机制PDB、优先级可干预只能靠 oom_score_adj
后果可预测Evicted 事件、重建队列事后归因

驱逐是「有计划地降载」,OOM 是「失控地失血」。驱逐先行动,节点压力先被计划性地缓解;只有驱逐来不及(单容器突发超限、压力爬升太快)时,OOM 才兜底。理想状态下,OOM 事件应该是「零」——每一起 OOMKilled 都说明驱逐或容量规划慢了半拍。

用同一个事故推演两种结局:节点 16Gi 内存,压力爬到只剩 200Mi,需要释放 2Gi。驱逐路径——选出 4 个 BestEffort 批处理 Pod,各释放 500Mi,走 SIGTERM 优雅退出,控制器的重建队列稍后恢复,节点回到安全水位,事件链全程可查。OOM 路径——内存分配继续失败,内核按 oom_score 先杀最大的进程,可能是某个批处理,也可能是个凑巧内存涨起来的在线缓存,瞬间 SIGKILL,无退场、无事件预告,事后只能从 dmesg 反推。两条路径释放的内存一样,代价却完全不同。

监控信号

治理两套机制,监控也要两套:

关注点信号动作
驱逐活动Evicted 事件计数节点压力反复 → 查容量/超卖比
OOM 活动OOMKilled + restartCount单容器反复 OOM → 查 limits/泄漏
节点水位memory.available、压力条件预警驱逐即将触发
cgroup 明细memory.current vs anon区分可回收与不可回收
内核事件dmesg OOM 记录节点级 OOM 排查

告警分层:驱逐事件是「正在发生」信号,即时关注;OOMKilled 是「已经出错」信号,需要根因调查;节点水位是「将要发生」信号,接容量趋势看板而不是即时告警。

再给一条实践判据:同节点反复出现 OOMKilled 且驱逐事件稀疏,先怀疑 cgroup 限得过紧——单容器反复撞自己的 limits,是 limits 设置问题,不是节点容量问题。反之,驱逐事件密集但 OOM 少,说明驱逐机制正常工作,问题在容量或超卖比——该看 8.2 节的分配比与信用空间,而不是调 OOM 参数。

两者如何协同兜底

最后把协同关系画成一张流程图式的地图:

节点内存正常 → 无事
内存持续下滑 → 软阈值宽限期 → 回落则无事
过宽限期仍低 → 驱逐开始(按排序)
驱逐仍压不住 → 单容器先撞 limits → cgroup OOM(隔离在容器内)
节点级耗尽 → 内核全节点 OOM(最后的最后,可能伤系统组件)

每一层都是上一层的失败兜底:软阈值兜住抖动、驱逐兜住节点压力、cgroup OOM 兜住单容器失控、节点级 OOM 兜住整机冻结。设计的优劣在于把问题尽量拦在前面——理想集群里,大多数内存危机应该在驱逐层解决,OOMKilled 应该是偶发而非常态。

对比表

把全文的核心差异收成一张总表:

维度主动驱逐内核 OOM
决策者kubelet(用户态,周期检查)内核(系统态,分配失败时)
触发条件节点压力信号超阈值内存分配失败
排序键QoS → 优先级 → 超用oom_score(RSS + adj)
优雅性SIGTERM + PreStop + 宽限SIGKILL,瞬间
保护机制PDB、优先级、刚够即停仅 oom_score_adj
作用域节点级,删除 Podcgroup 级或节点级杀进程
可观测Evicted 事件OOMKilled / dmesg
设计意图策略优先的降载防止系统冻结的最后手段

三个常见误解

  • 「OOMKilled 说明节点内存不足」——错误。更常见的是单个容器超过自己的 limits.memory,触发的是 cgroup 级 OOM,节点内存可能还很充裕。先看 kubectl describe pod,再看节点水位,两个信号分开归因。
  • 「设了 requests 就不会被 OOM」——错误。OOM 按 limits 与实时内存触发,与 requests 无关。requests 影响的是调度与驱逐排序,不构成内存免死金牌。
  • 「驱逐和 OOM 是同一件事的两种叫法」——错误。驱逐是策略决策(有序、优雅、可保护),OOM 是内核兜底(瞬时、统计排序、无退场)。把两者混为一谈,就失去了设计驱逐的所有理由。

一句话总结本节

主动驱逐与内核 OOM 的分工,是「让牺牲可控」与「让系统不冻结」的分工:驱逐把节点压力变成可预测的降载流程,OOM 只在失控时兜底。每一起 OOMKilled 都是驱逐与容量规划的迟到——治理的目标不是消灭驱逐(它合理),而是让 OOM 永远不成为常态。到这里,第 9 章的三节(分类、驱逐、OOM)收束成一条线:用声明分层,用驱逐降载,用 OOM 兜底。

本节 lab

本节用 qos 包验证「主动驱逐的有序性与保护机制,正是 OOM 所缺的」:

cd private/labs/k8s-sched-lab
go test ./qos -run 'TestEvictionSkipsProtected|TestEvictionOrderQoS' -v

TestEvictionOrderQoS 验证 BestEffort 最先被选(策略排序);TestEvictionSkipsProtected 验证受 PDB 保护的 Pod 被跳过、改选下一个(保护机制)——这两个特性,内核 OOM 都不具备:它既没有 QoS 排序,也不会因 PDB 放谁一马。这正是「驱逐比 OOM 先行的理由」的可运行证明。qos 包共 7 个用例,全部通过。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图