《Kubernetes 分布式系统原理深入解析》8.2 超额分配与装箱效率

超额分配是用保证换密度:CPU 靠错峰与限流兜底可以超卖,内存不可超卖只能按峰值留。本节讲 overcommit 的动机与风险档位、装箱效率与碎片、以及分配量与实时用量的差距如何用指标观测。lab 用 resmodel 包验证超额分配比计算、贪心装箱填满第一个节点、超卖不等于调度放行。

8.2 超额分配与装箱效率

8.1 节确立了「requests 是保证、limits 是上限」的两阶段契约。本节追问:如果只按 requests 调度,节点会不会太闲? 答案通常是「会」——大多数工作负载的实际用量远低于它们的保证。把更多 Pod 塞进同一批节点,就是超额分配与装箱问题。本节讲动机、边界、指标与算法局限。

先给结论再展开:超卖是把「保证」打折卖给「密度」的交易。交易的合法性由 8.1 节的契约保证——CPU 超限会节流不杀、内存超限必杀,所以 CPU 可超卖而内存不可。下面四节分别讲动机、CPU 边界、内存红线,最后落到指标与算法。

超额分配的动机:成本 vs 空闲浪费

集群的成本由节点数量决定,而节点数量由「调度进去的 requests 总量」决定。若不超额分配,有两类浪费:

场景浪费来源量化直觉
按峰值规划每个 Pod 的保证远大于常态用量节点利用率常年 20–30%
按均值规划突发时资源不足、排队变慢高峰期服务质量下降

超额分配(overcommit)的本质是用保证做信用,赌「不会全部同时打满」。它把集群成本压下来,代价是把风险从「节点空置」转移给「运行期争抢」。

判断标准是业务可承受性:在线交易系统宁可空着也要余量,批处理与离线分析可以大胆超卖。超卖不是技术开关,是成本与风险的经营决策。

算一笔账让动机具体化:10 台 8 核 32Gi 的节点,50 个 Pod 平均 requests 为 0.4 核 / 1.6Gi,Σrequests 为 20 核 / 80Gi,只占 5 台节点的一半容量。不做超额分配时,10 台节点跑着 50% 的保证——一半的机器租赁费在空转。把 requests 摊到 7 台节点(CPU 超卖比约 1.4),省下 3 台机器的月费;若业务能容忍节流,甚至可以压到 5 台(超卖比 2.0)。省多少钱,取决于你愿意冒多少节流与驱逐的险。

CPU 超卖的合理边界

CPU 可以超卖(可压缩资源有节流兜底),但边界要算清楚。合理的 CPU 超额分配比(Σrequests / Σcapacity)取决于三个条件:

  1. 峰值不同时:各服务的请求高峰错开(如白天在线、夜间批处理),是超卖的天然基础。
  2. 限流兜底可接受:最坏情况所有 Pod 同时打满,大家被 CFS 节流、变慢,但要保证 requests 部分的运行不受影响——CFS 按权重分配保证低优先级不被饿死。
  3. 可弹性兜底:超卖通常配合 HPA(第 11 章)与节点伸缩(第 14 章),局部热点可以横向扩出来。

常见的 CPU 超卖比例区间:在线业务 1.2–1.5,混合负载 1.5–2.0,纯批处理可到 3 甚至更高。超卖比越高,对「错峰假设」的依赖越强,越需要监控兜底——第 11 章的 HPA 伸缩回路与第 14 章的节点伸缩是超卖的安全网。

边界怎么定,给一组经验判据:

  • 错峰强度:两个服务的高峰重叠度超过 30%,超卖比就别超过 1.3;完全错峰(白天在线、夜间批处理)才谈得上 2.0。
  • 节流容忍度:服务对延迟敏感,被节流 10% 就掉 P99,超卖比必须低于 1.2;能容忍排队(离线计算),才能往 2.0 以上走。
  • 伸缩速度:HPA 扩容要 5 分钟、节点伸缩要 10 分钟(第 14 章),这期间超卖热点只能靠节流撑着——伸缩越慢,超卖比越低。

这三条没验完就拉高超卖比,等于在「错峰永远成立、节流没人感觉、扩容永远及时」三个假设上同时加杠杆。

为什么内存不能超卖

内存不可压缩,超卖没有节流兜底,只有 OOM。内存超额分配的后果链:

内存 requests 之和 > 节点容量
→ 某些 Pod 拿不到承诺的内存
→ 内核 OOM killer 介入(按 oom_score 选受害者)
→ 可能杀掉你不想杀的工作(Guaranteed 之外、甚至系统进程)
→ 无优雅终止,直接 SIGKILL

对比 CPU:超卖失败是「大家都慢一点」;内存超卖失败是「有人死掉」。所以集群的内存维度必须按 requests 之和 ≤ 容量来规划,超卖的红线在内存这里划死。实践中常说的「CPU 超卖、内存不超卖」,就是对这两个契约的通俗概括。

有人会问:节点内存有页缓存可回收,是不是也相当于「兜底」?不完全是。页缓存回收是软性的、渐进的,一旦真实匿名内存(进程堆栈)逼近上限,回收便无济于事,OOM 照样发生。缓存回收只是把 OOM 推迟,不是把内存变成可压缩。这也是 cgroup v2 引入 memory.high(软限制)的原因——它比 OOM 更早介入,但同样改变不了「内存没有硬性限流」的本质。

装箱效率与碎片

超额分配关心密度,装箱(bin packing)关心「把 Pod 尽量集中,少开节点」。量化指标:

  • 装箱密度 = Σrequests / 已用节点容量。密度高 → 节点省。
  • 碎片率 = 各节点剩余不足以容纳任何新 Pod 的「死空间」总和 / 总容量。碎片高 → 明明有余量却装不进。

碎片是怎么来的?设节点有 1 核 4Gi 剩余,而新 Pod 要 2 核——装不下,这 1 核就是碎片;等下一个只要 1 核的 Pod 来了才能用上。碎片率随着「Pod 规格越多样、节点规格越不统一」而上升。

碎片治理有几个常见的低成本动作:把规格相近的工作收敛到同一节点池(用污点/标签隔离,第 3.2 节);把大 Pod 与多个小 Pod 混排,让大 Pod 吃掉碎片而不是制造碎片;节点池大小设计成能整除常见 Pod 规格的组合,避免「剩 0.4 核」这类死空间常态化。

K8s 的应对:评分插件 MostRequested(第 4 章)鼓励装到最满的节点,LeastRequested 则相反用于平衡。装箱与平衡是一对矛盾——密了热点集中,散了碎片增多,调度策略在两者之间取权重。

分配量 vs 实时用量的差距

超卖成立的前提是「requests > 实际用量」且差距可控。这个差距值得专门度量:

  • 请求保证(requested):Σrequests,调度器的视角。
  • 实际用量(usage):实时监控,节点真实水位。
  • 差距 = 保证 − 用量,就是可安全超卖的「信用空间」。

信用空间不是恒定的:夜间批处理跑起来,用量追近保证;大促时所有服务同打,差距归零甚至为负(用量 > 保证,靠 limits 余量撑着)。监控差距比监控绝对用量更有用——差距收敛到接近 0,是「该扩容或该降超卖比」的预警信号。

用监控数据画一条时间线:某节点 requests 4 核,实际用量平时 1.2 核,信用空间 2.8 核。凌晨批处理启动后用量升到 3.6 核,信用空间剩 0.4 核;此时另一个服务被调度进来(requests 1 核),该节点 requests 升到 5 核,而容量只有 4 核——信用空间变负,节点开始超卖运行。这个转折点在时序图上非常醒目:从「总量充足」切到「靠节流运行」,正是容量规划的边界。

观察与治理指标

治理超额分配需要一组连续观测的指标:

指标计算含义预警线
分配比Σrequests / Σcapacity超额分配程度1.5+ 需复核错峰假设
实际利用率Σusage / Σcapacity真实负载水位70%+ 关注争抢
信用空间Σrequests − Σusage可超卖余量接近 0 需扩容
碎片率死空间 / 总容量装箱损失20%+ 检查规格多样性
OOM/驱逐频率事件计数超卖过头的代价上升即降超卖比

没有一个指标能单独支撑决策:分配比高但利用率低,说明超卖空间仍充裕;分配比正常但 OOM 频发,说明错峰假设已失效。治理动作是组合拳——调 requests、调整评分权重、扩容节点、必要时拆规格。

把这些指标接到告警上也有讲究:驱逐/OOM 类事件走即时告警,分配比与信用空间走日报趋势。前者是故障信号,后者是容量信号——把容量信号当故障告警打,只会养出「狼来了」的告警疲劳。

贪心装箱的效果与局限

最简单的装箱算法是 first-fit:依次把每个 Pod 放入第一个能装下的节点。它的效果与局限值得正视:

特征效果/局限
顺序敏感先来者填满前面的节点,后来的规格反而决定碎片
局部最优不全局重排,可能装得下但分布很丑
在线友好调度本来就是逐个到达,无需预知全集
无法回退已绑定的 Pod 不会搬走,碎片永久化直到重建

一个具体的 first-fit 例子看碎片怎么产生:两台节点容量各 1 核 4Gi,四个 Pod 各要 0.4 核 / 2Gi。按到达顺序 a、b、c、d 处理:a、b 进节点 1(剩 0.2 核 / 0Gi),c 进节点 2(剩 0.6 核 / 2Gi),d 也进节点 2(剩 0.2 核 / 0Gi)。若此时来了一个要 0.5 核的 Pod,两台节点都只剩 0.2 核——明明集群还有 0.4 核的空余,却一个都装不下,这 0.4 核就是碎片。若顺序是 a、c、d、b,同样的四个 Pod 分布就会不同,但碎片依旧取决于「下一个到来者的规格」。

K8s 用「评分 + 排序」弥补 first-fit 的短视:Filter 保证能装,Score 决定装到哪个节点更划算。但本质局限仍在——调度器不会因为「未来有个大 Pod 要来」而提前给节点留空。这就是装箱问题的硬约束:它是在线问题,不是离线优化。真正缓解碎片的动作都在调度器之外:规格标准化(把 0.4 核的 Pod 归一)、节点池按规格分层、必要时主动重建重组。

超额分配与 QoS 的联动

超卖越激进,运行期争抢越频繁,第 9 章的 QoS 分类就越关键。超卖把三类 Pod 的差异放大:

QoS超卖下的处境
Guaranteedrequests==limits,超卖时它的保证量优先被尊重,CPU 权重高、驱逐排最后
Burstable中间层,能借余量也会被借走,驱逐顺序靠优先级
BestEffort超卖的安全阀,节点压力一来先被节流先被驱逐

一个反直觉的结论:超卖比例越高,越要保证关键负载是 Guaranteed。若关键 API 是 BestEffort,超卖省下的成本会以「大促时关键服务先被节流/驱逐」的形式连本带利还回去。超卖是密度策略,QoS 是分层保护策略——两者必须配套设计。

超额分配比例的风险档位

把超卖比对应到风险,供容量规划时对表:

超卖比风险适用场景兜底依赖
1.0极低核心有状态、金融交易无,纯保守
1.2低在线业务常规轻度错峰
1.5中混合负载错峰 + HPA
2.0高批处理、离线分析强错峰 + 限流 + 快速伸缩
3.0+极高测试环境、非关键只适合能容忍节流的工作

档位选择的铁律:内存维度永远停在 1.0;CPU 维度可以升档,但每一档都要先确认错峰假设成立、且观测指标里 OOM 与驱逐没有抬头。

三个常见误解

  • 「超卖是免费的,省下的都是利润」——错误。超卖把风险转嫁给运行期:节流、驱逐、OOM 都是成本,只是不在账单上显性出现。超卖的前提是信用空间真实存在(用量 < 保证)。
  • 「装箱越满越好」——错误。装得太满,单点故障半径大、驱逐时有毒气扩散、扩容时要一次搬一片。装箱密度要跟业务冗余与故障域设计(第 6 章)一起权衡。
  • 「requests 填实际用量就行」——错误。实际用量是波动的,requests 是保证,需要覆盖峰值用量。用均值当 requests,等于替调度器埋雷——高峰时所有 Pod 同时欠账,第一张账单就是 OOM。

一句话总结本节

超额分配与装箱是把 8.1 节的「保证 vs 上限」用到经济学上:CPU 超卖靠节流兜底可行,内存超卖靠 OOM 兜底不可行;装箱密度靠评分权衡,碎片靠监控发现。核心纪律一句话:内存永远按 1.0 规划,CPU 超卖必须监控着升档。

下一节讲工程落地的坑——cgroup v2 的计量口径与 PodOverhead 的隐性占用。超卖的账本上还有一行你没看见的成本:运行时开销,它会在你最自信的时候把节点悄悄压到边界。

本节 lab

本节把「超额分配比、贪心装箱、超卖≠调度放行」落到 resmodel/resmodel.go:

cd private/labs/k8s-sched-lab
go test ./resmodel -run 'TestOvercommitRatio|TestBinPackFillsFirst|TestCPUOvercommitNotSchedulingPass' -v

三个用例各自钉住一个本节结论:TestOvercommitRatio 验证分配比 1500/1000 = 1.5 的计算口径;TestBinPackFillsFirst 验证贪心装箱把 4 个 Pod 全塞进第一个节点;TestCPUOvercommitNotSchedulingPass 验证关键点——CPU 总量 1000 时两个各 600 的 Pod 单节点只能放一个,超卖再诱人,调度放行仍按 requests 卡死。resmodel 包共 6 个用例,全部通过。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图