8.2 超额分配与装箱效率
8.1 节确立了「requests 是保证、limits 是上限」的两阶段契约。本节追问:如果只按 requests 调度,节点会不会太闲? 答案通常是「会」——大多数工作负载的实际用量远低于它们的保证。把更多 Pod 塞进同一批节点,就是超额分配与装箱问题。本节讲动机、边界、指标与算法局限。
先给结论再展开:超卖是把「保证」打折卖给「密度」的交易。交易的合法性由 8.1 节的契约保证——CPU 超限会节流不杀、内存超限必杀,所以 CPU 可超卖而内存不可。下面四节分别讲动机、CPU 边界、内存红线,最后落到指标与算法。
超额分配的动机:成本 vs 空闲浪费
集群的成本由节点数量决定,而节点数量由「调度进去的 requests 总量」决定。若不超额分配,有两类浪费:
| 场景 | 浪费来源 | 量化直觉 |
|---|---|---|
| 按峰值规划 | 每个 Pod 的保证远大于常态用量 | 节点利用率常年 20–30% |
| 按均值规划 | 突发时资源不足、排队变慢 | 高峰期服务质量下降 |
超额分配(overcommit)的本质是用保证做信用,赌「不会全部同时打满」。它把集群成本压下来,代价是把风险从「节点空置」转移给「运行期争抢」。
判断标准是业务可承受性:在线交易系统宁可空着也要余量,批处理与离线分析可以大胆超卖。超卖不是技术开关,是成本与风险的经营决策。
算一笔账让动机具体化:10 台 8 核 32Gi 的节点,50 个 Pod 平均 requests 为 0.4 核 / 1.6Gi,Σrequests 为 20 核 / 80Gi,只占 5 台节点的一半容量。不做超额分配时,10 台节点跑着 50% 的保证——一半的机器租赁费在空转。把 requests 摊到 7 台节点(CPU 超卖比约 1.4),省下 3 台机器的月费;若业务能容忍节流,甚至可以压到 5 台(超卖比 2.0)。省多少钱,取决于你愿意冒多少节流与驱逐的险。
CPU 超卖的合理边界
CPU 可以超卖(可压缩资源有节流兜底),但边界要算清楚。合理的 CPU 超额分配比(Σrequests / Σcapacity)取决于三个条件:
- 峰值不同时:各服务的请求高峰错开(如白天在线、夜间批处理),是超卖的天然基础。
- 限流兜底可接受:最坏情况所有 Pod 同时打满,大家被 CFS 节流、变慢,但要保证 requests 部分的运行不受影响——CFS 按权重分配保证低优先级不被饿死。
- 可弹性兜底:超卖通常配合 HPA(第 11 章)与节点伸缩(第 14 章),局部热点可以横向扩出来。
常见的 CPU 超卖比例区间:在线业务 1.2–1.5,混合负载 1.5–2.0,纯批处理可到 3 甚至更高。超卖比越高,对「错峰假设」的依赖越强,越需要监控兜底——第 11 章的 HPA 伸缩回路与第 14 章的节点伸缩是超卖的安全网。
边界怎么定,给一组经验判据:
- 错峰强度:两个服务的高峰重叠度超过 30%,超卖比就别超过 1.3;完全错峰(白天在线、夜间批处理)才谈得上 2.0。
- 节流容忍度:服务对延迟敏感,被节流 10% 就掉 P99,超卖比必须低于 1.2;能容忍排队(离线计算),才能往 2.0 以上走。
- 伸缩速度:HPA 扩容要 5 分钟、节点伸缩要 10 分钟(第 14 章),这期间超卖热点只能靠节流撑着——伸缩越慢,超卖比越低。
这三条没验完就拉高超卖比,等于在「错峰永远成立、节流没人感觉、扩容永远及时」三个假设上同时加杠杆。
为什么内存不能超卖
内存不可压缩,超卖没有节流兜底,只有 OOM。内存超额分配的后果链:
内存 requests 之和 > 节点容量
→ 某些 Pod 拿不到承诺的内存
→ 内核 OOM killer 介入(按 oom_score 选受害者)
→ 可能杀掉你不想杀的工作(Guaranteed 之外、甚至系统进程)
→ 无优雅终止,直接 SIGKILL
对比 CPU:超卖失败是「大家都慢一点」;内存超卖失败是「有人死掉」。所以集群的内存维度必须按 requests 之和 ≤ 容量来规划,超卖的红线在内存这里划死。实践中常说的「CPU 超卖、内存不超卖」,就是对这两个契约的通俗概括。
有人会问:节点内存有页缓存可回收,是不是也相当于「兜底」?不完全是。页缓存回收是软性的、渐进的,一旦真实匿名内存(进程堆栈)逼近上限,回收便无济于事,OOM 照样发生。缓存回收只是把 OOM 推迟,不是把内存变成可压缩。这也是 cgroup v2 引入 memory.high(软限制)的原因——它比 OOM 更早介入,但同样改变不了「内存没有硬性限流」的本质。
装箱效率与碎片
超额分配关心密度,装箱(bin packing)关心「把 Pod 尽量集中,少开节点」。量化指标:
- 装箱密度 = Σrequests / 已用节点容量。密度高 → 节点省。
- 碎片率 = 各节点剩余不足以容纳任何新 Pod 的「死空间」总和 / 总容量。碎片高 → 明明有余量却装不进。
碎片是怎么来的?设节点有 1 核 4Gi 剩余,而新 Pod 要 2 核——装不下,这 1 核就是碎片;等下一个只要 1 核的 Pod 来了才能用上。碎片率随着「Pod 规格越多样、节点规格越不统一」而上升。
碎片治理有几个常见的低成本动作:把规格相近的工作收敛到同一节点池(用污点/标签隔离,第 3.2 节);把大 Pod 与多个小 Pod 混排,让大 Pod 吃掉碎片而不是制造碎片;节点池大小设计成能整除常见 Pod 规格的组合,避免「剩 0.4 核」这类死空间常态化。
K8s 的应对:评分插件 MostRequested(第 4 章)鼓励装到最满的节点,LeastRequested 则相反用于平衡。装箱与平衡是一对矛盾——密了热点集中,散了碎片增多,调度策略在两者之间取权重。
分配量 vs 实时用量的差距
超卖成立的前提是「requests > 实际用量」且差距可控。这个差距值得专门度量:
- 请求保证(requested):Σrequests,调度器的视角。
- 实际用量(usage):实时监控,节点真实水位。
- 差距 = 保证 − 用量,就是可安全超卖的「信用空间」。
信用空间不是恒定的:夜间批处理跑起来,用量追近保证;大促时所有服务同打,差距归零甚至为负(用量 > 保证,靠 limits 余量撑着)。监控差距比监控绝对用量更有用——差距收敛到接近 0,是「该扩容或该降超卖比」的预警信号。
用监控数据画一条时间线:某节点 requests 4 核,实际用量平时 1.2 核,信用空间 2.8 核。凌晨批处理启动后用量升到 3.6 核,信用空间剩 0.4 核;此时另一个服务被调度进来(requests 1 核),该节点 requests 升到 5 核,而容量只有 4 核——信用空间变负,节点开始超卖运行。这个转折点在时序图上非常醒目:从「总量充足」切到「靠节流运行」,正是容量规划的边界。
观察与治理指标
治理超额分配需要一组连续观测的指标:
| 指标 | 计算 | 含义 | 预警线 |
|---|---|---|---|
| 分配比 | Σrequests / Σcapacity | 超额分配程度 | 1.5+ 需复核错峰假设 |
| 实际利用率 | Σusage / Σcapacity | 真实负载水位 | 70%+ 关注争抢 |
| 信用空间 | Σrequests − Σusage | 可超卖余量 | 接近 0 需扩容 |
| 碎片率 | 死空间 / 总容量 | 装箱损失 | 20%+ 检查规格多样性 |
| OOM/驱逐频率 | 事件计数 | 超卖过头的代价 | 上升即降超卖比 |
没有一个指标能单独支撑决策:分配比高但利用率低,说明超卖空间仍充裕;分配比正常但 OOM 频发,说明错峰假设已失效。治理动作是组合拳——调 requests、调整评分权重、扩容节点、必要时拆规格。
把这些指标接到告警上也有讲究:驱逐/OOM 类事件走即时告警,分配比与信用空间走日报趋势。前者是故障信号,后者是容量信号——把容量信号当故障告警打,只会养出「狼来了」的告警疲劳。
贪心装箱的效果与局限
最简单的装箱算法是 first-fit:依次把每个 Pod 放入第一个能装下的节点。它的效果与局限值得正视:
| 特征 | 效果/局限 |
|---|---|
| 顺序敏感 | 先来者填满前面的节点,后来的规格反而决定碎片 |
| 局部最优 | 不全局重排,可能装得下但分布很丑 |
| 在线友好 | 调度本来就是逐个到达,无需预知全集 |
| 无法回退 | 已绑定的 Pod 不会搬走,碎片永久化直到重建 |
一个具体的 first-fit 例子看碎片怎么产生:两台节点容量各 1 核 4Gi,四个 Pod 各要 0.4 核 / 2Gi。按到达顺序 a、b、c、d 处理:a、b 进节点 1(剩 0.2 核 / 0Gi),c 进节点 2(剩 0.6 核 / 2Gi),d 也进节点 2(剩 0.2 核 / 0Gi)。若此时来了一个要 0.5 核的 Pod,两台节点都只剩 0.2 核——明明集群还有 0.4 核的空余,却一个都装不下,这 0.4 核就是碎片。若顺序是 a、c、d、b,同样的四个 Pod 分布就会不同,但碎片依旧取决于「下一个到来者的规格」。
K8s 用「评分 + 排序」弥补 first-fit 的短视:Filter 保证能装,Score 决定装到哪个节点更划算。但本质局限仍在——调度器不会因为「未来有个大 Pod 要来」而提前给节点留空。这就是装箱问题的硬约束:它是在线问题,不是离线优化。真正缓解碎片的动作都在调度器之外:规格标准化(把 0.4 核的 Pod 归一)、节点池按规格分层、必要时主动重建重组。
超额分配与 QoS 的联动
超卖越激进,运行期争抢越频繁,第 9 章的 QoS 分类就越关键。超卖把三类 Pod 的差异放大:
| QoS | 超卖下的处境 |
|---|---|
| Guaranteed | requests==limits,超卖时它的保证量优先被尊重,CPU 权重高、驱逐排最后 |
| Burstable | 中间层,能借余量也会被借走,驱逐顺序靠优先级 |
| BestEffort | 超卖的安全阀,节点压力一来先被节流先被驱逐 |
一个反直觉的结论:超卖比例越高,越要保证关键负载是 Guaranteed。若关键 API 是 BestEffort,超卖省下的成本会以「大促时关键服务先被节流/驱逐」的形式连本带利还回去。超卖是密度策略,QoS 是分层保护策略——两者必须配套设计。
超额分配比例的风险档位
把超卖比对应到风险,供容量规划时对表:
| 超卖比 | 风险 | 适用场景 | 兜底依赖 |
|---|---|---|---|
| 1.0 | 极低 | 核心有状态、金融交易 | 无,纯保守 |
| 1.2 | 低 | 在线业务常规 | 轻度错峰 |
| 1.5 | 中 | 混合负载 | 错峰 + HPA |
| 2.0 | 高 | 批处理、离线分析 | 强错峰 + 限流 + 快速伸缩 |
| 3.0+ | 极高 | 测试环境、非关键 | 只适合能容忍节流的工作 |
档位选择的铁律:内存维度永远停在 1.0;CPU 维度可以升档,但每一档都要先确认错峰假设成立、且观测指标里 OOM 与驱逐没有抬头。
三个常见误解
- 「超卖是免费的,省下的都是利润」——错误。超卖把风险转嫁给运行期:节流、驱逐、OOM 都是成本,只是不在账单上显性出现。超卖的前提是信用空间真实存在(用量 < 保证)。
- 「装箱越满越好」——错误。装得太满,单点故障半径大、驱逐时有毒气扩散、扩容时要一次搬一片。装箱密度要跟业务冗余与故障域设计(第 6 章)一起权衡。
- 「requests 填实际用量就行」——错误。实际用量是波动的,requests 是保证,需要覆盖峰值用量。用均值当 requests,等于替调度器埋雷——高峰时所有 Pod 同时欠账,第一张账单就是 OOM。
一句话总结本节
超额分配与装箱是把 8.1 节的「保证 vs 上限」用到经济学上:CPU 超卖靠节流兜底可行,内存超卖靠 OOM 兜底不可行;装箱密度靠评分权衡,碎片靠监控发现。核心纪律一句话:内存永远按 1.0 规划,CPU 超卖必须监控着升档。
下一节讲工程落地的坑——cgroup v2 的计量口径与 PodOverhead 的隐性占用。超卖的账本上还有一行你没看见的成本:运行时开销,它会在你最自信的时候把节点悄悄压到边界。
本节 lab
本节把「超额分配比、贪心装箱、超卖≠调度放行」落到 resmodel/resmodel.go:
cd private/labs/k8s-sched-lab
go test ./resmodel -run 'TestOvercommitRatio|TestBinPackFillsFirst|TestCPUOvercommitNotSchedulingPass' -v
三个用例各自钉住一个本节结论:TestOvercommitRatio 验证分配比 1500/1000 = 1.5 的计算口径;TestBinPackFillsFirst 验证贪心装箱把 4 个 Pod 全塞进第一个节点;TestCPUOvercommitNotSchedulingPass 验证关键点——CPU 总量 1000 时两个各 600 的 Pod 单节点只能放一个,超卖再诱人,调度放行仍按 requests 卡死。resmodel 包共 6 个用例,全部通过。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。