11.1 目标利用率比例控制与平滑窗口
第 10 章讲的是单 Pod 的节点侧生命周期,本节换一个维度:一组 Pod 的规模。HPA(Horizontal Pod Autoscaler)管的不是某台节点,而是工作负载的副本数——负载上来时多开副本,负载下去时回收副本。这个「多开多少、回收多少」的决策,由一条比例控制公式加一组平滑机制决定。本节先把公式讲透,再讲平滑与夹取为什么不可或缺。
读完本节你应该能回答三个问题:利用率从 60% 涨到 120%,期望副本怎么变;一次监控毛刺会不会被 HPA 放大;min/max 到底挡在公式的哪一步。
控制回路:从指标到副本的每一拍
HPA 是一个周期驱动的控制回路,跑在 kube-controller-manager 里,默认每 15s 同步一次(--horizontal-pod-autoscaler-sync-period)。每一拍做四件事:
- 取指标:从 metrics-server 或自定义/外部指标 API 拿到当前负载值。
- 算期望:用比例公式算出「该有多少副本」。
- 夹取:把期望值夹到 min/max 之间。
- 应用:把副本数写到工作负载的
spec.replicas(经 Scale 子资源),控制器随后创建或回收 Pod。
回路不是一次性动作,而是反复运行、逐步逼近目标。因为副本变化本身要时间生效——新 Pod 需要调度、拉镜像、启动、就绪——回路天然带滞后。这决定了它不能指望一步到位,只能「每拍修正一点点」,这也是后面稳定窗口的由来。
每一拍的产物是一个期望副本数,不是「要不要扩」的布尔值。期望值由公式连续给出,即使不变也持续计算——变化的只是「夹取后与现状相同就不动」。
回路里的「写」走 Scale 子资源而非直接改 spec.replicas:控制器只 PATCH /apis/apps/v1/.../scale,Deployment/StatefulSet 控制器监听该变更后自行维护副本。这样 HPA 不关心工作负载内部实现,只要目标对象实现了 Scale 子资源即可伸缩——这也是 HPA 能管 Deployment、StatefulSet 甚至自定义资源的原因。控制回路因此多了一段异步路径:HPA 写的是「目标副本数」,实际 Pod 数是控制器逐步对齐的结果。
为什么同步周期是 15s 而不是更短?它是「取指标 → 算期望 → 应用」的最外层节拍,必须与指标的采集周期(metrics-server 默认 15s)同量级或更慢,否则每拍看到的都是同一份数据。15s 是「一个采集周期内只决策一次」的平衡点——决策频率超过数据新鲜度没有意义,只会放大抖动。
desired 副本公式:ceil 与比例
HPA 的核心公式是一条纯比例控制:
desiredReplicas = ceil(currentReplicas × utilization / targetUtilization)
utilization是当前实际利用率。对于 Resource 指标,它是就绪 Pod 的平均实际用量除以平均 requests(只计入设置了 requests 的 Pod)。targetUtilization是用户在spec.targetAverageUtilization(或averageUtilization)里设的目标。ceil保证副本是整数,且稍微超一点也向上取整——宁可多扩一个,不愿少扩。
用 lab 的 DesiredReplicas 直接验证几个点:
| 当前副本 | 当前利用率 | 目标利用率 | 期望副本 | 说明 |
|---|---|---|---|---|
| 10 | 1.6 | 0.8 | 20 | 利用率 2 倍 → 副本翻倍 |
| 10 | 0.4 | 0.8 | 5 | 利用率减半 → 副本减半 |
| 10 | 0.5 | 0.8 | 7 | 10×0.5/0.8=6.25 → ceil 7 |
| 10 | 0.9 | 0.8 | 12 | 略超目标 → 期望多扩(真实 HPA 有容忍带时不动) |
注意第二行:利用率 0.4 时期望是 5,但若 minReplicas=6,夹取后实际不变。公式给的是「原始期望」,策略(min/max、容忍带、稳定窗口)在公式之后生效。真实 HPA 还在公式外加了 10% 容忍带(--horizontal-pod-autoscaler-tolerance):当 |ratio−1| ≤ 0.1 时不伸缩,避免微小的指标波动反复改副本。
比例控制的数学与直觉
为什么是「乘除比例」而不是「加减一个固定量」?因为副本数要抵消的是每副本负载的相对偏差:
- 利用率 = 总负载 / 副本数。固定扩 N 个副本只能抵消固定负载,而负载是持续的;扩一倍副本把每副本负载降到一半,这是一个相对效应。
- 比例公式保证稳态下
utilization ≈ target:代入公式,desired/current = utilization/target。利用率超 target,desired 就大于 current;反之亦然。误差越大,修正力度越大——这是比例控制(P 控制器)的典型行为。 - 它没有积分项:持续的小偏差不会被累积修正,所以系统不会精确钉在 target 上,而是停在「偏差小于容忍带」的某个邻居上。这是有意取舍——伸缩本身有成本(副本重建、指标延迟、负载重新分配),不值得为 1% 的偏差多扩一次。
直觉可以这样记:把「当前每副本承受了目标的几倍负载」直接当作「需要几倍副本」。2 倍负载 → 2 倍副本;0.5 倍负载 → 0.5 倍副本。ceil 是在这个连续比例上做整数化,夹取是在整数化之后套上策略边界。
还有一个常被忽略的点:比例公式对「扩」和「缩」使用同一个乘子,但因为 min/max 夹取不对称,实际生效的行为也不对称。缩的时候最低只能到 minReplicas,扩的时候最高只能到 maxReplicas;两个边界之外的负载变化被「消化」在边界上,副本数不再跟随。所以在选 min/max 时,本质上是在回答「负载的下限与上限大概在哪」——边界本身就是一种容量规划。
目标利用率 target 的选择
target 不是「越大越好」的参数,它直接决定稳态副本数与超卖余量:
- target 越高,越晚扩容、越省资源。80% 目标允许每副本长时间用到 80% 才扩,集群更紧凑,但突发时可用余量小,扩容触发点离饱和近。
- target 越低,越早扩容、越浪费。50% 目标意味着大部分时间有一半容量闲置,换来突发时响应从容。
- 对 CPU:target 反映「希望每副本占用多少算力」,通常取 60%–80%;要结合容器实际峰值与延迟 SLO,避免 target 高到让延迟飙高。
- 对 内存:内存是不可压缩资源,target 建议留更宽(如 50%–70%),还要考虑 OOM 风险——内存利用率到 100% 会 OOM,不是像 CPU 那样只是变慢。
- 对自定义/外部指标:target 是「每副本的指标阈值」,例如每副本承接 100 QPS、每条消息 0.5 秒;语义由业务定义。
- 对混合负载:如果同一工作负载的 CPU 与内存压力峰不同步,可以分别用多个指标交给 HPA 取最大者——但通常先确认「哪个指标才是真正的瓶颈」再决定,而不是堆指标。
target 的选取与 requests 强耦合:对 Resource 指标,利用率以 requests 为分母。调低 requests 而不动 target,会让 HPA 在更高的绝对负载下才扩容——requests 与 target 是同一个公式里的两个旋钮。
实操上给每个工作负载定 target,可以先问三个问题:负载是 CPU 型还是内存型?突发是否频繁、能否容忍短暂的副本不足?延迟 SLO 有多严格?按答案组合:CPU 型取 60%–80%、内存型留 50%–70% 并关注 OOM 监控、延迟敏感的取偏保守值并配合缩容窗口。定完后用压测验证「target 附近的实际延迟与错误率」,而不是只看副本数。
另一个容易踩的坑是「全局统一 target」:不同工作负载的画像差异巨大——批处理峰值高但持续时间短,在线服务平稳但波动快。给它们设同一个 80% target,批处理可能永远在扩缩边缘反复,在线服务则可能长期闲置一半容量。target 应当按工作负载的用量分布来定,而不是全集群一个值。
指标平滑:EMA 与窗口的作用
公式假设「利用率是干净的数字」,但真实指标又抖又滞后。平滑机制负责把抖动滤掉:
- EMA 平滑:lab 用
smooth = 0.5×prev + 0.5×cur模拟指数移动平均。单次尖峰只把平滑值抬高一半,下一拍回落;连续的高负载才会让平滑值持续上升。效果是单次抖动不触发伸缩,趋势才触发。 - 真实 HPA 的等价物:K8s 不用 EMA,而是用「容忍带 + 缩容稳定窗口 + 采样窗口」组合。10% 容忍带滤掉小抖动;缩容稳定窗口(默认 5m)让缩容决策在窗口内保持保守;指标值要在窗口内反复出现才被确认。
- 为什么需要平滑:如果直接用瞬时值,一次监控毛刺就会让 HPA 扩一批副本,负载回落后又要缩,形成振荡。平滑把「信号」与「噪声」分开,代价是响应变慢——平滑越强,趋势确认越慢。
EMA 的系数 0.5 在 lab 里是固定值,真实系统里平滑强度对应容忍带与窗口的组合:容忍带越宽,需要累积的偏差越大;窗口越长,单次采样对决策的贡献越小。调平滑的实质是调「多少证据才算趋势成立」——证据门槛高,响应慢但稳;门槛低,响应快但容易被噪声骗。
用 lab 的 TestHpaSmoothMetric 看效果:首轮利用率 1.6 直接采用(无历史可平滑);第二轮利用率回落到 0.2,平滑值 = 0.5×1.6 + 0.5×0.2 = 0.9。瞬时值已经掉到 0.2,但平滑值还在 0.9 附近——HPA 不会因为这一拍的低值立刻大缩容,这正是「单次抖动不触发伸缩」的机制。
平滑的另一面是分母口径:HPA 只把「就绪且设置了 requests 的 Pod」计入平均值。Pod 启动初期(--horizontal-pod-autoscaler-initial-readiness-delay 默认 30s,CPU 初始化期 --horizontal-pod-autoscaler-cpu-initialization-period 默认 5m)数据缺失或未就绪时被特殊处理,避免启动尖峰把利用率顶高而误扩。也就是说,平滑既滤抖动,也滤「尚不在服务状态的 Pod」——两层防护都指向同一个目标:只对真实负载趋势做反应。
最小/最大副本夹取
期望副本算出来之后,第一道边界是 min/max:
- minReplicas:保证最低可用性,通常取 2 或 3(配合 PDB)。即使利用率降到 0,副本也不会少于下限。
- maxReplicas:防止失控扩张,上限受资源预算、配额与节点容量约束。峰值突发时 HPA 最多扩到 max,剩下的压力由过载保护(限流、降级)处理。
- 夹取发生在公式之后、应用之前:
desired = clamp(ceil(...), min, max)。顺序不能反——先夹取再做 ceil 会改变整数化结果。
lab 的 TestHpaClampMinMax 验证两点:目标 0.8、min=3、max=20、当前 10 副本,利用率 2.4 → 期望 30 → 被夹到 20;利用率 0.0 → 期望 0 → 被夹到 3。公式的连续结果被策略边界截断,这就是「计算期望」与「落定副本」之间的职责分工。
min/max 的取值建议与成本直接挂钩:min 往往由「可用性最低要求」决定(如 2–3 副本加 PDB),max 由「资源预算、节点池容量、云成本上限」决定。不要靠压测时的峰值盲目定 max——峰值附近扩不上去的那一刻,优先级应该交给限流与降级,而不是无限扩容。把 max 设成「预算内的最大保证」,把超过 max 的压力显式交给过载保护,伸缩系统才可预测。
非线性关系:利用率演算表
副本数与利用率在公式里是线性的,但因为 ceil 与夹取,生效后的副本数对利用率是阶梯状、非线性的:
| 当前副本 | 平滑利用率 | 目标 | 原始期望 | 夹取后 | 变化 |
|---|---|---|---|---|---|
| 10 | 0.4 | 0.8 | 5 | 5 | −5 |
| 10 | 0.45 | 0.8 | 5.625→6 | 6 | −4 |
| 10 | 0.8 | 0.8 | 10 | 10 | 0 |
| 10 | 0.85 | 0.8 | 10.625→11 | 11 | +1 |
| 10 | 1.6 | 0.8 | 20 | 20 | +10 |
| 10 | 2.4 | 0.8 | 30 | 20(max) | +10 |
三个要点:利用率恰好在 target 附近时,ceil 让期望在 10 与 11 之间跳(配合容忍带,真实 HPA 此时不动);利用率翻倍让期望翻倍,这是最剧烈的单拍变化;max 是硬天花板,超过之后更多负载不再产生更多副本——运维必须清楚 max 到了就是「过载已发生」,不是「还会继续扩」。
这张表也暗示了迟滞带的存在:期望副本数在 10 与 11 之间跳的那一档,配合容忍带后真实 HPA 会「停在原地」——只有偏差累积到超过容忍带,副本数才跳一格。副本数的变化是离散事件,不是连续曲线,这是压测观察时最容易误读的一点。
理解这个阶梯关系对压测判断很重要:看到副本数从 10 跳到 20,说明平滑利用率翻倍了;看到停在 20 不动而负载还在涨,第一反应应是「撞到 max 了」。
一次扩容的逐拍轨迹
把回路串成一次「负载突增 → 扩到 20 → 回落到 14」的逐拍推演(min=1、max=20、target=0.8、初始 10 副本、无冷却窗口):
| 拍 | 原始利用率 | 平滑值 | 期望 | 夹取后 | 说明 |
|---|---|---|---|---|---|
| 1 | 1.6 | 1.6(首轮) | 20 | 20 | 翻倍负载 → 翻倍副本 |
| 2 | 0.4 | 1.0 | 25 | 20 | 已到 max,实际不变 |
| 3 | 0.4 | 0.7 | 18 | 18 | 期望降到 18,仍低于现状 |
| 4 | 0.4 | 0.55 | 14 | 14 | 连续低负载 → 缩到 14 |
注意第 2 拍:利用率已经掉到 0.4,但平滑值还在 1.0(EMA 拖尾),期望被夹到 max=20,与现状相同,这一拍实际什么都没做。副本数的每一次变化都要「平滑确认 + 超出边界」两个条件同时满足。第 3、4 拍平滑值逐步下行,期望才真正低于现状并落地。
这个轨迹解释了生产里常见现象:扩容快(1–2 拍就扩到位)、缩容慢(要等平滑值跌下来)。这不是 HPA 的缺陷,而是「扩容要快、缩容要稳」的方向性设计——突增时宁可多扩,回落时谨慎回收。
如果给这套回路加一个冷却窗口(lab 里的 Cooldown),第 3 拍的缩容还会被推迟到冷却结束——这就是 11.3 的主题。这里先记住一条分界:公式决定方向,平滑与夹取决定幅度,稳定窗口决定时机。方向、幅度、时机三者叠加,才构成 HPA 对外可见的行为。
三个常见误解
- 「target 设得越高,副本越多」——错误。target 是目标利用率、是公式里的分母:target 高意味着更晚扩容、稳态副本更少。它控制的是「紧凑度」,不是「副本规模」。
- 「HPA 是 PID 控制器,能精确钉住目标利用率」——错误。它只有比例项,没有积分/微分项,配合容忍带只保证「偏差小到不触发」就停;精确追踪既做不到也没必要。
- 「指标是实时的,算多少就扩多少」——错误。指标有采集延迟、副本变化要时间生效、单次抖动被平滑滤掉。看到的结果是阶梯式、有滞后的收敛,不是瞬时的精确匹配。
本节 lab
本节把「比例公式 + EMA 平滑」落到 autoscaler/autoscaler.go 的 DesiredReplicas 与 HPA.Scale,用两个用例验证:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestHpaDesiredReplicasDouble|TestHpaSmoothMetric' -v
TestHpaDesiredReplicasDouble 验证比例翻倍:DesiredReplicas(10, 1.6, 0.8) = 20、DesiredReplicas(10, 0.4, 0.8) = 5——利用率的倍数直接映射到副本数的倍数。TestHpaSmoothMetric 验证首轮采用原始值、第二轮 EMA 平滑到 0.9——单次低值不会立刻拉低平滑指标,趋势才被认可。这是本节「比例公式 + 平滑窗口」的可运行验证。
一句话总结本节
HPA 用一条 ceil(currentReplicas × utilization / target) 比例公式决定期望副本数,配 EMA/容忍带做指标平滑滤掉抖动,再用 min/max 夹取把连续期望截断成策略边界内的整数——副本数对利用率是阶梯状收敛,而不是瞬时精确匹配。11.2 将回答指标从哪里来,11.3 将回答这套回路为什么需要稳定窗口。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。