12.2 资源画像与百分位聚合
12.1 的 Recommender 产出推荐,本节回答它凭什么产出这个数:为什么拿历史用量画像而不是实时值,百分位该选 P50/P90/P99 哪个,样本怎么衰减、离群值怎么处理,最后怎么把百分位结果规整成可下发的 requests。这是 VPA 最有算法含量的一节。
读完本节,你应该能回答:为什么 P90 是默认而不是 P99;为什么「一次尖峰」不会改变 P90;为什么推荐值最后要做规整。
为什么用历史画像而非实时值
推荐 requests 的目标是「让 Pod 申请的容量覆盖绝大多数实际用量」。如果用实时值做推荐,会有三个问题:
- 抖动误伤:某一刻的峰值(促销流量、批处理尖峰)会把推荐永久钉在高位,之后大量资源闲置。
- 采样缺失:Pod 刚启动、滚动升级、监控断点都会留下空洞;实时值要么缺数据要么只反映「当前这一个瞬间」。
- 本质问题:requests 是未来一段时间的承诺,承诺应该基于「过去一段时间的事实分布」,而不是「现在这一个点」。
所以 Recommender 走「画像」路线:收集一段窗口内的所有用量样本,聚合成分布,再从分布取一个合适的分位点。这等于把「这个容器过去 N 天用了多少」压缩成「它 90% 的时间都低于这个值」。历史画像天然平滑了抖动、容忍了缺失,也给离群值留了处理空间。
画像还有一个隐含假设:历史会重复。工作日与周末负载不同、促销季与平时不同,如果画像把不同季节的样本混在一起,推荐会落在「谁都不像」的中间值。VPA 不做季节识别,它的应对是「衰减」——让最近的样本主导,过去的模式逐渐退出。所以画像更适合「负载模式稳定、或以周为单位演化」的工作负载。
画像的「过去」与 HPA 的「现在」是两个时间尺度:HPA 每 15s 消费近实时指标,VPA 在更长窗口上重算推荐。两者的刷新频率差几个数量级,所以「HPA 抖动但 VPA 稳定」是常态——VPA 的推荐本来就该低频、渐进,而不是跟着每一拍指标跳动。
直方图:画像的存储形态
真实 VPA 不存「原始样本列表」,而是把样本聚合进分位数直方图——一组有序的桶,每个桶记录落入该区间的样本数量与权重:
- 桶的边界按用量分布预置(低用量区细、高用量区粗),CPU 与内存各一份直方图。
- 新增样本 = 找到对应桶并加权重;查询百分位 = 从低到高累加桶权重,找到第一个累积占比超过 p 的桶。
- 直方图的优势:内存占用固定(桶数不变),与样本总量无关;可以长期累积而不爆炸。
lab 用 Percentile 直接对有序数组做插值,省掉了直方图这层——但「从分布读数」的本质一致。直方图只是让「分布」能长期住在内存里的工程实现,Percentile 的插值公式就是它读数的数学。
直方图的桶数决定读数粒度:桶太粗,P90 与 P80 可能落在同一个桶,读数不敏感;桶太细,内存开销上升。VPA 的桶布局按经验压过,兼顾两者——这是画像工程里「精度与内存」的取舍,lab 的线性插值相当于给了无限细的桶。
百分位:P50/P90/P99 的取舍
百分位是画像的「读数」:第 p 百分位意味着「p% 的样本低于该值」。三个常用取值对应三种运营目标:
| 百分位 | 含义 | 优点 | 代价 |
|---|---|---|---|
| P50 | 覆盖一半时间 | 最省资源 | 一半时间会超卖,高峰大概率打穿 |
| P90 | 覆盖 90% 时间 | 资源与保障的常见平衡点 | 约 10% 时间仍可能不够 |
| P95/P99 | 覆盖 95%/99% 时间 | 高峰保障强 | 绝大多数时间大量闲置,成本显著上升 |
怎么选取决于超卖后果:
- CPU 是可压缩资源:超卖只是变慢,选 P90 常是默认(VPA 默认 target 就是 P90)。延迟 SLO 严格、CPU 敏感的可以上 P95。
- 内存是不可压缩资源:超卖 = OOM = 容器被杀。内存推荐应偏保守(更高百分位),并把样本里的近峰值考虑进去。
- 对延迟服务,百分位还要结合目标延迟分位——「我的 P99 延迟 SLO」不该由「P50 的资源画像」支撑。
VPA 的默认三数:targetPercentile=0.9、lowerBoundPercentile=0.5、upperBoundPercentile=0.95。target 决定推荐值,上下界决定「是否该干预」的带宽——现状落在 [lower, upper] 之外才值得驱逐重建,落在之内就保持现状,避免频繁扰动。
百分位的另一个细节是目标与上下界的关系:VPA 把 lowerBound 设为 P50、upperBound 设为 P95,意思是「现状低于 P50 是过度申请(该调小)、高于 P95 是申请不足(该调大),P50–P95 之间都算合理」。这给了 Updater 一个明确的「不动区间」——只有跳进区间外,才触发一次重建。
百分位选择还有一个成本视角:P90 到 P95 之间每抬一点,资源成本上升的不是线性而是「长尾」——因为负载分布在高位区更稀疏。理解这点,就明白「P99 安全」的代价通常被低估:它买到的保障可能只有最后 9% 时间,花的钱却是接近翻倍的容量。
样本窗口与衰减
画像不是「把历史一股脑求平均」,它要回答「最近到底多热」。处理方式是窗口 + 衰减:
- 时间窗口:只保留最近一段窗口的样本(VPA 默认考虑 8 天的内存历史、按天加权),更早的样本丢弃。
- 指数衰减:越新的样本权重越高,旧样本权重指数下降。这样画像会缓慢遗忘过去的模式,跟上工作负载的演化(如版本升级后用量结构性下降)。
- 按天加权:真实 VPA 对内存样本按天做加权,避免某一天的高用量长期主导画像。
衰减是双刃剑:衰减太快,画像跟着短期抖动走,推荐变来变去;衰减太慢,画像背着几个月前的旧高峰,永远缩不下来。VPA 的默认值(8 天窗口、指数衰减)是「能跟上以周为单位的演化」的折中。对明显分时段的负载,这个默认未必合适——需要按业务节奏调。
用一个数字感受衰减:如果某天用量是平时的 2 倍,指数衰减下它在一个衰减半衰期(约数天)后会从画像里「淡出」一半权重。8 天窗口保证「上周的模式还在」,「上个月的一次事故尖峰」已被遗忘。调衰减的旋钮是半衰期而非窗口长度——半衰期决定遗忘速度,窗口决定最早样本的年龄。
不同工作负载适合不同的窗口:负载跟随业务日节奏(电商、社交)用 7–14 天能覆盖完整的一周循环;负载稳定的后台任务可以拉长窗口换取更平滑的推荐;发布频繁的服务则要短窗口,让版本变化快速反映进画像。VPA 默认值是通用折中,不是每个业务的最优解。
离群值处理
画像对离群值的态度不是「删除」,而是「稀释」:
- 单次极端尖峰进直方图后,只抬高对应分位桶的计数。对 P90 而言,1% 的极端样本本来就不该改变 P90——分位数天然抗离群,这正是选分位而非平均值的原因之一。
- 但如果离群是持续的(每天固定时段的高峰),它会把分位桶抬高,P90 也会上移——这反映的是真实结构,不是噪声,应该被尊重。
- 均值(或 P50)对离群敏感,P99 对离群也敏感(99% 的分位点容易被最高样本拉动);P90 在「抗单次离群」与「反映持续结构」之间更平衡——这也是它成为默认 target 的算法理由。
一个常见的坑:用「历史最大值」做推荐。最大值完全由离群样本决定,一旦某次监控毛刺出现过,推荐就永远高位。分位数把「一次意外」和「经常发生」区分开,这是 VPA 相对「按峰值申请」的核心改进。
从业务角度,「离群」也要定义:一次 5 分钟的全链路压测尖峰算不算?如果压测会周期性发生,它其实是一种结构;如果是事故误触发的毛刺,它才是噪声。VPA 的分位法不关心定义,它只看频率——出现次数足够多就进入画像,出现一次就被 P90 忽略。频率是它区分噪声与结构的唯一标准。
还有一个工程细节:样本缺失时画像怎么处理?直方图对「空窗口」保持原状而不是清零——缺失时段不被计为低用量,避免一次采集断流把推荐拉到谷底。这跟 HPA 取不到指标时「沿用最近值」是同一套降级哲学:信息缺失不等于负载为零。
CPU 与内存画像的差异
CPU 与内存的画像语义完全不同,不能共用同一套参数:
| 维度 | CPU | 内存 |
|---|---|---|
| 可压缩性 | 可压缩(超卖=变慢) | 不可压缩(超卖=OOM) |
| 采样语义 | 采样周期内的累计时间/周期 | 某一时刻的瞬时工作集 |
| 推荐百分位倾向 | P90 够用,可下探 | 偏保守,常用 P95 附近 |
| 与 HPA 的关系 | 利用率分母直接受其影响 | 同样受影响,且 OOM 风险叠加 |
| 衰减考量 | 跟随短期演化 | 跟随长期泄漏趋势(如缓存增长) |
实践上常见「CPU 用 P90 压成本、内存用 P95 保不 OOM」的组合。内存还要多留一道:样本里的「近峰值」比均值更接近 OOM 风险,所以内存推荐对尖峰的敏感度本来就该高于 CPU。
画像与 PodOverhead 的结合
推荐值是容器维度的,但一个 Pod 真正占用的资源不止 requests 之和:
PodOverhead(来自 RuntimeClass)是 Pod 级固定开销,比如 VM 型运行时、安全容器的额外内存。- 注入时,VPA/Admission 会把推荐值与 PodOverhead 叠加,保证最终申请的 Pod 资源包含运行时开销,而不是让 overhead 去挤占业务 requests。
HPA 的关系在这里出现:HPA 的利用率分母是 requests。VPA 改了 requests,HPA 的伸缩行为会变——这是 12.3 要讲的「VPA 与 HPA 共存」问题的算法起点。画像本身只管「容器需要多少」,叠加与协调交给注入层。
PodOverhead 的叠加时机在「注入」而不是「画像」:Recommender 只输出容器维度的推荐,Admission 在写 requests 时才把 overhead 加上。这个分层让算法保持纯粹——画像只回答「容器要多少」,Pod 级叠加是执行细节。若把 overhead 混进画像,不同 RuntimeClass 的同一容器会有不同画像,算法就脏了。
推荐值的步长规整
百分位算出的是连续值,直接当 requests 有几个问题:值太碎(如 0.487326 核)、微小变化触发频繁驱逐、不同 Pod 之间值不一致。所以推荐要做规整:
- 步长(step):把推荐向上取整到最近的规整步长。lab 的
Recommend对 0..99 取 P90=89,按 step=10 向上取整到 90。 - CPU 最小单位:K8s 的 CPU 是毫核,内存是字节;规整避免出现无意义的尾数,也让 Pod 间比较与 QoS 分类稳定。
- 上下界的规整:lower/upper 也做同样处理,保证「是否干预」的判断基于规整后的值,与可下发值一致。
规整是「算法到运维」的最后一公里:推荐先算后整,先保证分位正确,再保证值可下发、可比较、可审计。规整步长过大则丢精度,过小则保留噪声;VPA 的默认步长在毫核/百兆字节量级,足够平滑。
规整还影响收敛的单调性:向上取整让推荐只会「偏大不会偏小」,配合下界判断,能避免「推荐 89 下发 89、下一轮又算出 88」的抖动。一步取整的代价是平均多申请半步长的资源——对毫核/百兆量级的步长,这个误差可接受。
P50/P90/P99 取舍表
| 维度 | P50 | P90 | P95/P99 |
|---|---|---|---|
| 覆盖 | 一半时间 | 九成时间 | 95%/99% |
| 资源成本 | 最低 | 中 | 高 |
| 高峰保障 | 差 | 可接受 | 强 |
| 抗单次离群 | 中 | 最好 | 差(易被顶样本拉动) |
| 适用 | 测试/无状态批任务 | 默认(VPA target) | 内存、严格延迟 SLO |
| 超卖后果 | 频繁打穿 | 偶发打穿 | 少数闲置 |
选型不是一次定死:同一工作负载可以对 CPU 与内存选不同百分位(CPU P90 省成本、内存 P95 保不 OOM),也可以随 SLO 变化调整。百分位是把「风险」翻译成「数字」的旋钮——多一分保障,就多一份成本。
给一个落地顺序:先用 P90 跑两周,看 OOM/延迟告警与资源水位;若内存侧仍偶发 OOM,把内存的 targetPercentile 单独调到 0.95;若成本压力大且延迟容忍度高,把 CPU 下探到 0.85。先按默认跑起来,再按监控数据微调,比一开始就追求「最安全」更划算。
三个常见误解
- 「P99 最安全,一律选 P99」——错误。P99 意味着 99% 的时间资源过剩;正确做法按「超卖后果」选——可压缩资源 P90 足够,不可压缩资源才需要更高。
- 「画像直接用历史最大值最稳」——错误。最大值完全被离群样本钉死,一次毛刺让推荐永远高位;分位数才把「偶尔一次」与「经常发生」区分开。
- 「推荐值就是最终 requests,不用管 Pod 级开销」——错误。RuntimeClass 的 PodOverhead 与 sidecar 开销都要叠加进最终申请,否则运行时开销会挤占业务 requests。
本节 lab
本节把「有序样本百分位插值计算」落到 Percentile 与 Recommend:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestVpaPercentile -v
TestVpaPercentile 用 0..29 的有序样本验证:P90 得 26、P50 得 14——线性插值公式 rank = p/100 × n 的精确结果。这正是 Recommender 画像读数的核心:把样本分布压成一个分位值。配合 12.1 的 TestVpaRecommendation(P90=89 → 步长 10 → 90)看,「先分位、再规整」的完整管线就闭合了。
再看一个细节:lab 的 Percentile 对 30 个样本的 P50 取到 14(rank=15,整数秩)、P90 取到 26(rank=27)。当 rank 不是整数时它会线性插值——这正是「样本量小、分布不光滑」时的标准处理。真实直方图桶是离散的,读数天然带一定粒度;插值让 lab 在任意样本量下都给出连续结果,方便断言。
从 0..29 的 30 个样本里读到 P90=26,直观上也说明:P90 只被最大的 10% 样本影响,前 90% 的分布形态怎么变,读数都不动——离群抗性在这一行代码里被量化了。
一句话总结本节
VPA 用「历史画像 + 百分位」而不是实时值做推荐:分位数天然抗离群,P90 是覆盖与成本的默认平衡点;样本经窗口与指数衰减跟上演化,PodOverhead 在注入层叠加,最后按步长规整成可下发的 requests。百分位是把风险翻成数字的旋钮——12.3 接着讲这个推荐值如何按更新模式生效,到那时,「百分位选多少」的答案会直接决定「Recreate 重建出来的 Pod 值是多少」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。