《Kubernetes 分布式系统原理深入解析》11.2 指标来源:metrics-server/自定义/聚合

HPA 的指标来自三类来源:metrics-server 的 Resource 指标、自定义指标 API 与外部指标 API,统一经聚合层接入、后端可插拔。本节对比三类来源的采集口径、延迟与降级行为:取不到指标时 HPA 沿用最近值、不伸缩。lab 用 autoscaler 用例验证指标数值到期望副本的比例计算与上下限夹取。

11.2 指标来源:metrics-server/自定义/聚合

11.1 的比例公式假设「利用率」随时可得,但公式本身不产生数据。HPA 拿到的指标从哪来、延迟多大、拿不到时怎么办,直接决定公式算得准不准。本节拆开三类指标源与背后的聚合层,并讲清「指标不可用」时的降级语义。

读完本节你应该能回答:三类指标源分别从哪来、指标滞后为什么影响伸缩准确性、指标源挂了 HPA 会怎么办——这三个问题的答案决定了 11.1 公式在实际集群里到底有多少「水分」。

指标来源的层级

HPA 的指标在 API 层面分三层,对应三种命名空间:

  1. Resource 指标:metrics.k8s.io,由 metrics-server 提供,值是节点/Pod 的 CPU、内存等资源实际用量。这是默认、最常用的来源,对应 resource 类型的 HPA 指标。
  2. 自定义指标:custom.metrics.k8s.io,度量集群内对象(Deployment、Pod、Service 等)的业务指标,如队列消费速率、请求延迟分位数。
  3. 外部指标:external.metrics.k8s.io,度量集群外系统的指标,如云厂商消息队列深度、外部 API 的负载。没有「对象」维度,只有「指标名 + 标签」维度。

层级关系不是「三选一」,而是可叠加:一个 HPA 可以同时引用多个指标,控制器对每个指标各算一个 desired,取最大者作为最终期望。Resource 是基础层,自定义/外部是扩展层,它们的接入都走同一个聚合层。

每个层级的 HPA 声明方式对应 spec.metrics[].type 的几种取值:Resource、Pods(按 Pod 平均的自定义指标)、Object(按对象取值的自定义指标)、External。写 HPA YAML 时最容易混淆的是 Pods 与 Object——前者自带「除以副本数」的均值语义,后者直接取对象指标值。这也是 11.1 公式里 utilization 的出处:它来自某个具体指标类型与目标语义的组合。

一个典型的渐进式接入路径是:先用 Resource 指标让 HPA 跑起来(零额外依赖),再按需叠加自定义指标,最后才考虑外部指标。每一步都意味着多一层适配器依赖与排障面——能用更简单的来源满足需求,就不要引入更复杂的。本节的地图:先看三层指标怎么组织,再深入 metrics-server 的采集口径,然后看自定义/外部指标怎么接进来,最后讲聚合层与降级行为。

metrics-server:Resource 指标的采集口径

metrics-server 是 Resource 指标的标准实现,部署在集群内,以聚合 API 的方式暴露:

  • 采集路径:metrics-server 每 --metric-resolution(默认 15s)轮询各节点 kubelet 的 Summary API(10250 端口),拿到每个容器的 CPU 与内存用量。
  • CPU 口径:kubelet 的 CPU 用量来自容器运行时与 cgroup,单位是 CPU 时间;metrics-server 把用量除以 requests 换算成利用率。HPA 对 Resource 指标计算时,utilization = 实际用量 / requests(按有 requests 的 Pod 计入)。
  • 内存口径:内存用量的瞬时工作集(working set),是不可压缩资源,除以 requests 得利用率。
  • 延迟与内存窗口:metrics-server 把采集到的数据放在内存中的短期窗口(分钟级),HPA 每 15s 同步读取一次,整体「指标从发生到被 HPA 消费」的延迟量级是几十秒。

关键取舍:metrics-server 只做「近实时快照」,不存历史。它小、无状态、可水平扩,但你不能拿它回放昨天的 CPU——历史要接 Prometheus 等 TSDB 另做。HPA 不需要长历史,它要的是「现在多热」,所以短窗口是够用的。

Resource 指标还有一个使用前提:目标 Pod 必须设置了 requests。HPA 的利用率 = 用量 / requests,requests 是分母;没设 requests 的 Pod 无法参与平均,甚至会让该指标的利用率口径失效。这也是 VPA 与 HPA 的天然接口——requests 先要合理,HPA 的利用率才有意义(第 12 章会展开)。

自定义指标 API(Custom Metrics)

自定义指标允许 HPA 消费业务指标,接入方式是适配器:

  • 标准 API:custom.metrics.k8s.io,请求形如 GET /apis/custom.metrics.k8s.io/v1beta2/namespaces/{ns}/pods/{name}/{metric}。
  • 常见适配器:Prometheus Adapter(k8s-prometheus-adapter)、kube-metrics-adapter、云厂商自带适配器。它们把后端查询翻译成聚合 API 响应。
  • 口径由适配器决定:返回的值可以是「每 Pod 的指标值」,HPA 用「平均值」目标(averageValue);也可以是无 Pod 维度(如按 Deployment 汇总),用「总值」目标(value)。

自定义指标的选择要回答一个问题:指标是否随副本数线性伸缩。队列消费速率、每秒请求数这类「总量」指标适合;而「平均延迟」不适合当伸缩指标——副本多了平均延迟未必降。选错了指标,比例公式会把副本数推向错误方向。

averageValue 与 value 的口径差异直接改变公式:前者把指标总值除以「就绪 Pod 数」得到每副本负载,再与 target 比较,行为与 Resource 指标类似;后者直接把指标总值与 target 比较,期望副本 = ceil(总值 / target)。选错口径会差出「除以副本数」这一步——例如用 Deployment 汇总 QPS 做 value 目标,扩容后总值不变、每副本负载下降,HPA 会缩回来,形成「扩了又缩」的循环。

适配器本身是集群里又一个「常驻但有状态」的组件:它要连后端(Prometheus 等)、要定期同步规则、要处理标签匹配。把它当作有状态服务对待——上反亲和、给足资源、监控它的错误率。很多 HPA 指标「看起来时有时无」的问题,最后都落在适配器日志里的一个规则没生效。

外部指标 API(External Metrics)

外部指标把伸缩信号接到集群外:

  • 标准 API:external.metrics.k8s.io,指标只有「名字 + 标签」,没有集群对象维度。典型场景是云厂商队列(SQS 深度、Kafka lag)、外部 SLA 探针。
  • 与自定义指标的分界:指标是否关联集群内对象。关联对象(如 Pod 的指标)走 custom;不关联、纯粹外部系统走 external。
  • 适配器同样负责实现:云厂商通常提供自家适配器,把云监控指标映射到聚合 API。

外部指标的延迟通常比 metrics-server 更大——云监控 API 的采集与聚合周期分钟级是常态。对外部指标,容忍带与稳定窗口的取值要考虑这种延迟:指标本身就滞后,HPA 如果窗口调得太紧,会在「指标还在路上」时做出过激反应。

外部指标另一个特点是多集群共享:一个消息队列可以被多个集群的 HPA 消费,指标名与标签必须全局唯一,否则不同集群的伸缩规则会互相踩踏。规划外部指标时,命名空间与标签约定(如 env=prod、region=...)要提前定好。

聚合层:API aggregation 如何接入

三类指标统一走 apiserver 的聚合层(API aggregation),这是它们能无缝接入的架构原因:

  • 每类指标注册一个 APIService(apiregistration.k8s.io/v1),把对应 API 组(metrics.k8s.io、custom.metrics.k8s.io、external.metrics.k8s.io)代理到后端服务。
  • HPA 只跟 apiserver 说话:GET /apis/metrics.k8s.io/v1beta1/... 由聚合层路由到 metrics-server,GET /apis/custom.metrics.k8s.io/... 路由到适配器。HPA 不用知道后端是谁。
  • 聚合层带来可替换性:metrics-server 可以是任意实现(只要满足 metrics.k8s.io 协议),Prometheus Adapter 也可以换别的适配器,HPA 代码零改动。
  • 代价:多一跳代理,聚合层要处理超时、重试与返回码映射;后端慢会直接拖慢 HPA 的同步节奏。

一句话:协议标准化(聚合 API)让指标后端成为插拔组件。这也是「K8s 不内置监控、只定义接口」哲学的体现——采集谁做、存多久,都留给生态。

聚合层的排障也遵循同一路径:kubectl get apiservice 看每个服务是否 Available,kubectl get --raw /apis/metrics.k8s.io/v1beta1 直接打原始 API 验证。聚合层故障时,HPA 拿到 5xx 会按降级语义处理——所以 apiservice 的健康状态要纳入监控。

对控制器而言,它只依赖 metrics.k8s.io、custom.metrics.k8s.io、external.metrics.k8s.io 这三个 API 组的可用性——这也是「集群缺了 metrics-server,HPA 就退化为空转」的根本原因:不是 HPA 坏了,而是它依赖的 API 组无人应答。

指标获取失败时的降级行为

指标不是永远可得的。metrics-server 重启、适配器超时、Pod 刚创建尚无数据,都会让 HPA 拿不到当前值。此时 HPA 的行为是保留上次决策、不伸缩:

  • HPA 对每个指标维护一个观察窗口;某拍取不到新值,就沿用最近的有效值继续计算,并在 HPA 的 status.conditions 里记录 FailedGetResourceMetric / FailedGetExternalMetric 等条件。
  • 它不会因为取不到指标就把副本缩到 min,也不会盲目扩容——伸缩需要「证据」,没证据就维持现状。
  • 新 Pod 的启动期有特殊处理:--horizontal-pod-autoscaler-initial-readiness-delay(默认 30s)内不因指标缺失做激进的驱逐/重建判断,--horizontal-pod-autoscaler-cpu-initialization-period(默认 5m)内 CPU 数据缺失的 Pod 被当作低负载处理,避免启动尖峰把利用率顶上去误扩容。

降级语义的设计逻辑:伸缩是高风险的写操作,宁可错过一次扩容,也不在信息不全时乱动。运维上要区分「HPA 不动是因为负载低,还是因为指标挂了」——看 HPA 的 conditions 是最直接的诊断入口。

还有一个容易被忽略的时序点:HPA 的降级是逐拍的——这一拍取不到就用上一拍的值,下一拍恢复就用新值,中间不需要任何状态复位。它不像分布式事务那样需要「恢复确认」,因为每次决策都是无状态的独立计算。这个特性让指标源的抖动只会造成「短暂停滞」,而不会造成「错乱」。

指标延迟与伸缩准确性的权衡

指标延迟是伸缩准确性的头号敌人,三者之间是三角关系:

因素倾向代价
采集频率高(metrics-server 5s vs 15s)更快发现趋势apiserver/kubelet 压力增大
指标窗口短(如 1 分钟)更贴近实时单次抖动穿透概率增大
容忍带大 / 稳定窗口长更稳、少振荡对真实趋势响应慢

实用口径:Resource 指标几十秒延迟可接受,因为 CPU 趋势通常分钟级变化;外部/云指标分钟级延迟要接受,别把稳定窗口调到比指标延迟还短;自定义指标要看业务,队列深度这类「总量」指标延迟半小时也能用,而限流场景需要尽量新鲜的指标。

另一个准确性来源是分母:HPA 用「就绪且设置了 requests 的 Pod」做平均。副本还在启动(未就绪)时不计入分母,指标被「摊」到更少的 Pod 上——这是故意的,因为新 Pod 还没开始承接负载。理解这一点,就明白为什么「启动慢的应用扩容后指标看起来异常」。

最后记住:指标延迟本身也是伸缩稳定性的一部分。11.3 的稳定窗口本质上在「等指标确认」;如果指标延迟超过窗口,稳定机制就会失效。反过来,指标越新鲜,稳定窗口越可以收短——所以「升级指标链路」和「调小稳定窗口」常常是一对配套优化。

三类指标源对比

维度Resource 指标自定义指标外部指标
API 组metrics.k8s.iocustom.metrics.k8s.ioexternal.metrics.k8s.io
典型后端metrics-serverPrometheus Adapter 等云厂商适配器
度量对象节点/Pod 资源用量集群内对象业务指标集群外系统指标
有无对象维度有(Pod)有(对象名)无(标签维度)
指标新鲜度近实时(几十秒)取决于适配器(秒到分钟)通常分钟级
是否存历史否(内存短窗口)取决于后端(TSDB 有)取决于后端
典型用例CPU/内存利用率QPS、队列消费速率云队列深度、外部 SLA

表格里的「是否存历史」最容易引起误解:Resource 不存、自定义/外部取决于后端。如果想让 HPA 参考「上周同时段的负载」,需要的是历史指标系统加支持读取历史窗口的适配器——这是把伸缩从「反应式」升级为「预测式」的第一步,但多数场景先做好反应式就够了。

选型口诀:能用 Resource 就不接自定义,能用自定义就不接外部——越靠左,标准越稳、依赖越少;越靠右,越接近业务真相,但延迟、可用性与口径都更依赖适配器质量。

当一个 HPA 配了多个指标时,控制器对每个指标各算期望副本,取最大值应用。这带来一个运维直觉:最「热」的指标决定副本数。CPU 不高但队列很深,副本数由队列决定;队列清空后 CPU 仍高,副本数由 CPU 决定。多指标不会「求和」,只会「取 max」——每多一个指标就多一个可能的瓶颈维度,配少了反而更可控。

指标链路排障清单

指标相关的伸缩问题,九成能归到「链路太长」:

  • 采集缺失:metrics-server 或适配器 Pod 是否就绪?适配器的配置与规则是否加载?先查适配器日志,再查 HPA。
  • 口径漂移:同一指标在聚合 API 层返回的值与后端查询结果是否一致?适配器规则是否命中了正确的标签与对象?
  • 延迟过大:从「业务指标变化」到「HPA 看到新值」的时间,用 curl 打聚合 API 对比时间戳即可量出来。
  • 降级静默:HPA 一直不动时先看 status.conditions——是 FailedGet* 还是 AbleToScale=False?前者是指标链路问题,后者是 Scale 子资源问题。
  • 指标源自身故障:自定义指标依赖的 Pod(如 Prometheus)若被调度到异常节点,整条链路都会抖——指标源自己也要上 PDB 与反亲和。

一张自查顺序表:看 conditions → 打聚合 API → 看适配器日志 → 看后端查询,四步就能把「指标问题」从「伸缩问题」里剥出来。

排查时记得先确认「这个 HPA 到底在等哪个指标」——一个配了三个指标的 HPA,任何一个出问题都会表现为「副本数异常」,逐指标验证才能定位是哪一个。

三个常见误解

  • 「metrics-server 保存历史,能回溯一周的 CPU」——错误。它只保留内存中的短期窗口,重启即失;查历史要接 Prometheus 等 TSDB,那是另一套系统。
  • 「自定义指标是云厂商专属的」——错误。custom.metrics.k8s.io 与 external.metrics.k8s.io 是标准 API,任意适配器都能接入,云厂商只是常见实现之一。
  • 「指标源挂了,HPA 会把副本缩到最小」——错误。取不到指标时 HPA 沿用最近有效值并记录失败条件,不伸缩;「没证据不动」是降级的默认语义。

本节 lab

本节把「指标数值 → 期望副本的比例计算 + 上下限夹取」落到 autoscaler 的 DesiredReplicas 与 Scale,用两个用例验证:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestHpaDesiredReplicasDouble|TestHpaClampMinMax' -v

TestHpaDesiredReplicasDouble 验证的是「无论指标来自哪种来源,进入公式的都是一个利用率数字」——Resource、自定义、外部指标最终都折算成这个数字,比例映射一样。TestHpaClampMinMax 验证期望 30 被夹到 max 20、期望 0 被夹到 min 3——降级与策略边界发生在公式之后。指标来源的差异只影响「利用率数字有多新鲜」,不影响「拿到数字后怎么算」。

反过来看,如果指标源返回异常(超时、5xx),DesiredReplicas 收不到输入,回路就维持现状——对应本节的降级语义。这个用例把「指标来源差异不影响计算」固定在代码里:公式只认数字,不认来源。

对生产集群而言,指标源与公式的关系可以概括成一句:聚合层保证「有地方取」,适配器保证「取得到」,公式只负责「算得对」——三层职责各有各的故障面。

一句话总结本节

HPA 的指标按 Resource/自定义/外部三层组织,统一经聚合 API 接入、后端可插拔;metrics-server 提供近实时的 CPU/内存快照而不存历史,取不到指标时 HPA 沿用最近值、不伸缩。指标来源决定信号的延迟与口径,进而决定稳定窗口与容忍带的取值——11.3 就围绕「信号滞后与伸缩振荡」展开,到那时「指标新鲜度」会成为稳定窗口取值的第一个输入。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图