13.2 外部指标进入 HPA
13.1 讲了 ScaledObject 如何把业务指标声明成伸缩意图,但真正执行伸缩的仍然是 HPA。中间必须有一座桥:把 KEDA 从外部系统取到的指标,变成 HPA 能读的 External 指标。本节拆这座桥——指标服务器的角色、目标值语义、多触发器合并,以及这条链路上每段延迟对伸缩决策的影响。
HPA 的四种指标来源
第 11 章讲过 HPA 消费指标的四种来源,先把它列全,External 只是其中一种:
| 来源类型 | 指标形态 | 数据从哪来 | 典型用途 |
|---|---|---|---|
| Resource | CPU/内存利用率 | metrics-server(resource metrics API) | 常规资源伸缩 |
| Pods | 每个 Pod 的自定义指标 | custom.metrics.k8s.io | 每 Pod 指标(如 qps/副本) |
| Object | 单个对象暴露的指标 | custom.metrics.k8s.io | 网关/队列对象指标 |
| External | 无 Pod 归属的全局指标 | external.metrics.k8s.io | 队列深度、外部 rps、业务量 |
前三类都和集群内对象(Node、Pod、某 Deployment)绑定;External 不同——它不绑定任何对象,只有一个全局命名和一个数值。这让它成为接入『集群外的业务指标源』的标准通道。KEDA 正是这个通道最常见的实现:ScaledObject → KEDA 指标服务器 → external.metrics.k8s.io → HPA。
External 指标:没有『每副本』概念的全局指标
External 指标的语义要拎清:它只是一个数。external.metrics.k8s.io/v1beta1 的请求形如 GET /apis/external.metrics.k8s.io/v1beta1/namespaces/default/queue-depth,返回:
{
"items": [
{
"metricName": "queue-depth",
"value": "1000",
"timestamp": "<ISO 时间戳>"
}
]
}
注意 HPA 读的是总量(1000 条),不是每副本。正因为如此,目标值的语义决定了换算方向(下一节):如果目标是每副本值,HPA 就要把总量除以每副本目标得到副本数;如果目标是总量,则要考虑当前副本数。这就是 External 指标和其他三种来源最大的不同——它没有天然的『平均到每个 Pod』这一步,全靠目标类型补。
指标服务器:把 scaler 暴露成 Metrics API
HPA 通过标准的 custom metrics 聚合链路读指标,KEDA 在链路的服务端做了一个指标服务器(keda-metrics-apiserver):
- 它是一个聚合型 API 服务器,实现
external.metrics.k8s.io和custom.metrics.k8s.io两个 API group,注册进集群的 apiserver 聚合层。 - HPA 每次取数发起标准 HTTP 请求;指标服务器根据 metricName 反查对应的 ScaledObject,实例化其中的 scaler,调用
GetMetricsAndActivity拿当前值,包装成上面的 JSON 返回。 - 缓存与隔离:指标服务器按 ScaledObject 隔离取数逻辑;多个 ScaledObject 的指标名不同,HPA 只读自己 HPA 声明的那一个。取值结果按
pollingInterval的节奏刷新,HPA 读到的是上一次轮询的快照。
指标服务器让 KEDA 不必侵入 HPA 源码:HPA 以为在跟任意标准 External 指标打交道,其实背后是几十种 scaler 的适配。这也是 13.1 事件源抽象的落地——适配层不只在控制器里,也在 API 服务端。
目标值语义:AverageValue 与 Value
HPA 的目标类型决定换算公式,KEDA 的 scaler 生成 metric spec 时在这两者间选:
Value(总量目标):期望副本 =ceil(当前值 ÷ 目标值 × 当前副本数)。目标是一个绝对总量,副本数越多要求总量越高,常用于『整条管道总容量』。AverageValue(每副本目标):期望副本 =ceil(当前值 ÷ 每副本目标值)。这是 KEDA 绝大多数 scaler 的默认选择:queueLength、lagThreshold、targetValue都是每副本语义,HPA 直接相除,不乘当前副本数。
举个数值对比:队列总量 1000 条。
| 目标类型 | 目标值 | 计算 | 期望副本 |
|---|---|---|---|
| AverageValue | 200/副本 | ceil(1000 ÷ 200) | 5 |
| Value | 800 总量 | ceil(1000 ÷ 800 × 当前副本) | 依赖当前副本 |
Value 类型容易引发困惑:它乘了当前副本数,所以同样的总量目标,不同起点算出的期望不同。KEDA 选择 AverageValue 正是为了让期望只由『负载 ÷ 容量』决定,语义可解释。
KEDA 生成 HPA:targetValue 怎么定
ScaledObject 里 trigger 的 queueLength: 200 是每副本目标,KEDA 把它翻译成 HPA 的 metric spec:
- 每个 trigger 生成一个
Externalmetric,Metric.Name用唯一标识(ScaledObject 名 + 序号 + 类型),Target设为AverageValue = 200。 - 多个 trigger 就是多个 metric spec,HPA 会为每个 spec 独立算期望副本。
- 生成的 HPA 还带上
minReplicas/maxReplicas与behavior(KEDA 默认注入 scale-down 稳定窗口),把 ScaledObject 的语义完整落地。
生成的 HPA 大致长这样(结构示意,字段精简):
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: keda-hpa-order-worker
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: order-worker
minReplicas: 2
maxReplicas: 30
metrics:
- type: External
external:
metric:
name: s0-prometheus-order_queue_depth
target:
type: AverageValue
averageValue: "200"
behavior:
scaleDown:
stabilizationWindowSeconds: 300
注意两个细节:metric 名带 s0- 前缀(ScaledObject 下第 0 个 trigger 的编号)保证多 trigger 唯一;AverageValue 直接用每副本目标 200。用户看到的还是一个 ScaledObject,控制器在背后维护的是一个 HPA + 一组 External 指标。改 ScaledObject 的 target,等于改 HPA 的 metric target——声明和执行的边界就在这里:声明层(ScaledObject)表达策略,执行层(HPA)表达换算。
多 trigger 合并:取最大还是求和
ScaledObject 允许列多个 triggers,例如『队列深度 OR 请求速率』同时驱动。合并规则值得说清楚:
- 每个 trigger 独立算期望副本,HPA 在多指标时的语义是取最大值——只要有一个指标说『要更多副本』,就按它扩。这是『或』语义,不是『求和』。
- 为什么取最大?伸缩的上界安全优先:任何单一信号告急都代表工作负载可能过载,取最大能最快响应最紧的约束。
- 反例:如果你想让『队列长 + rps 高』叠加出更多副本(乘法效应),多 trigger 做不到,得用单一查询把两个因子合成一个指标。
- 实践提示:多 trigger 时每个 trigger 的指标名必须唯一,且各自的目标值要独立校准——它们会同时参与决策,最激进的那个主导。
一条从指标到副本的完整链路
把本节所有环节串成一次完整动作(队列积压 1000 条、每副本目标 200、当前副本 3):
- HPA 到
external.metrics.k8s.io取queue-depth,指标服务器返回最近轮询快照 1000。 replica_calculator按AverageValue换算:ceil(1000 ÷ 200) = 5。- 与当前副本 3 比较,期望 5 更大且未超
maxReplicas,进入扩容路径。 - HPA 更新 Deployment 副本为 5,ReplicaSet 补建 2 个新 Pod(走第 1–5 章的调度链路)。
- 下一轮指标降到 250:期望
ceil(250 ÷ 200) = 2,但minReplicas是 2,副本保持 2 不再缩。 - 若指标短暂抖动在 300 上下,期望在 2 附近来回——稳定窗口(13.1 的 cooldown)把变化压住,避免每 15s 反复伸缩。
这条链路的重点是 HPA 是决策者、KEDA 是取数者、ReplicaSet 是执行者。任何一个环节的延迟(源采样、轮询、同步周期)都会叠加进『负载变化→副本变化』的端到端时延,这也是上一节『新鲜度预算』的全部含义。
指标缺失时的降级行为
External 指标链路一旦某段断裂,HPA 的默认行为是盲飞但保守:
- 取不到指标:HPA 跳过本轮决策,保留当前副本数,不因为『没数』就乱缩。这比『没数就当 0 缩到最小』安全,但代价是负载涨了也不扩。
- KEDA fallback:ScaledObject 可以声明
spec.fallback.replicas与spec.fallback.threshold——连续取数失败超过阈值次数后,把副本强制设为 fallback 值,回到确定性的兜底水位。 - 取舍:‘保留现有副本’ 和 ‘回落 fallback 值’ 是两种哲学——前者相信旧状态,后者相信预定值。前者适合持续型负载,后者适合『缺指标=该歇了』的批处理。
- 可观测:ScaledObject 的
status.conditions里Failed条件与Active条件直接暴露链路健康;把指标服务器与外部系统的错误率接进告警,比等副本卡住才发现好得多。
降级行为再次说明:伸缩控制回路的鲁棒性不只取决于算法,还取决于『数据没了怎么办』的兜底设计。真实集群里指标源抖动是常态,这层兜底决定了事故发生时是『保持』还是『震荡』。
新鲜度预算:pollingInterval、指标延迟与 HPA 轮询
指标从源头到决策,经过四段,每一段都贡献延迟:
- 指标源自身:消息中间件的积压统计、Prometheus 的 scrape 间隔与聚合窗口(
rate[5m]天然滞后),这是底层的固有延迟。 - KEDA 轮询:
pollingInterval(默认 30s)决定 KEDA 多久去源头取一次数。 - 指标服务器缓存:取回的数值先缓存,HPA 读的是最近一次轮询的快照。
- HPA 同步:HPA 控制器每
--horizontal-pod-autoscaler-sync-period(默认 15s)调一次 External API。
把四段加起来:一次指标变化到 HPA 采取行动,最坏是『源延迟 + 30s + 15s』量级,远不是秒级。设定 pollingInterval 时按『可接受的响应时间』倒推:对突发敏感的服务调小到 10s(代价是外部系统查询压力翻倍),对积压容忍的批处理保持 30s 甚至更大。新鲜度是花钱买来的——每段都在消耗外部系统或集群的请求预算。
与 11.2 指标来源的衔接
把这条链和第 11 章连起来看:11.2 讲 HPA 如何从 metrics-server 与 custom metrics 取数,External 是它的第四种来源,KEDA 只是把这个来源类型做成规模化产品。衔接点有三个:
- 同一套 HPA 控制器:不管指标来自 metrics-server 还是 KEDA,决策循环完全相同——
replica_calculator按统一公式算期望,稳定窗口、min/max 夹取逻辑不变。 - 同一套聚合 API 规范:custom.metrics.k8s.io / external.metrics.k8s.io 是标准 API group,任何实现(KEDA、Prometheus Adapter、自研 adapter)都能接入,HPA 不区分背后是谁。
- 职责分工:Resource/Pods 指标讲『Pod 用得多不多』,External 讲『业务负载高不高』。两者可以共存——一个 Deployment 同时挂 CPU 型 HPA 与 KEDA 生成的 External 型 HPA 时,取各自期望的最大值(如果 scaleTargetRef 相同,实际上会冲突,生产建议只用一个控制器主导)。
三个常见误解
- 「External 指标会把指标平均到每个副本再比较」——错误。External 指标没有 Pod 概念,返回的是总量;目标用
AverageValue时 HPA 直接ceil(总量 ÷ 每副本目标),没有先平均这一步。 - 「多 trigger 是多个指标叠加求和」——错误。多指标取最大期望副本,是『或』语义。想叠加得合成单一指标。
- 「pollingInterval 越小越快,无限调小就好」——错误。指标链路有四段延迟,只调小 KEDA 轮询可能只是把压力转嫁给外部系统;先看瓶颈在源延迟还是轮询,再决定动哪一段。
本节 lab
本节把『外部指标值 ÷ 每副本阈值 = 期望副本』的核心公式落到 autoscaler/autoscaler.go 的 ScaledObject.DesiredReplicas:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestKedaQueueLength -v
TestKedaQueueLength 用 ScaledObject{Source: QueueLength{Len: 100}, TargetPerPod: 20} 断言期望副本为 5——这就是本节讲的 AverageValue 语义:外部指标总量 100、每副本目标 20,ceil(100/20)=5。lab 里没有真正的 HPA 与指标服务器,但把『目标值换算』这一个核心环节用可运行代码钉死了,其余环节(API 服务、HPA 轮询)是它的装配外壳。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。