《Kubernetes 分布式系统原理深入解析》13.2 外部指标进入 HPA

KEDA 不直接改副本数,而是把业务指标翻译成 HPA 能消费的 External 指标:指标服务器把 scaler 暴露成 external.metrics.k8s.io API,多 trigger 由 HPA 取最大期望合并,targetValue 决定换算方向。本节讲指标服务器的角色、目标值语义、多触发器合并与指标新鲜度预算,并用 lab 的队列长度用例验证『指标值÷每副本阈值=期望副本』的核心公式。

13.2 外部指标进入 HPA

13.1 讲了 ScaledObject 如何把业务指标声明成伸缩意图,但真正执行伸缩的仍然是 HPA。中间必须有一座桥:把 KEDA 从外部系统取到的指标,变成 HPA 能读的 External 指标。本节拆这座桥——指标服务器的角色、目标值语义、多触发器合并,以及这条链路上每段延迟对伸缩决策的影响。

HPA 的四种指标来源

第 11 章讲过 HPA 消费指标的四种来源,先把它列全,External 只是其中一种:

来源类型指标形态数据从哪来典型用途
ResourceCPU/内存利用率metrics-server(resource metrics API)常规资源伸缩
Pods每个 Pod 的自定义指标custom.metrics.k8s.io每 Pod 指标(如 qps/副本)
Object单个对象暴露的指标custom.metrics.k8s.io网关/队列对象指标
External无 Pod 归属的全局指标external.metrics.k8s.io队列深度、外部 rps、业务量

前三类都和集群内对象(Node、Pod、某 Deployment)绑定;External 不同——它不绑定任何对象,只有一个全局命名和一个数值。这让它成为接入『集群外的业务指标源』的标准通道。KEDA 正是这个通道最常见的实现:ScaledObject → KEDA 指标服务器 → external.metrics.k8s.io → HPA。

External 指标:没有『每副本』概念的全局指标

External 指标的语义要拎清:它只是一个数。external.metrics.k8s.io/v1beta1 的请求形如 GET /apis/external.metrics.k8s.io/v1beta1/namespaces/default/queue-depth,返回:

{
  "items": [
    {
      "metricName": "queue-depth",
      "value": "1000",
      "timestamp": "<ISO 时间戳>"
    }
  ]
}

注意 HPA 读的是总量(1000 条),不是每副本。正因为如此,目标值的语义决定了换算方向(下一节):如果目标是每副本值,HPA 就要把总量除以每副本目标得到副本数;如果目标是总量,则要考虑当前副本数。这就是 External 指标和其他三种来源最大的不同——它没有天然的『平均到每个 Pod』这一步,全靠目标类型补。

指标服务器:把 scaler 暴露成 Metrics API

HPA 通过标准的 custom metrics 聚合链路读指标,KEDA 在链路的服务端做了一个指标服务器(keda-metrics-apiserver):

  • 它是一个聚合型 API 服务器,实现 external.metrics.k8s.io 和 custom.metrics.k8s.io 两个 API group,注册进集群的 apiserver 聚合层。
  • HPA 每次取数发起标准 HTTP 请求;指标服务器根据 metricName 反查对应的 ScaledObject,实例化其中的 scaler,调用 GetMetricsAndActivity 拿当前值,包装成上面的 JSON 返回。
  • 缓存与隔离:指标服务器按 ScaledObject 隔离取数逻辑;多个 ScaledObject 的指标名不同,HPA 只读自己 HPA 声明的那一个。取值结果按 pollingInterval 的节奏刷新,HPA 读到的是上一次轮询的快照。

指标服务器让 KEDA 不必侵入 HPA 源码:HPA 以为在跟任意标准 External 指标打交道,其实背后是几十种 scaler 的适配。这也是 13.1 事件源抽象的落地——适配层不只在控制器里,也在 API 服务端。

目标值语义:AverageValue 与 Value

HPA 的目标类型决定换算公式,KEDA 的 scaler 生成 metric spec 时在这两者间选:

  • Value(总量目标):期望副本 = ceil(当前值 ÷ 目标值 × 当前副本数)。目标是一个绝对总量,副本数越多要求总量越高,常用于『整条管道总容量』。
  • AverageValue(每副本目标):期望副本 = ceil(当前值 ÷ 每副本目标值)。这是 KEDA 绝大多数 scaler 的默认选择:queueLength、lagThreshold、targetValue 都是每副本语义,HPA 直接相除,不乘当前副本数。

举个数值对比:队列总量 1000 条。

目标类型目标值计算期望副本
AverageValue200/副本ceil(1000 ÷ 200)5
Value800 总量ceil(1000 ÷ 800 × 当前副本)依赖当前副本

Value 类型容易引发困惑:它乘了当前副本数,所以同样的总量目标,不同起点算出的期望不同。KEDA 选择 AverageValue 正是为了让期望只由『负载 ÷ 容量』决定,语义可解释。

KEDA 生成 HPA:targetValue 怎么定

ScaledObject 里 trigger 的 queueLength: 200 是每副本目标,KEDA 把它翻译成 HPA 的 metric spec:

  • 每个 trigger 生成一个 External metric,Metric.Name 用唯一标识(ScaledObject 名 + 序号 + 类型),Target 设为 AverageValue = 200。
  • 多个 trigger 就是多个 metric spec,HPA 会为每个 spec 独立算期望副本。
  • 生成的 HPA 还带上 minReplicas/maxReplicas 与 behavior(KEDA 默认注入 scale-down 稳定窗口),把 ScaledObject 的语义完整落地。

生成的 HPA 大致长这样(结构示意,字段精简):

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: keda-hpa-order-worker
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: order-worker
  minReplicas: 2
  maxReplicas: 30
  metrics:
    - type: External
      external:
        metric:
          name: s0-prometheus-order_queue_depth
        target:
          type: AverageValue
          averageValue: "200"
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300

注意两个细节:metric 名带 s0- 前缀(ScaledObject 下第 0 个 trigger 的编号)保证多 trigger 唯一;AverageValue 直接用每副本目标 200。用户看到的还是一个 ScaledObject,控制器在背后维护的是一个 HPA + 一组 External 指标。改 ScaledObject 的 target,等于改 HPA 的 metric target——声明和执行的边界就在这里:声明层(ScaledObject)表达策略,执行层(HPA)表达换算。

多 trigger 合并:取最大还是求和

ScaledObject 允许列多个 triggers,例如『队列深度 OR 请求速率』同时驱动。合并规则值得说清楚:

  • 每个 trigger 独立算期望副本,HPA 在多指标时的语义是取最大值——只要有一个指标说『要更多副本』,就按它扩。这是『或』语义,不是『求和』。
  • 为什么取最大?伸缩的上界安全优先:任何单一信号告急都代表工作负载可能过载,取最大能最快响应最紧的约束。
  • 反例:如果你想让『队列长 + rps 高』叠加出更多副本(乘法效应),多 trigger 做不到,得用单一查询把两个因子合成一个指标。
  • 实践提示:多 trigger 时每个 trigger 的指标名必须唯一,且各自的目标值要独立校准——它们会同时参与决策,最激进的那个主导。

一条从指标到副本的完整链路

把本节所有环节串成一次完整动作(队列积压 1000 条、每副本目标 200、当前副本 3):

  1. HPA 到 external.metrics.k8s.io 取 queue-depth,指标服务器返回最近轮询快照 1000。
  2. replica_calculator 按 AverageValue 换算:ceil(1000 ÷ 200) = 5。
  3. 与当前副本 3 比较,期望 5 更大且未超 maxReplicas,进入扩容路径。
  4. HPA 更新 Deployment 副本为 5,ReplicaSet 补建 2 个新 Pod(走第 1–5 章的调度链路)。
  5. 下一轮指标降到 250:期望 ceil(250 ÷ 200) = 2,但 minReplicas 是 2,副本保持 2 不再缩。
  6. 若指标短暂抖动在 300 上下,期望在 2 附近来回——稳定窗口(13.1 的 cooldown)把变化压住,避免每 15s 反复伸缩。

这条链路的重点是 HPA 是决策者、KEDA 是取数者、ReplicaSet 是执行者。任何一个环节的延迟(源采样、轮询、同步周期)都会叠加进『负载变化→副本变化』的端到端时延,这也是上一节『新鲜度预算』的全部含义。

指标缺失时的降级行为

External 指标链路一旦某段断裂,HPA 的默认行为是盲飞但保守:

  • 取不到指标:HPA 跳过本轮决策,保留当前副本数,不因为『没数』就乱缩。这比『没数就当 0 缩到最小』安全,但代价是负载涨了也不扩。
  • KEDA fallback:ScaledObject 可以声明 spec.fallback.replicas 与 spec.fallback.threshold——连续取数失败超过阈值次数后,把副本强制设为 fallback 值,回到确定性的兜底水位。
  • 取舍:‘保留现有副本’ 和 ‘回落 fallback 值’ 是两种哲学——前者相信旧状态,后者相信预定值。前者适合持续型负载,后者适合『缺指标=该歇了』的批处理。
  • 可观测:ScaledObject 的 status.conditions 里 Failed 条件与 Active 条件直接暴露链路健康;把指标服务器与外部系统的错误率接进告警,比等副本卡住才发现好得多。

降级行为再次说明:伸缩控制回路的鲁棒性不只取决于算法,还取决于『数据没了怎么办』的兜底设计。真实集群里指标源抖动是常态,这层兜底决定了事故发生时是『保持』还是『震荡』。

新鲜度预算:pollingInterval、指标延迟与 HPA 轮询

指标从源头到决策,经过四段,每一段都贡献延迟:

  1. 指标源自身:消息中间件的积压统计、Prometheus 的 scrape 间隔与聚合窗口(rate[5m] 天然滞后),这是底层的固有延迟。
  2. KEDA 轮询:pollingInterval(默认 30s)决定 KEDA 多久去源头取一次数。
  3. 指标服务器缓存:取回的数值先缓存,HPA 读的是最近一次轮询的快照。
  4. HPA 同步:HPA 控制器每 --horizontal-pod-autoscaler-sync-period(默认 15s)调一次 External API。

把四段加起来:一次指标变化到 HPA 采取行动,最坏是『源延迟 + 30s + 15s』量级,远不是秒级。设定 pollingInterval 时按『可接受的响应时间』倒推:对突发敏感的服务调小到 10s(代价是外部系统查询压力翻倍),对积压容忍的批处理保持 30s 甚至更大。新鲜度是花钱买来的——每段都在消耗外部系统或集群的请求预算。

与 11.2 指标来源的衔接

把这条链和第 11 章连起来看:11.2 讲 HPA 如何从 metrics-server 与 custom metrics 取数,External 是它的第四种来源,KEDA 只是把这个来源类型做成规模化产品。衔接点有三个:

  • 同一套 HPA 控制器:不管指标来自 metrics-server 还是 KEDA,决策循环完全相同——replica_calculator 按统一公式算期望,稳定窗口、min/max 夹取逻辑不变。
  • 同一套聚合 API 规范:custom.metrics.k8s.io / external.metrics.k8s.io 是标准 API group,任何实现(KEDA、Prometheus Adapter、自研 adapter)都能接入,HPA 不区分背后是谁。
  • 职责分工:Resource/Pods 指标讲『Pod 用得多不多』,External 讲『业务负载高不高』。两者可以共存——一个 Deployment 同时挂 CPU 型 HPA 与 KEDA 生成的 External 型 HPA 时,取各自期望的最大值(如果 scaleTargetRef 相同,实际上会冲突,生产建议只用一个控制器主导)。

三个常见误解

  • 「External 指标会把指标平均到每个副本再比较」——错误。External 指标没有 Pod 概念,返回的是总量;目标用 AverageValue 时 HPA 直接 ceil(总量 ÷ 每副本目标),没有先平均这一步。
  • 「多 trigger 是多个指标叠加求和」——错误。多指标取最大期望副本,是『或』语义。想叠加得合成单一指标。
  • 「pollingInterval 越小越快,无限调小就好」——错误。指标链路有四段延迟,只调小 KEDA 轮询可能只是把压力转嫁给外部系统;先看瓶颈在源延迟还是轮询,再决定动哪一段。

本节 lab

本节把『外部指标值 ÷ 每副本阈值 = 期望副本』的核心公式落到 autoscaler/autoscaler.go 的 ScaledObject.DesiredReplicas:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestKedaQueueLength -v

TestKedaQueueLength 用 ScaledObject{Source: QueueLength{Len: 100}, TargetPerPod: 20} 断言期望副本为 5——这就是本节讲的 AverageValue 语义:外部指标总量 100、每副本目标 20,ceil(100/20)=5。lab 里没有真正的 HPA 与指标服务器,但把『目标值换算』这一个核心环节用可运行代码钉死了,其余环节(API 服务、HPA 轮询)是它的装配外壳。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图