《Kubernetes 分布式系统原理深入解析》13.1 ScaledObject 控制器与事件源抽象

KEDA 用 ScaledObject 把业务指标声明成伸缩意图,绕开只能看 CPU/内存的 HPA 局限:每个事件源对应一个 scaler,控制器把指标轮询翻译成期望副本并生成或接管 HPA。本节拆解 ScaledObject 的结构、事件源抽象与控制器循环,并用 lab 的队列深度与 rps 两个事件源用例验证『指标/每副本阈值→期望副本』的换算。

13.1 ScaledObject 控制器与事件源抽象

前两章讲的 HPA/VPA 都把输入限定在 Pod 自己的资源使用:CPU/内存利用率。但线上真正决定要几个副本的,往往是业务指标——消息积压了多少条、每秒多少请求、订单量有多大。本节引入 KEDA(Kubernetes Event-driven Autoscaling)的第一块拼图:ScaledObject 与事件源抽象,看它如何把『业务指标驱动伸缩』变成声明式的、可运维的对象。

为什么需要 KEDA:业务指标驱动伸缩

HPA 的核心假设是『资源使用率可以代表负载』,这个假设在两类场景下会失效:

  • 消费型工作负载:消费者从队列取消息。队列积压 10 万条,但每个消费者 Pod 的 CPU 使用率可能依然很低——瓶颈在外部队列的积压,不在本地计算。HPA 看到低 CPU 就不会扩,消息越积越多。
  • 批量/异步任务:一小时内处理 100 万条记录,CPU 只在真正处理的片段抬升,且峰值到来前没有预兆。以 CPU 为信号要么滞后、要么误判。
  • 突发流量:瞬时 rps 冲高但 CPU 有惯性(请求在等待外部 IO),CPU 曲线比真实负载钝。

KEDA 的思路是:把『用什么信号决定副本数』从资源指标里解放出来,直接对接业务指标源。信号可以是队列深度、请求速率、定时计划、甚至另一个 API 返回的数值。它的使命不是重新发明伸缩算法,而是把『外部信号→期望副本数』这条链路补上。

KEDA 与 HPA:伸缩语义对比

把 11 章的 HPA 和本节 KEDA 并排看,差异就落在『信号从哪来、目标是绝对值还是每副本值』:

维度HPA(11.1/11.2)KEDA(本节)
信号来源资源指标 / Pod 自定义指标 / 对象指标任意外部指标源(队列、rps、定时)
目标语义利用率比例或每副本平均值每副本目标值(queueLength、lagThreshold 等)
期望副本公式ceil(副本 × 指标 ÷ 目标)ceil(指标 ÷ 每副本目标)
最小副本1可为 0(scale-to-zero)
指标服务器metrics-server / custom-metricskeda-metrics-apiserver
多信号合并HPA 取各指标最大期望scaler 返回多 spec,HPA 取最大

注意公式差异:HPA 的 Resource 指标是『利用率 × 当前副本』,KEDA 的队列指标是『总量 ÷ 每副本目标』。前者天然和副本数耦合,后者直接由负载决定——所以 KEDA 对『积压清零就缩回』更敏感,更需要冷却窗口压振荡。

ScaledObject:伸缩意图的声明式描述

KEDA 的核心 CRD 是 ScaledObject。它是一份纯声明:『当条件满足时,把目标对象的副本数维持在 N 之间』。一个典型对象长这样(字段结构示意,属主细节略):

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: order-worker-scaled
spec:
  scaleTargetRef:
    kind: Deployment
    name: order-worker
  minReplicaCount: 2
  maxReplicaCount: 30
  pollingInterval: 30
  cooldownPeriod: 300
  triggers:
    - type: prometheus
      metadata:
        serverAddress: http://prometheus:9090
        query: sum(rate(order_queue_depth[1m]))
        threshold: "200"

字段分三组:指向谁(scaleTargetRef)、伸缩的边界与节奏(min/maxReplicaCount、pollingInterval、cooldownPeriod)、用什么信号(triggers)。其中:

  • scaleTargetRef 指明被伸缩的对象,通常是 Deployment,也可以是 StatefulSet、ScaledJob。
  • minReplicaCount 是保底副本,即使指标为 0 也不低于它;maxReplicaCount 是安全上限,防止指标爆炸时把集群打满。
  • pollingInterval 是 KEDA 去指标源取数的周期(默认 30s),决定控制回路能看到多新鲜的信号。
  • cooldownPeriod 是副本数变化后保持不动的窗口(默认 300s),抑制振荡——这与 11.3 讲的 HPA 稳定窗口是同一类机制。

把这份对象和 Deployment 的副本字段对比就看出差异:Deployment 的 replicas 是『当前状态』,ScaledObject 是『伸缩策略』。策略独立于工作负载声明,控制器负责把策略执行成具体的 replicas 值。

trigger 与事件源抽象:一个指标源对应一个 scaler

triggers 是 ScaledObject 的灵魂,它背后是一套事件源抽象。KEDA 把『某个外部系统能给出一个数值』这件事抽象成 Scaler 接口,一个指标源对应一个 scaler 实现:

  • scaler 是适配器:每种外部系统(Prometheus、Kafka、RabbitMQ、AWS SQS、PostgreSQL、Redis、HTTP 插件……)都实现同一套接口:GetMetricsAndActivity 去源头取当前值,GetMetricSpecForScaling 把阈值表达成 HPA 能理解的格式,IsActive 判断这个源当前有没有负载。
  • 对控制器而言它们同质:控制器不关心指标来自 Kafka 还是 Prometheus,它只拿到一个数值和一个阈值,套用同一个换算公式。
  • trigger 的 metadata 是 scaler 的配置:同一个 type: kafka 的 trigger,通过 metadata 里的 brokerList、topic、consumerGroup、lagThreshold 区分具体连哪个集群、盯哪条队列。

这个抽象的价值是把『种类爆炸』关在适配层:新增一个外部系统只需新增一个 scaler,不用改控制器、不用改 HPA。KEDA 社区几十种 scaler,共享同一套 ScaledObject 语义。

常见事件源与指标示例

trigger 类型典型指标目标值语义
prometheus自定义查询结果(队列深度、错误率)查询返回值 = 当前负载
kafka消费者组 lag(积压消息数)lagThreshold:每副本允许的最大积压
rabbitmq队列消息数queueLength:每副本允许的最大队列长度
aws-sqsApproximateNumberOfMessagesqueueLength:每副本目标消息数
redisList 长度 / Stream 积压listLength:每副本目标长度
postgresqlSQL 查询返回数值(订单数等)targetQueryValue
http(add-on)每秒请求数targetValue:每副本目标 rps
cron时间计划到点扩容,过点缩回

注意目标值语义大多是**『每副本允许多少』**,这正是下一节的换算基础:期望副本 ≈ 当前值 ÷ 每副本目标。rps 类信号同样按每副本目标表达——一条线贯穿所有 scaler。

控制器循环:watch → 翻译 → 期望副本

ScaledObject 控制器是典型调谐循环,与 11.1 的 HPA 控制器结构对称:

  1. watch:informer 监听 ScaledObject 与 scaleTargetRef 指向的对象,任何增删改都进入工作队列。
  2. 实例化 scaler:reconcile 时按 triggers 的类型构造对应 scaler,传入 metadata 作为配置。
  3. 轮询取数:按 pollingInterval 周期调用 GetMetricsAndActivity 拿到当前指标值(多 trigger 时按 13.2 的规则聚合)。
  4. 换算期望副本:核心公式与 HPA 同构——期望副本 = ceil(当前指标值 ÷ 每副本目标值),再夹在 minReplicaCount 与 maxReplicaCount 之间。
  5. 写回 HPA:把期望换算成 HPA 的 External 指标与目标值,创建或更新一个 HPA 对象;真正执行副本变化的是 HPA。

换算公式在 lab 里有直接验证:队列 100 条、每副本目标 20 → 5 副本;rps 500、每副本 100 → 5 副本;指标低于阈值时保底 1 副本。本节先把『一个信号 → 一个数字』讲清楚,多信号合并留到 13.2。

一次完整决策的走查

把控制器循环套一个真实数字走一遍(队列积压场景):

  1. 消费者组积压 1000 条消息,trigger 配置 queueLength: 200(每副本目标 200 条)。
  2. 轮询:KEDA 按 pollingInterval(30s)从消息中间件取到当前深度 1000。
  3. 换算:期望副本 = ceil(1000 ÷ 200) = 5;minReplicaCount 为 2、maxReplicaCount 为 10,5 落在区间内,直接采用。
  4. 写回:控制器创建/更新 HPA,External 指标目标值换算为每副本 200,HPA 把 Deployment 副本数收敛到 5。
  5. 消费者把队列消化到 300 条:期望副本 = ceil(300 ÷ 200) = 2,恰好等于保底值,副本回落到 2。
  6. 若积压反而涨到 2200 条:期望 11,超过上限,被夹到 10——上限保护集群不被积压打爆。

这套走查说明两件事:目标值是每副本语义,期望是纯除法;min/max 是最后一道夹取护栏。副本不会跟随指标无限放大或归零,伸缩被限制在声明的策略区间内。

从 0 到 N:scale-to-zero 与激活

HPA 的 minReplicas 最低只能到 1,而 KEDA 允许 minReplicaCount: 0,真正把副本缩到零。这是它和 HPA 的显著能力差,但缩到 0 代价不小:

  • 丢失常驻资源:副本从 0 拉起要重新建 Pod、拉镜像、过探针,冷启动成本高(第 14 章讲节点级也有同类问题)。
  • 激活阈值:activationThreshold 定义『指标超过多少才算真活』。低于它时 KEDA 认为无负载,不创建副本;只有超过才从 0 拉到 N。否则队列里几条消息就把副本拉起来,成本远超收益。
  • 激活状态:scaler 的 IsActive 决定工作负载是否活跃;ScaledObject 的 status.conditions 暴露 Ready/Active/Failed,运维通过它判断伸缩链路是否健康。
  • 生产取舍:多数业务保持 minReplicaCount: 1~2 做常驻,只在下游真正允许冷启动的批处理链路用 0。scale-to-zero 是能力,不是默认姿势。

与 HPA 的关系:生成还是接管

KEDA 不直接改副本数,它通过 HPA 执行伸缩。有三种关系需要区分:

  • 生成 HPA(默认):控制器按 ScaledObject 自动创建对应 HPA,指标类型是 External,目标值由 scaler 换算给出。用户不用自己写 HPA。
  • 接管已有 HPA:目标对象已挂着一个 HPA 时,KEDA 会合并控制权,避免两个控制器打架。此时两者的 scaleTargetRef 必须一致。
  • ScaledJob 除外:对 Job 类负载,KEDA 直接用 Job API 扩并发,不走 HPA。

为什么要经 HPA 一手?因为伸缩执行层(ReplicaSet 写回副本数、min/max 夹取、副本不足时补建)已经由 HPA 实现得很好,KEDA 没必要重造。它只做 HPA 做不到的部分——消费外部指标源。这也是 13.2 的主题:外部指标如何进入 HPA 的 External 通道。

边界:KEDA 不做什么

把 KEDA 的职责边界说清楚,避免把它当万能药:

  • 不做资源评估:它不懂 Pod 需要多少资源,那是 VPA 与 requests/limits 的事。
  • 不做节点伸缩:副本扩到 maxReplicaCount 后节点不够,是第 14 章 Cluster Autoscaler / Karpenter 的职责。KEDA 只动副本数。
  • 不保证指标准确性:决策质量受限于指标源的采样与延迟(13.2 展开)。
  • 不是所有负载都适合:无状态且能水平拆分的工作负载才适合事件驱动伸缩;单消费者强状态(如单写者数据库)不适合盲目扩副本。

一句话:KEDA 把『副本数随业务指标变化』声明化,把『如何执行副本变化』交给 HPA 与 ReplicaSet,把『节点够不够』留给节点级伸缩器。三个层级各司其职。

三个常见误解

  • 「KEDA 自己把副本改了」——错误。KEDA 不写 Deployment 的 replicas,它生成/接管 HPA,由 HPA 与 ReplicaSet 完成实际副本变化。KEDA 在链路前端,不在执行末端。
  • 「事件源是内置固定几种」——错误。事件源是开放抽象,一个系统对应一个 scaler,社区几十种,也可以自实现 scaler 接口接入自建指标系统。
  • 「ScaledObject 声明一次就永远生效」——错误。它依赖指标源持续可访问;指标源故障、查询错误时伸缩行为会退化,控制器有状态与事件可观察,需要运维监控。

本节 lab

本节把『事件源指标→期望副本』的换算落到 autoscaler/autoscaler.go 的 EventSource 接口、QueueLength/HTTPRate 事件源与 ScaledObject.DesiredReplicas(ceil(metric / targetPerPod),保底 1):

cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestKedaQueueLength|TestKedaHTTPRate' -v

TestKedaQueueLength 验证队列 100 条、每副本目标 20 → 5 副本;TestKedaHTTPRate 验证 rps 500、每副本目标 100 → 5 副本,且低于阈值的 rps 保底 1 副本。这正是本节控制器循环里『轮询取数 → 换算期望副本』的最小可运行验证:两种事件源,同一套换算。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图