13.3 队列/流量的驱动适配
13.1 和 13.2 把 ScaledObject、事件源抽象和 External 指标通道讲透了,本节落到最常用的两类真实信号:消息队列的积压深度和请求速率 rps。它们都叫『业务指标』,但语义、时间指向、目标定法完全不同。把这两类信号适配好,事件驱动伸缩才算真正落地。
两种驱动信号:积压与速率
先分清这两类信号的本质:
- 队列深度(积压):『还有多少活没干完』。它是一个存量(stock),衡量未完成工作。消息入队但还没被处理的部分都算。
- rps(速率):『现在每秒钟来了多少活』。它是一个流量(flow),衡量单位时间的工作到达率。
存量适合回答『要几个消费者』:积压越多,并行消费者越多。速率适合回答『扛不扛得住』:rps 越高,在线副本越多。一个管『待办清单的长度』,一个管『吞吐要求的强度』——这两者恰好覆盖了异步管道和同步网关两种典型形态。
队列深度目标怎么定:吞吐 × 延迟预算
队列驱动的核心问题不是『队列该多长』,而是『我们能接受多久的处理延迟』。目标值从两个实测量推导:
每副本目标队列深度 = 每副本处理吞吐 × 目标处理延迟
- 单副本实测每秒处理 10 条消息(吞吐 10/s)。
- 业务 SLO 说『从入队到处理完成的延迟要小于 30s』。
- 则每副本目标深度 = 10 × 30 = 300 条。积压 3000 条 →
ceil(3000 ÷ 300) = 10副本。
为什么用延迟预算而不是拍脑袋定深度:深度是派生量,延迟才是可解释的业务承诺。吞吐涨了(压测发现单副本能到 20/s),目标深度跟着涨到 600,副本数不变仍能保证 30s 延迟——延迟预算把『扩多少副本』和『每副本多快』解耦了。反过来,想把延迟压到 5s,目标深度就是 50,同样积压需要 60 副本——延迟目标越紧,副本数越多,这是直接用资源换延迟。
同一个积压 3000 条,不同的吞吐与延迟组合导出不同的目标深度和副本数:
| 单副本吞吐 | 延迟预算 | 目标深度 | 期望副本(3000 条) |
|---|---|---|---|
| 10/s | 30s | 300 | 10 |
| 20/s | 30s | 600 | 5 |
| 10/s | 5s | 50 | 60 |
| 20/s | 5s | 100 | 30 |
这张表说明:同样的积压,因吞吐与延迟预算不同,期望副本从 5 到 60 差了 12 倍。调目标值之前先确认这两个底数是不是最新的——很多『伸缩过度』问题其实是用了过期的吞吐数字。
流量目标怎么定:rps 的每副本容量
rps 驱动的目标来自容量实测 + 余量策略:
- 压测得出单副本容量:500 rps 时 P95 延迟仍达标,600 rps 开始超时。
- 目标不设成 500(顶满),而是留余量,如每副本 100 rps。
- 5000 rps 实时流量 →
ceil(5000 ÷ 100) = 50副本。
余量策略是成本与风险的权衡:
| 余量 | 目标 rps/副本 | 副本数(5000 rps) | 特性 |
|---|---|---|---|
| 紧(90% 容量) | 450 | 12 | 省资源,瞬时尖峰易超时 |
| 中(50% 容量) | 250 | 20 | 常见默认,容忍短突发 |
| 松(20% 容量) | 100 | 50 | 稳但贵,适合抖动大的流量 |
关键认知:rps 目标换算没有『标准答案』,只有『容量 × 余量』这个工程决策。紧余量意味着把调度器当作第一道缓冲,松余量意味着用常驻容量换响应速度。选哪种取决于业务对超时的容忍度与成本预算。
队列 vs 流量:信号特性对比
两类信号在伸缩控制回路上表现截然不同,直接决定 cooldown、polling 怎么配:
| 特性 | 队列深度 | rps |
|---|---|---|
| 语义 | 未完成工作存量 | 单位时间到达速率 |
| 时间指向 | 滞后(反映过去积压) | 近实时 |
| 突发处理 | 积压自然吸收突发,可缓慢反应 | 突发直接冲击,必须快速反应 |
| 归零含义 | 清空 ≠ 没事,可能只是生产端未投递 | 归零 ≈ 真没流量 |
| 目标推导 | 吞吐 × 延迟预算 | 容量 × 余量 |
| 典型负载 | 异步消费者、批处理 | 同步 API、网关 |
队列是『惯性信号』,rps 是『瞬时信号』。前者对扩容滞后天然宽容(多积压一会儿没事),后者滞后就丢请求。所以队列场景可以把 cooldown 调大、polling 调小(省查询);rps 场景要接受频繁小幅调整,用稳定窗口压抖动而不是靠大 cooldown 压一切。
消息中间件上的适配器落地
KEDA 的消息队列 scaler 各有各的取数方式,落地时要知道『数从哪来、有多准』:
- Kafka:算消费者组 lag。需要先有消费组在消费;lag = 分区最新 offset − 消费组提交 offset,KEDA 调用
DescribeConsumerGroups/offset 查询接口汇总。取数本身有集群元数据查询成本。 - RabbitMQ:直接查队列
messages计数。需要队列名、vhost 与可读凭据;不同 vhost 隔离。 - AWS SQS:
ApproximateNumberOfMessages是最终一致的近似值——可能差几十条甚至更多,且长时间空闲才稳定。用它做目标值时要留偏差余量,别把阈值设成 10 然后指望它在第 11 条时精确触发。 - Redis:
LLEN/XLEN取 List/Stream 长度,延迟最低但只有单键语义,适合简单队列。
共同点:指标源查询本身有成本与准确性边界。适配器只是把『能取到的数』交给控制器,取数的频率、口径的偏差都影响最终伸缩质量。
分区并行度:副本数的隐藏上限
队列驱动的伸缩有一个常被忽略的硬约束:并行消费上限受中间件分区数限制。
- Kafka 的一个分区在同一消费组里同时只能被一个消费者消费。所以 consumer 副本数超过分区数时,多出的副本分不到任何分区,空转。
- 结论:用 Kafka 队列驱动伸缩时,
maxReplicaCount应大致 ≤ 分区数(或 分区数 × 每副本分区承载),否则扩到上限也是浪费——扩的是副本,不是并行度。 - 分区数是架构层面的上限:扩容救不了『分区不够』,那要在 topic 设计阶段决定(分区太多又放大 offset 管理开销)。
- RabbitMQ/SQS 类似:RabbitMQ 的消费并行受 queue 的消费者数量与 prefetch 共同决定,但 queue 本身是串行分发;SQS 靠可见性超时与长轮询,并行度更接近副本数本身。
这给伸缩一个反向提醒:伸缩不是万能杠杆,架构的并行上限才是真正瓶颈。KEDA 只能把副本数推到上限,上限之上无能为力。
振荡的来源与抑制
队列场景的经典故障是『清空又暴涨』:
- 积压 3000 条,KEDA 扩到 10 副本。
- 10 副本快速消费,积压归零。
- HPA 看到指标归零,开始缩容。
- 积压又涨回来,再次扩容——副本在 2 和 10 之间来回跳。
振荡的根因是队列信号的『惯性归零』:清零不代表没事,只是生产端暂时没投递;而扩大的副本还要继续花钱。抑制手段有三个旋钮:
cooldownPeriod(默认 300s):副本数变化后保持不动至少一个冷却窗口,给积压『喘息』时间。积压清零后先等 300s,确认真的没有新消息再缩。activationThreshold:低于这个阈值 KEDA 认为没有有效负载,不从 0 拉起副本。它防的是『几消息就拉起一整批副本』的过度反应。- 稳定窗口与 maxReplicas 边界:HPA 的 scale-down 稳定窗口(13.2 提过)与
maxReplicaCount一起,把伸缩范围钉在合理区间。
配法建议:队列场景 cooldownPeriod 给 300600s、30s;rps 场景相反,pollingInterval 给 15cooldownPeriod 给 60~120s 并靠 HPA 稳定窗口平滑。振荡是否消失是调参成功的判据,不是参数本身。
把一次振荡周期的完整时间线画出来,就能看清每个旋钮在哪一段起作用:
t=0 生产端批量投递 3000 条 → 积压抬升
t≈15s KEDA 轮询读到 3000 → 期望 10 副本 → HPA 扩容
t≈1~2min 新副本调度就绪、开始消费
t≈3min 10 副本消费积压 → 积压接近 0
t≈3min+ cooldownPeriod(300s) 启动:副本保持 10 不动
t≈8min 冷却结束,积压仍为 0 → HPA 开始缩容到 2
t≈9min 生产端又投递一批 → 积压回升 → 再次扩容……
没有 cooldown 时,t≈3min 就会立刻缩容,下一批消息又在 t≈4min 把它拉回来——副本在 2↔10 之间高频抖动。有了 300s 冷却,至少把『清空→缩→又涨→再扩』的周期拉长到分钟级,让每次扩缩都对应真实的、持续的信号,而不是一瞬的波动。
选择目标值的工程流程
选择目标值的工程流程
把目标值定法收敛成可复用的流程:
- 压测单副本容量/吞吐:得到稳定数字(如 10 条/s、500 rps),这是所有换算的基座。
- 定延迟预算或余量策略:业务 SLO 给延迟目标,或运维给容量余量比例。
- 算出每副本目标:
吞吐 × 延迟预算或容量 × 余量,落到 trigger 的目标值。 - 定 min/max:min 保底常驻水位,max 受中间件分区上限约束。
- 灰度观察伸缩频率:盯『清空又暴涨』次数、冷启动次数,用 cooldown 与 activationThreshold 收口。
- 复查:每轮压测数据变化(如换了大规格实例)要回推目标值,不要用过期容量数字。
这套流程的本质是把『目标值』从玄学变成可推导、可复核、随容量数据更新的工程参数。
三个常见误解
- 「队列清零就可以缩容」——错误。清零可能是生产端暂时没投递;先用
cooldownPeriod观察一段窗口,再决定缩不缩,否则就陷入『清空又暴涨』的振荡。 - 「副本数可以无限扩,扩到 max 就并行度够」——错误。Kafka 这类中间件有分区并行上限,副本超过分区数就是空转;
maxReplicaCount要先服从架构上限。 - 「队列目标值随便填个数字就行」——错误。合理的队列目标 = 每副本吞吐 × 延迟预算,rps 目标 = 容量 × 余量。拍脑袋的数字既不满足延迟 SLO 也不省成本。
本节 lab
本节把队列深度与 rps 两种驱动源的期望副本计算落到 autoscaler/autoscaler.go:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestKedaHTTPRate|TestKedaQueueLength' -v
TestKedaQueueLength 断言队列 100 条、每副本目标 20 → 5 副本(存量信号直接除法);TestKedaHTTPRate 断言 rps 500、每副本目标 100 → 5 副本,且 rps 30 低于阈值时保底 1 副本(速率信号同样除法并保底)。一个 ScaledObject 结构、两种 EventSource,验证的正是本节『目标值语义统一、信号特性各异』的核心——换算公式一致,振荡抑制则靠 cooldown 与 activation 在控制器层完成。
在 lab 里改 TargetPerPod 就能看到目标值推导的敏感性:同样的队列 100,目标从 20 改成 50,期望从 5 降到 2——正是本节『吞吐 × 延迟预算』公式的直接体现。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。