《Kubernetes 分布式系统原理深入解析》14.1 Cluster Autoscaler:模拟调度与池伸缩

副本数可以扩,节点不够时 Pod 只能 Pending——Cluster Autoscaler 用模拟调度判断『装得下吗』,装不下就向云厂商申请新节点。本节讲 CA 的本质、扩容决策与云厂商分钟级滞后、缩容的利用率阈值与可迁移性验证,以及它与真实调度器的分工。lab 用模拟调度用例验证『装不下→加节点→重放未调度 Pod 装下』的闭环。

14.1 Cluster Autoscaler:模拟调度与池伸缩

第 11~13 章处理的是『副本级伸缩』:HPA 把副本从 2 扩到 20,VPA 调 requests,KEDA 用业务指标驱动。但副本扩到上限之后呢?节点不够,Pod 只能停在 Pending。本节开始讲第二层伸缩——节点级伸缩:Cluster Autoscaler(CA)如何判断集群装不装得下,如何安全地加节点、减节点,以及它和调度器之间谁说了算。

伸缩的第二层:从副本到节点

副本级与节点级伸缩是两条互相依赖的控制回路:

  • 副本级(第 11~13 章):扩到 maxReplicas 内,秒级到分钟级生效,改的是 Deployment 的副本数。
  • 节点级(本节起):扩到 maxNodes 内,分钟级生效,改的是节点池成员。

关键耦合:副本扩了不代表能调度。HPA 把副本从 5 扩到 20,如果集群只剩 2 台满节点,那 15 个新副本全部 Pending。副本级伸缩假设『集群有足够容量』,节点级伸缩负责兑现这个假设。生产里两个控制器通常一起用:HPA 按负载扩副本,CA 按 Pending 补节点。

CA 的本质:把节点池当被伸缩的工作负载

CA 是一个独立控制器,不参与单个 Pod 的调度,它把整个节点池当作一个可以被伸缩的对象:

  • 它的输入是集群状态:节点列表、各自容量与已分配、Pending 的 Pod。
  • 它的输出是节点池的增删建议:向云厂商的节点组(AWS 的 AutoScaling Group、GCP 的 Managed Instance Group)增加或减少实例。
  • 它是一个控制回路:周期性评估『够不够』→ 决定加/减 → 执行 → 观察结果,与 HPA 的『取指标→算期望→执行→观察』同构。

CA 不直接绑定任何 Pod。它更像『池管理员』:池子空了就补,池子空了太久就回收。它的决策质量取决于一件事——能不能准确预判调度器会把 Pod 放哪,这就引出模拟调度。

模拟调度:装得下吗

CA 判断『装得下吗』不靠猜,而是复制调度器的过滤逻辑做一次试放:

  1. 收集集群里 Pending 的 Pod(调度失败或刚提交的)。
  2. 对每个 Pod,按现有节点的容量、已分配资源、污点、节点选择器、亲和性等约束逐个试放。
  3. 能被现有节点装下的,记为『模拟已调度』,占掉相应资源;装不下的,进『放不下』集合。

这一步是 CA 的心脏,它的精度决定扩容是否正确:

  • 它复用的是调度器的过滤阶段(能放哪),不包含评分阶段(放哪更好)——CA 只关心『有没有地方放』。
  • 模拟结果与真实调度可能不一致:CA 认为装得下,真实调度器可能因评分、反亲和、卷约束放不进去。所以 CA 看到『放不下』会立刻扩容,但看到『装得下』不会立刻缩容——不对称的信任。
  • 模拟会考虑 DaemonSet 已占用的资源、节点可分配(而非容量)、预留缓冲,避免把节点算成『满的』或『空的』。

lab 的 ClusterAutoscaler.Simulate 就是这个最小模型。把 lab 的数字走一遍:n1(8 核)按顺序装下 2 个 3 核 Pod,用掉 6 核剩 2 核;n2 同理装下 2 个、剩 2 核。每个 8 核节点最多放 2 个 3 核 Pod(3 个需要 9 核),两台共 4 个,第 5、6 个无论如何都放不下——18 核需求对 16 核容量,最少就有 2 个装不下。Simulate 返回 2,与理论下限一致。

这个例子还暴露一个特性:模拟调度按给定顺序贪心放置,不做最优装箱。本例因『每节点最多 2 个 3 核 Pod』是硬约束,贪心结果恰好等于最优;但在碎片化场景里(如不同大小 Pod 混排),放置顺序会影响『多少个放不下』。CA 刻意用贪心,是为了和真实调度器行为一致——调度器本来就按优先级逐 Pod 放置,不是全局最优。CA 模拟的是真实行为,不是理论最优;正因如此,它对『看起来装不下』的判定宁可激进地扩。

扩容路径:装不下 → 加节点

模拟调度的结果直接喂给扩容逻辑:

  • 只要存在『现有任何节点都装不下』的 Pod,CA 就触发扩容——不需要等,不需要观察期。因为 Pending 的 Pod 在持续烧可用性,晚一分钟扩就多一分钟不可用。
  • 扩容对象是节点组的成员:CA 从配置好的节点组里选一个(expander 策略决定选哪个组,常见有 random、least-waste、most-pods、priority),调用云厂商 API 增加一台实例。
  • 加实例不是绑定 Pod:节点创建、注册、Ready 之后,由真实调度器把 Pending 的 Pod 放上去。CA 只负责『让节点出现』,不负责『把 Pod 放对位置』。
  • 多个节点组时,CA 按 expander 策略挑选:least-waste 选浪费最少的组,priority 按配置的优先级顺序,most-pods 选能放最多 Pod 的组。

lab 的 NeedsScaleUp 与 AddNode 就是这个路径:未调度 Pod 存在且未到节点上限 → 加节点 → 重放未调度 Pod → 全部装下。注意加节点后 CA 只重放『未调度的 Pod』,已调度的 Pod 不搬家——扩容永远优先解决眼前装不下的,而不是重新平衡全局。

节点组与扩容选择策略

CA 面对的不是单一节点池,而是多个节点组(每组是同构实例集合,对应云上一个 ASG/MIG)。扩容时先选组,再选规格:

expander 策略选组逻辑适用场景
random随机挑一个能扩的组最小配置、无所谓规格
least-waste选调度后浪费最少(碎片最小)的组混规格、省成本
most-pods选能放最多 Pod 的组高密度小 Pod 工作负载
priority按用户配置的组优先级从上往下混合 spot/on-demand 策略
price按单位成本选最省的组成本敏感、规格差异大

组级决策的生产意义:用优先级或价格把『便宜优先』与『稳定优先』织进扩容。例如 spot 组优先级高、on-demand 组兜底,spot 不可用时自动落到 on-demand——CA 让『扩哪个组』也成为可声明的策略,而不是硬编码。组的 min/max 同时是伸缩的边界:max 防止某组失控扩爆,min 保证常驻容量。

扩容滞后:云厂商的分钟级

扩容从决策到生效有一条固定的时延链:

CA 判定装不下 → 云 API 申请实例 → 实例启动(拉基础镜像)→ kubelet 注册节点 → 节点 Ready → 真实调度器绑定 Pod → Pod 启动(拉业务镜像)→ 探针通过

其中云厂商创建实例本身就要 15 分钟(实例调度、卷挂载、user-data 初始化),Pod 冷启动再叠分钟级。**总时延常达 38 分钟**。这条链路的后果是:

  • CA 必须提前反应:不能等 5 个副本全部 Pending 才扩,而是在模拟发现趋势时就扩。生产常配『缓冲节点』或 expander 偏好来提前铺容量。
  • 扩容是开环等待:CA 发出加节点请求后,无法加快节点 Ready;它能做的只是尽量准确地预判需要几台,别扩少了又扩多了。
  • 对比缩容:扩容要快(有 Pod 在等),缩容要慢(怕误删)。这个不对称在第 14.3 节还会展开。

缩容的谨慎:低利用率只是必要条件

缩容的决策比扩容谨慎得多,低利用率只是必要条件,不是充分条件。CA 的缩容判定是一连串检查:

  1. 利用率低:节点上(排除 DaemonSet)的 Pod 请求资源利用率低于 --scale-down-utilization-threshold(默认 0.5)。
  2. 持续 unneeded:节点保持『不再需要』状态超过 --scale-down-unneeded-time(默认 10 分钟)。短于这个窗口的波动不触发——这是缩容的滞后设计。
  3. 可迁移性验证:把该节点所有 Pod 在模拟调度里放去其他节点,全部放得下才算可缩。有一丝放不下,就保留整台节点。
  4. 护栏检查:节点有本地存储、带特殊污点、被 annotation 排除(cluster-autoscaler.kubernetes.io/safe-to-evict 相关)、或 Pending 数量在变,都会终止缩容。

缩容执行本身也谨慎:先给节点打缩容标记、驱逐其上的 Pod(尊重 PodDisruptionBudget)、等 kubelet 清空、最后调用云 API 终止实例。每一步都可能被护栏打断,所以一台节点从『看起来空闲』到真正消失,通常经过十几分钟。把这条链画成时间线(默认参数):

t=0          节点利用率连续低于 0.5
t=10min      scale-down-unneeded-time(10m) 到期,判定『不再需要』
t=10min+     可迁移性验证通过 → 节点打缩容标记,进入驱逐
t≈10~12min   驱逐其上的 Pod(尊重 PDB、terminationGracePeriodSeconds)
t≈12min+     kubelet 清空确认 → 调用云 API 终止实例
t≈13min+     节点从集群消失,容量回收

对比扩容的 3~8 分钟:缩容从判定到完成更慢(10 分钟起步),这不是低效,而是刻意设计——缩容错了要等更久才能发现,宁可慢也不误杀。

不可缩节点与可迁移性验证

为什么可迁移性验证是硬门槛?因为节点缩了,上面的 Pod 不会消失,只会被重新调度。如果别处放不下,驱逐等于制造更多 Pending,灾难性地放大问题:

  • 验证放不下 → 保留节点:即使利用率只有 0.1,只要它承载的 Pod 无处可去,它就是『必要节点』。
  • 本地存储节点默认不缩:--scale-down-nodes-with-local-storage 默认 false,空目录/本地卷的数据会随节点销毁,不能迁移。
  • PDB 是第二道锁:驱逐 Pod 会检查 PDB 允许的可用副本下限,低于下限就停——缩容驱逐与 9.x 章讲的驱逐护栏是同一套机制。
  • safe-to-evict 注解:个别 Pod 可以显式声明可驱逐,加速它的宿主节点缩容;反之可声明不可驱逐,保住关键 Pod。

一句话:缩容的本质是『先证明这台节点消失后一切照常』,证明不了就不动。

与调度器的协同

CA 和调度器是『建议者』与『执行者』的关系:

  • CA 只增删节点组成员,从不绑定 Pod。它改变的是集群的容量供给。
  • 调度器做最终的 Pod 放置:节点 Ready 后,Pending 的 Pod 按正常的第 1~5 章链路排队、过滤、评分、绑定。
  • 两者通过状态观察协同,没有直接调用:CA 看到 Pending 就扩,看到节点利用率低就缩;调度器看到新节点就放 Pod,看到节点删了就把 Pod 重新调度。
  • 不一致的来源:CA 的模拟是过滤逻辑子集,可能误判『装得下』或『放不下』。所以 CA 对扩容激进(信不过模拟时宁可多扩),对缩容保守(宁可多留)。不对称设计是这两个控制回路的稳定性来源。
  • 闭环的最后一环是观察:CA 扩了节点,调度器把 Pod 放上去,CA 看到 Pending 清零才认为扩容成功;缩了节点,被驱逐的 Pod 在其他节点重启,CA 观察到利用率恢复才认为缩容成功。任何一环没发生,CA 会重试或回退——它从不假设云厂商 API 一定成功。

调度器与 CA 的分工可以一句话概括:调度器管理『Pod 往哪放』的空间分配,CA 管理『集群有多大的空间』的容量供给。前者解决『这一批怎么摆』,后者解决『空间不够时从哪来、空间多余时怎么收』。

扩容/缩容触发条件对比

把两个方向的决策逻辑并排,差异一目了然:

维度扩容缩容
触发信号存在现有节点装不下的 Pod节点利用率低于阈值
前置验证模拟调度放不下模拟调度全部可迁移
时间窗口立即触发,不等需持续 unneeded ≥ 10 分钟
对象增加节点组成员驱逐 Pod 后终止实例
主要护栏max-nodes-total、组上限本地存储、PDB、safe-to-evict
设计哲学快而激进(有 Pod 在等)慢而保守(怕误删)

这张表值得记住:扩容为『可用的现在』买单,缩容为『不确定的未来』设防。所有参数(scale-down-utilization-threshold、scale-down-unneeded-time、max-nodes-total)都是这两极之间的旋钮。

三个常见误解

  • 「CA 会替调度器决定 Pod 放哪」——错误。CA 只增删节点组成员,从不绑定 Pod;放置永远由真实调度器完成。CA 是容量供给方,不是放置决策方。
  • 「节点利用率低就立刻被缩」——错误。低利用率只是必要条件,还要过『持续 unneeded 10 分钟』和『所有 Pod 可迁移』两道关,任何一道不过就保留节点。
  • 「扩容是即时的」——错误。从 CA 判定到新 Pod 真正跑起来通常要 3~8 分钟(云实例创建 + 镜像 + 探针)。所以生产必须提前扩、留缓冲,不能把 CA 当秒级响应工具。

本节 lab

本节把『模拟调度 + 扩容』的闭环落到 autoscaler/autoscaler.go 的 ClusterAutoscaler.Simulate/NeedsScaleUp/AddNode:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestClusterAutoscalerScaleUp -v

TestClusterAutoscalerScaleUp 用 2 个 8 核节点模拟 6 个 3 核 Pod:Simulate 判定 2 个装不下 → NeedsScaleUp 成立 → AddNode 后重放 BufferPods 全部装下。这正是本节扩容路径的最小可运行模型:模拟调度装不下 → 加节点 → 重放未调度 Pod 装下。真实 CA 的差异只在节点来自云厂商节点组、放置交给真实调度器,判定逻辑与 lab 完全一致——改 MaxNodes 还能看到节点上限对扩容的夹取,对应本节 max-nodes-total 护栏。

更直观的做法是给 Nodes 再追加一个 AddNode 的节点后重新 Simulate(BufferPods),观察未调度数从 2 降到 0——正是扩容闭环『决策→执行→验证』的完整形状。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图