14.3 与调度/驱逐协同、冷启动
14.1、14.2 讲了节点级伸缩器如何『决定』加节点、减节点。但『决定减』离『真的减下来』之间隔着一条很长的协同链:驱逐、清空、终止,每一步都可能被护栏打断。本节把这条链、缩容的安全边界、冷启动的成本,以及它们如何反过来影响伸缩决策讲清楚。
缩容是一串协同,不是一步到位
CA 或 Karpenter 决定缩一台节点后,实际执行是一串串行动作:
1 判定节点空闲(利用率低 + 可迁移性验证通过)
2 cordon:标记不可调度,拒绝新 Pod
3 驱逐其上的 Pod(逐 Pod 发 Eviction API)
4 等待 kubelet 清空:终止容器、解除挂载、上报 Node 变空
5 调用云 API 终止实例
6 清理集群内的 Node 对象
每一步都可能是阻塞点:
- 第 3 步被 PDB 卡住:某个 Pod 可用副本将低于下限,驱逐请求被拒绝,缩容暂停等待。
- 第 3 步被优雅停机拖住:Pod 的
terminationGracePeriodSeconds(默认 30s)决定容器优雅停止的上限,长停机脚本会把整条链拉长。 - 第 4 步被 volume 卸载卡住:节点还有卷未解除挂载时,kubelet 不会确认空,终止被挂起。
所以『缩容』的正确心智模型是一串受护栏约束的收敛动作,不是一行云 API 调用。它的耗时是各步之和——这也解释了为什么 14.1 里一台节点从『空闲』到『消失』要十几分钟。
Cordon 与驱逐 API:执行细节
前三步用的是两个标准 Kubernetes 机制,值得单独看:
- Cordon:对 Node 打
spec.unschedulable: true。语义是『别再调度新 Pod 上来』,已在其上的 Pod 不受影响。缩容先 cordon 再驱逐,保证『一边在搬离、一边没有新入住』。 - Eviction API:
POST /api/v1/namespaces/{ns}/pods/{name}/eviction,请求体带terminationGracePeriodSeconds。kube-apiserver 在放行前检查 PDB——可用副本会跌破minAvailable就返回 429/TooManyRequests,驱逐被拒绝。 - 驱逐是逐个的:缩容器一次驱逐一个 Pod,等它确认终止(或被拒绝)再处理下一个,而不是一把梭。这样任一步被 PDB 拦住,都能停下重新评估。
这个执行模型保证:缩容的每一步都可中断、可重试、可观察。这也是为什么它不是一行云 API 调用——中间夹着 apiserver 的协商与 PDB 的裁决。
缩容安全护栏:受保护 Pod 与级联失败
缩容设计的第一原则是别让缩容制造新的故障。护栏分三层:
- PDB 护栏:驱逐 Pod 前检查
PodDisruptionBudget允许的可用副本下限,跌破就拒绝驱逐。这是『主动缩容』与『失联强制删除』的分水岭——9.3 章讲过,节点失联的强制删除会绕过 PDB,而主动缩容必须尊重 PDB。 - 受保护 Pod:DaemonSet Pod、static/mirror Pod 不可驱逐;
safe-to-evict注解显式声明不可驱逐的 Pod 也不能碰;带本地存储的节点默认整台不缩(数据随节点销毁)。 - 级联失败防护:可迁移性验证保证『这台节点消失后所有 Pod 都能放去别处』,否则保留;
max-nodes-total与 disruption budgets 限制一次最多删多少,避免同时清空太多容量触发雪崩。
这三层合起来的语义是:缩容只允许发生在『证明安全』之后。每层都是『先证明,后执行』的检查点,任何一层不过就整体暂停——而不是部分驱逐。
把护栏的动态作用走一个具体例子(3 副本 Deployment,PDB 要求 minAvailable: 2):
- 节点缩容想驱逐这个 Deployment 在目标节点上的 1 个副本。
- 检查时集群里该 Deployment 可用副本恰好 2 个——驱逐 1 个会跌破 2,Eviction API 返回拒绝,缩容暂停。
- 一段时间后,滚动更新或扩容把可用副本补到 3,缩容器重试驱逐,这次放行。
- 注意护栏没有『杀掉』缩容,只是让缩容等待——直到条件允许,链继续往下走。
这说明 PDB 与缩容是协商关系:缩容器反复尝试,PDB 决定何时放行。缩容不会硬闯,也不会放弃,它在一个受约束的循环里等机会。
冷启动代价:镜像、探针、就绪
每个新副本从『被创建』到『接流量』都要付一次固定启动成本,三段为主:
- 拉镜像:镜像几十 MB 到几 GB,冷节点(该镜像从未缓存)要完整下载,几十秒到几分钟;并发扩容时镜像仓库还可能成为瓶颈。
- 启动探针与就绪探针:应用进程起来后,
startupProbe给慢启动应用兜底,readinessProbe通过前 Pod 不进 EndpointSlice、不接流量。 - Endpoint 收敛:Pod Ready 后,Controller 更新 EndpointSlice,才真正有流量路由进来——这一步也有秒级延迟。
加总:一个副本从创建到接流量常见 30 秒到数分钟。把各段摊开看成本构成:
| 启动段 | 典型耗时 | 影响因素 |
|---|---|---|
| 调度与容器创建 | 1~5s | 调度队列、镜像是否已缓存 |
| 拉镜像 | 10s~几分钟 | 镜像大小、冷/热节点、并发数 |
| 启动探针兜底 | 0~几十秒 | 应用启动速度、startupProbe 阈值 |
| 就绪探针通过 | 秒~几十秒 | 依赖初始化、健康检查逻辑 |
| Endpoint 收敛 | 秒级 | EndpointSlice 更新、DNS 缓存 |
这个数字不是背景噪音,而是伸缩决策的直接成本项——每次扩容都付,每次缩到 0 再拉起都再付一次。
冷启动如何影响伸缩决策
冷启动成本会反过来塑造伸缩策略:
- 频繁伸缩 = 高频冷启动:负载每 10 分钟抖动一次,就频繁扩缩,每次的冷启动成本累加起来可能超过『常驻多几个副本』的浪费。
- 缩到 0 再拉起的代价最高:从 0 到 1 没有预热副本可复用,冷启动全量付费。所以 scale-to-zero 只适合真正低频、延迟不敏感的批处理。
- 稳定窗口是省钱的:cooldown/稳定窗口让副本数在波动中保持不动,把『反应灵敏』换成『少付启动费』。伸缩不是越快越好,是每单位可用性付的启动费最少。
- 保底副本是缓冲:
minReplicaCount维持少量常驻,让小幅波动不需要冷启动就能消化,只在突破时才扩。
一句决策原则:当『负载波动周期 ≪ 冷启动时间』时,保持常驻比伸缩更划算;反之才值得频繁伸缩。量化见下文。
时间尺度:HPA 秒级、节点级分钟级、VPA 更慢
三层伸缩的时间尺度完全不同,理解后才能组合:
| 伸缩层 | 决策周期 | 生效时延 | 职责 |
|---|---|---|---|
| HPA/KEDA(副本级) | 15s | 秒到分钟 | 随负载调副本数 |
| 节点级(CA/Karpenter) | 秒级巡检 | 扩容 3~8 分钟、缩容 10+ 分钟 | 保证集群容量供给 |
| VPA(资源级) | 观测窗口小时级 | 小时到天 | 调 requests,防 OOM/浪费 |
它们的关系不是替代而是接力:HPA 扩副本但受节点容量上限约束;节点级伸缩器看到 Pending 后补节点,把容量上限抬起来;VPA 在更长时间尺度上修正单副本的资源画像。生产里三者常同时工作——不要指望任何一层单独解决全部伸缩问题。
把接力关系整理成一张决策清单,用于组合配置:
- 先定常驻底线:
minReplicaCount与节点组min保底,覆盖波动下限,避免缩到 0 高频冷启动。 - 副本级应对瞬时负载:HPA/KEDA 的指标与稳定窗口处理秒到分钟的波动,它是第一道防线。
- 节点级兜底容量:副本扩到上限仍 Pending 时,CA/Karpenter 补节点;扩容的 3~8 分钟滞后要靠『提前扩』或缓冲节点消化。
- PDB 覆盖叠加:为关键工作负载设
minAvailable,让滚动更新与节点缩容的驱逐撞车时仍有底线。 - 用冷启动成本核算判断:负载波动周期与冷启动时间对比决定『频繁伸缩』还是『维持保底』,见下文算式。
这五步把三个时间尺度、两类伸缩器、两层护栏串成一个完整的伸缩策略——每一层解决自己被设计来解决的那一段,谁也不替代谁。
滚动更新与 maxUnavailable 的叠加
节点级缩容与 Deployment 滚动更新是两个独立的驱逐源,它们叠加时容易踩坑:
- 滚动更新用
maxUnavailable/maxSurge控制同时停/加多少副本:maxUnavailable: 25%意味着一次最多 25% 副本不可用。 - 节点缩容驱逐的 Pod 也在减少可用副本。两者同时发生时,可用副本被『滚动替换 + 节点驱逐』双重消耗,可能跌破业务能承受的水位,尽管各自都在自己的护栏内。
- 对策:给关键工作负载设 PDB,让节点缩容的驱逐也受『可用副本下限』约束;把滚动更新安排在节点缩容低谷期,或让 PDB 的 minAvailable 覆盖两者叠加的最坏情况。
这是第 9 章驱逐语义在节点级伸缩上的延伸:PDB 不只保护主动中断,也保护『两个主动中断撞车』。
频繁伸缩的隐形成本核算
把隐形成本量化成一个可复核的算式:
每次扩容固定成本 = 调度延迟 + 镜像拉取 + 探针等待 + Endpoint 收敛
每次缩容固定成本 = 驱逐 + 优雅停机 + 节点资源回收
举例:镜像拉取平均 40s、探针等待 30s、Endpoint 10s,则每次扩容约 80s 的『不可用时间』。若每天扩缩 30 次、平均 5 副本,一天就有 30 × 5 × 80s ≈ 3.3 小时 的副本时间花在启动上——这些副本在多数时刻并不产生处理能力。把这个数字和『常驻多 2 个副本』的成本对比,就能客观决定是频繁伸缩还是维持保底。伸缩不是免费的,它的账单就是冷启动与驱逐的开销。
把两种策略在同一个负载剖面下对比(波动 30 次/天、峰值需要 5 副本、冷启动 80s):
| 策略 | 配置 | 每天启动开销 | 资源闲置 |
|---|---|---|---|
| 频繁伸缩 | min 1、跟随负载扩到 5 | 约 3.3 小时副本时间 | 低 |
| 保底常驻 | min 3、只在峰值扩 | 约 1.1 小时(30 次 × 2 副本 × 80s) | 中等 |
| 全常驻 | min 5、从不缩 | 0 | 高(低谷时 5 副本闲置) |
没有绝对最优——选择取决于『启动开销』与『闲置成本』的比值:镜像越大、探针越慢,越偏向常驻;机器越贵、低谷越长,越偏向频繁伸缩。
三个常见误解
- 「缩容就是调用云 API 删一台机器」——错误。缩容是一条判定→cordon→驱逐→清空→终止的串行链,每步都可能被 PDB、优雅停机、卷卸载卡住,耗时是各步之和。
- 「主动缩容的驱逐和节点失联的删除一样,都绕过 PDB」——错误。节点失联的强制删除绕过 PDB;主动缩容必须尊重 PDB,跌破可用下限就暂停。
- 「伸缩越快越好」——错误。冷启动是固定成本,负载波动周期短于冷启动时间时,频繁伸缩是净亏损;稳定窗口与保底副本往往更省钱。
本节 lab
本节把『利用率阈值缩容』与『模拟扩容』的对照落到 autoscaler/autoscaler.go 的 MaybeScaleDown 与 Simulate:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run 'TestClusterAutoscalerScaleDown|TestClusterAutoscalerScaleUp' -v
TestClusterAutoscalerScaleDown 验证:2 台 8 核节点各只用 1 核,平均利用率 1/8 远低于 ScaleDownThreshold 0.5 → 移除最空闲的一台;只剩 1 台后不再缩容(护栏:不能缩到空集群)。TestClusterAutoscalerScaleUp 对照验证扩容侧『装不下→加节点』。两个用例合起来正是本节的核心:缩容靠『利用率低于阈值且可迁移』触发,扩容靠『模拟调度装不下』触发,两侧护栏不同,方向相反。
在 lab 里把 ScaleDownThreshold 调高到 0.9 再跑 TestClusterAutoscalerScaleDown,可以观察护栏的敏感性:阈值越高越容易被判定空闲——对应生产里调 scale-down-utilization-threshold 的直觉;而 MaxNodes 对应 max-nodes-total 的上限护栏。一个小模型覆盖本节缩容侧的全部关键旋钮。
至此,第 14 章收束:节点级伸缩从『模拟调度判定』到『声明式生命周期』再到『驱逐协同与冷启动』,形成了节点容量供给的完整闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。