14.2 Karpenter 声明式节点生命周期
14.1 的 Cluster Autoscaler 是『节点组的增删成员』模式:容量边界由云上预置的 ASG 决定,CA 只能在边界内加减。Karpenter 换了一套范式——不预置节点组,把『要什么样的节点』声明成集群内对象,按需直接创建实例。本节讲这套声明式模型、节点生命周期状态机,以及它为什么比 CA 更快、更细。
从隐式节点组到声明式 NodePool
CA 的心智模型是『在云上先建节点组,Kubernetes 里告诉 CA 去管它』:
- 用户在 AWS 创建 AutoScaling Group,指定实例模板(m5.large、磁盘、user-data)和 min/max。
- CA 能做的只是增减组成员。实例规格在创建组时就定死了,扩容只能多来一台 m5.large,缩容只能减少成员数。
Karpenter 完全反着来:
- 用户在 Kubernetes 集群内创建 NodePool 对象,声明『我要的节点满足这些条件』(实例家族、大小范围、污点、标签、价格上限)。
- Karpenter 直接调用云厂商 API 按需创建实例,规格从候选集里现选,不必预置任何组。
- 节点组(如果有)只是云成本管理的载体,不再是扩容的硬边界。
这个差异的实质:CA 把伸缩边界放在云控制台,Karpenter 把伸缩边界放进集群的声明式配置。后者让『节点长什么样』成为版本化的、可审查的集群资源,而不是云上的孤儿配置。
NodePool 与实例类(EC2NodeClass)
Karpenter 把『要什么』与『怎么建』拆成两个 CRD:
- NodePool:描述节点需求。
spec.template.spec里有实例类型 requirements(vCPU/内存范围、家族、大小)、labels、taints;spec.limits给出集群级资源上限;spec.disruption配置合并策略与驱逐预算;spec.expireAfter设定节点强制轮换周期。 - EC2NodeClass(AWS 实现)描述节点形态:AMI、securityGroups、subnets、instanceProfile、userData、tags。一个 NodePool 引用一个 NodeClass。
解耦的价值:『要什么规格』和『具体怎么建』可以独立演进。换 AMI 只改 NodeClass,改容量策略只改 NodePool;多 NodePool 可共享同一 NodeClass,让『同一套机器形态服务于不同调度策略』成为可能。
一个 NodePool 的最小声明(结构示意,字段精简)长这样:
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
name: workload-default
spec:
template:
metadata:
labels: { workload: batch }
spec:
requirements:
- key: karpenter.sh/capacity-type
operator: In
values: ["on-demand", "spot"]
- key: karpenter.sh/instance-family
operator: In
values: ["c5", "m5"]
taints: []
limits:
cpu: "200"
memory: 800Gi
disruption:
consolidationPolicy: WhenUnderutilized
budgets:
- nodes: "10%"
expireAfter: 168h
requirements 用集合运算(In/NotIn)表达规格偏好,limits 是集群级硬顶,disruption 定义合并策略与驱逐预算,expireAfter 强制每周轮换节点治理漂移。这一份对象同时回答了『要什么、最多多少、怎么收敛、多久轮换』——CA 需要云控制台 + 一堆 flag 才能凑齐的信息,在这里都是声明。
节点生命周期状态机
Karpenter 把一台节点从生到死管成一条完整状态链:
等待 Pod → 求解规格 → 创建实例 → 注册节点 → Ready → 被调度使用
→ 空闲/合并候选 → cordon(拒绝新 Pod)→ 驱逐 Pod(尊重 PDB)
→ kubelet 清空 → 终止实例 → 清理 Node 对象
每个转移都有明确触发与护栏:
- 创建:NodePool 收到无法调度的 Pod(或达到预创建阈值),求解实例类型并创建。
- 使用:节点 Ready 后交给调度器,Pod 通过正常链路放上去。
- 终止候选:三种来源——consolidation(能合并/换更省的)、
expireAfter(到期强制轮换,治理漂移与泄密面)、显式删除。 - 终止执行:先 cordon 拒绝新调度,再驱逐 Pod(PDB 与
terminationGracePeriodSeconds都要被尊重),等清空确认后调云 API 终止。
对比 CA:CA 的缩容是『组内删成员』,节点自身的状态管理散在云与控制器之间;Karpenter 把整条链收敛成一个控制器内的状态机,每一个转移都可观测、可预算、可暂停。
实例类型选择:规格求解
Karpenter 创建实例时面对的不是『下一个成员』,而是规格求解问题:给定一批待调度 Pod 和 NodePool 的候选实例集,选哪些实例类型、各几台、每台放哪些 Pod,使得:
- 所有 Pod 都能装下;
- 总成本最小(或用最少的节点);
- 实例类型符合 NodePool 的 requirements 与价格上限。
求解器是启发式,不是穷举(EC2 有几百种规格,全量背包问题不可行):
- 过滤候选集:去掉不符合 requirements、超价格上限的类型。
- 按 Pod 的请求资源把每个候选类型『试装』,得到该类型能承载多少 Pod、浪费多少。
- 以『价格 × 数量 + 浪费惩罚』打分,贪心挑当前最优类型创建一台,剩余 Pod 继续下一轮。
这个求解器的直接收益:扩容不再被预置规格绑架。CA 只能多来一台 m5.large;Karpenter 看到『5 个 2 核 Pod + 1 个 4 核 Pod』,可以创建 2 台 4 核实例打包 3+2 或 2+4 核组合,碎片更少、账单更省。
把求解走一遍(候选 c5.large 2 核 / c5.xlarge 4 核,价格按 1:2):
| 待调度 Pod | 需求 | c5.large 可装 | c5.xlarge 可装 |
|---|---|---|---|
| A/B/C/D/E | 各 2 核 | 每台 1 个 | 每台 2 个 |
| F | 4 核 | 0(装不下) | 1 个 |
| 方案 1:全部用 c5.large | — | 5 台(A~E)+ F 装不下 | — |
| 方案 2:1 台 c5.xlarge + 3 台 c5.large | — | 装 A~C | 装 D~F(2+2+4 恰好 8) |
方案 2 用 1×2 + 3×1 = 5 倍单价,比方案 1 的 5×1 + F 无解更优。求解器把『规格选择』从手工拍板变成逐轮打分的最优贪心——这是 CA 预置组模式根本做不到的灵活性。
consolidation:空闲节点合并
CA 的缩容只问『这台节点该不该删』;Karpenter 的 consolidation 问的是『现有节点能不能重排得更省』:
- WhenUnderutilized(默认):检测到某些节点利用率低于阈值,尝试把它们的 Pod 合并到更少的节点上,或换到更便宜的实例类型,合并成功后终止被替代的节点。
- WhenEmpty:只在节点完全空闲时才删,最保守。
- 合并是多对一:A、B 两台半空的节点,Pod 全部塞进 C(或一台新节点),然后同时终止 A、B。
consolidation 比『删一台』更彻底:它把碎片整理也纳入了伸缩——不只是省节点数,还省规格错配。举一个具体的合并例子:
合并前:A 台 c5.xlarge(8 核)只用了 2 核,B 台 c5.large(4 核)只用了 2 核
合并后:把 A 的 Pod 驱逐到 B,A 终止 → 省下 1 台实例
更优:A、B 各 2 核的 Pod 合并到一台 4 核,两台都终止 → 规格与用量对齐
spec.disruption.budgets 限制并行驱逐的节点数(例如最多 10%),保证合并过程不会一次打掉太多可用容量——合并追求成本最优,但以『随时留得住流量』为底线。
与调度的实时性
Karpenter 更快的三个来源:
- 不必等云节点组扩容:CA 要调 ASG API、等组内新实例;Karpenter 直接创建实例,省掉『组』这一层协调。
- 预创建:NodePool 可以提前创建节点等待 Pod(provisioning 阈值),把『先调度后建节点』的串行改成并行,砍掉一段时延。
- 更细的粒度:CA 一次扩一组一个规格,Karpenter 一次可创建多台不同规格,Pod 到节点的映射更贴近请求,浪费更少。
不过要泼一盆冷水:创建实例的物理时延(分钟级)没有消失——云厂商开机、注册、就绪依然要时间。Karpenter 优化的是决策与装配的粒度,不是物理时钟。它比 CA 快在『决策更快、装配更准』,不是『新节点秒级就绪』。
CA vs Karpenter 对比
| 维度 | Cluster Autoscaler | Karpenter |
|---|---|---|
| 配置模型 | 云上预置节点组 + 隐式规则 | 集群内声明式 NodePool/NodeClass |
| 扩容对象 | 增加节点组成员 | 按需创建全新实例 |
| 规格选择 | 受限于组模板(单一规格) | 候选集求解最省(多规格) |
| 缩容语义 | 利用率阈值 + unneeded 超时 | consolidation 重排合并 |
| 缩容粒度 | 删整台节点 | 可换更省规格、多对一合并 |
| 实时性 | 组级协调,分钟级 | 实例级直接调用,更快 |
| 驱逐护栏 | 尊重 PDB | 尊重 PDB + disruption budgets |
| 云依赖 | 必须先建好 ASG/MIG | 直接云 API,无需预置 |
一句话总结差异:CA 在『组』的边界内做加减,Karpenter 在『实例』的粒度上做求解。前者适合已有大量节点组、迁移成本敏感的存量集群;后者适合新建集群、追求规格灵活与成本最优的场景。
三个常见误解
- 「Karpenter 不需要云资源概念,纯粹是 Kubernetes 的事」——错误。它仍要直接调用云厂商 API,需要 IAM/角色与子网等云侧前置;只是把这些前置收敛进 NodeClass,而不是要求你预建节点组。
- 「Karpenter 比 CA 快是因为新节点秒级就绪」——错误。实例创建的物理时延仍在;快在决策与装配粒度(直接创建、多规格、预创建),不是物理时钟被缩短。
- 「consolidation 就是更激进的缩容」——错误。它不只是『删空闲节点』,而是『重排得更省』——可能换规格、可能多对一合并,且受 disruption budgets 限制。激进但不鲁莽。
本节 lab
声明式节点增删的生命周期核心,是判定『这台节点是否必要』——这正是 14.1 的模拟调度。Karpenter 与 CA 在此共用同一判定基础,lab 用它做最小验证:
cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestClusterAutoscalerScaleUp -v
TestClusterAutoscalerScaleUp 的 Simulate 验证『待调度 Pod 能否被现有节点装下』:Karpenter 的 consolidation 同样要先回答『把 Pod 重排到更少节点后,原节点是否还有存在的必要』。lab 里加节点后重放 BufferPods 全部装下,正是『必要/不必要』的量化判定——只是 Karpenter 把这个判定从『组内删成员』扩展成『实例级重建』,判定逻辑与 CA 一致,决策粒度不同。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。