《Kubernetes 分布式系统原理深入解析》14.2 Karpenter 声明式节点生命周期

CA 依赖云上预置的节点组,Karpenter 用声明式 NodePool/EC2NodeClass 把『要什么样的节点』写成集群内配置,按需求解最省实例并管理节点从创建到终止的完整生命周期。本节讲范式差异、实例类型规格求解、consolidation 合并与实时性,并用 lab 的模拟调度用例验证『节点是否必要』的核心判定。

14.2 Karpenter 声明式节点生命周期

14.1 的 Cluster Autoscaler 是『节点组的增删成员』模式:容量边界由云上预置的 ASG 决定,CA 只能在边界内加减。Karpenter 换了一套范式——不预置节点组,把『要什么样的节点』声明成集群内对象,按需直接创建实例。本节讲这套声明式模型、节点生命周期状态机,以及它为什么比 CA 更快、更细。

从隐式节点组到声明式 NodePool

CA 的心智模型是『在云上先建节点组,Kubernetes 里告诉 CA 去管它』:

  • 用户在 AWS 创建 AutoScaling Group,指定实例模板(m5.large、磁盘、user-data)和 min/max。
  • CA 能做的只是增减组成员。实例规格在创建组时就定死了,扩容只能多来一台 m5.large,缩容只能减少成员数。

Karpenter 完全反着来:

  • 用户在 Kubernetes 集群内创建 NodePool 对象,声明『我要的节点满足这些条件』(实例家族、大小范围、污点、标签、价格上限)。
  • Karpenter 直接调用云厂商 API 按需创建实例,规格从候选集里现选,不必预置任何组。
  • 节点组(如果有)只是云成本管理的载体,不再是扩容的硬边界。

这个差异的实质:CA 把伸缩边界放在云控制台,Karpenter 把伸缩边界放进集群的声明式配置。后者让『节点长什么样』成为版本化的、可审查的集群资源,而不是云上的孤儿配置。

NodePool 与实例类(EC2NodeClass)

Karpenter 把『要什么』与『怎么建』拆成两个 CRD:

  • NodePool:描述节点需求。spec.template.spec 里有实例类型 requirements(vCPU/内存范围、家族、大小)、labels、taints;spec.limits 给出集群级资源上限;spec.disruption 配置合并策略与驱逐预算;spec.expireAfter 设定节点强制轮换周期。
  • EC2NodeClass(AWS 实现)描述节点形态:AMI、securityGroups、subnets、instanceProfile、userData、tags。一个 NodePool 引用一个 NodeClass。

解耦的价值:『要什么规格』和『具体怎么建』可以独立演进。换 AMI 只改 NodeClass,改容量策略只改 NodePool;多 NodePool 可共享同一 NodeClass,让『同一套机器形态服务于不同调度策略』成为可能。

一个 NodePool 的最小声明(结构示意,字段精简)长这样:

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: workload-default
spec:
  template:
    metadata:
      labels: { workload: batch }
    spec:
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["on-demand", "spot"]
        - key: karpenter.sh/instance-family
          operator: In
          values: ["c5", "m5"]
      taints: []
  limits:
    cpu: "200"
    memory: 800Gi
  disruption:
    consolidationPolicy: WhenUnderutilized
    budgets:
      - nodes: "10%"
  expireAfter: 168h

requirements 用集合运算(In/NotIn)表达规格偏好,limits 是集群级硬顶,disruption 定义合并策略与驱逐预算,expireAfter 强制每周轮换节点治理漂移。这一份对象同时回答了『要什么、最多多少、怎么收敛、多久轮换』——CA 需要云控制台 + 一堆 flag 才能凑齐的信息,在这里都是声明。

节点生命周期状态机

Karpenter 把一台节点从生到死管成一条完整状态链:

等待 Pod → 求解规格 → 创建实例 → 注册节点 → Ready → 被调度使用
   → 空闲/合并候选 → cordon(拒绝新 Pod)→ 驱逐 Pod(尊重 PDB)
   → kubelet 清空 → 终止实例 → 清理 Node 对象

每个转移都有明确触发与护栏:

  • 创建:NodePool 收到无法调度的 Pod(或达到预创建阈值),求解实例类型并创建。
  • 使用:节点 Ready 后交给调度器,Pod 通过正常链路放上去。
  • 终止候选:三种来源——consolidation(能合并/换更省的)、expireAfter(到期强制轮换,治理漂移与泄密面)、显式删除。
  • 终止执行:先 cordon 拒绝新调度,再驱逐 Pod(PDB 与 terminationGracePeriodSeconds 都要被尊重),等清空确认后调云 API 终止。

对比 CA:CA 的缩容是『组内删成员』,节点自身的状态管理散在云与控制器之间;Karpenter 把整条链收敛成一个控制器内的状态机,每一个转移都可观测、可预算、可暂停。

实例类型选择:规格求解

Karpenter 创建实例时面对的不是『下一个成员』,而是规格求解问题:给定一批待调度 Pod 和 NodePool 的候选实例集,选哪些实例类型、各几台、每台放哪些 Pod,使得:

  • 所有 Pod 都能装下;
  • 总成本最小(或用最少的节点);
  • 实例类型符合 NodePool 的 requirements 与价格上限。

求解器是启发式,不是穷举(EC2 有几百种规格,全量背包问题不可行):

  1. 过滤候选集:去掉不符合 requirements、超价格上限的类型。
  2. 按 Pod 的请求资源把每个候选类型『试装』,得到该类型能承载多少 Pod、浪费多少。
  3. 以『价格 × 数量 + 浪费惩罚』打分,贪心挑当前最优类型创建一台,剩余 Pod 继续下一轮。

这个求解器的直接收益:扩容不再被预置规格绑架。CA 只能多来一台 m5.large;Karpenter 看到『5 个 2 核 Pod + 1 个 4 核 Pod』,可以创建 2 台 4 核实例打包 3+2 或 2+4 核组合,碎片更少、账单更省。

把求解走一遍(候选 c5.large 2 核 / c5.xlarge 4 核,价格按 1:2):

待调度 Pod需求c5.large 可装c5.xlarge 可装
A/B/C/D/E各 2 核每台 1 个每台 2 个
F4 核0(装不下)1 个
方案 1:全部用 c5.large—5 台(A~E)+ F 装不下—
方案 2:1 台 c5.xlarge + 3 台 c5.large—装 A~C装 D~F(2+2+4 恰好 8)

方案 2 用 1×2 + 3×1 = 5 倍单价,比方案 1 的 5×1 + F 无解更优。求解器把『规格选择』从手工拍板变成逐轮打分的最优贪心——这是 CA 预置组模式根本做不到的灵活性。

consolidation:空闲节点合并

CA 的缩容只问『这台节点该不该删』;Karpenter 的 consolidation 问的是『现有节点能不能重排得更省』:

  • WhenUnderutilized(默认):检测到某些节点利用率低于阈值,尝试把它们的 Pod 合并到更少的节点上,或换到更便宜的实例类型,合并成功后终止被替代的节点。
  • WhenEmpty:只在节点完全空闲时才删,最保守。
  • 合并是多对一:A、B 两台半空的节点,Pod 全部塞进 C(或一台新节点),然后同时终止 A、B。

consolidation 比『删一台』更彻底:它把碎片整理也纳入了伸缩——不只是省节点数,还省规格错配。举一个具体的合并例子:

合并前:A 台 c5.xlarge(8 核)只用了 2 核,B 台 c5.large(4 核)只用了 2 核
合并后:把 A 的 Pod 驱逐到 B,A 终止 → 省下 1 台实例
更优:A、B 各 2 核的 Pod 合并到一台 4 核,两台都终止 → 规格与用量对齐

spec.disruption.budgets 限制并行驱逐的节点数(例如最多 10%),保证合并过程不会一次打掉太多可用容量——合并追求成本最优,但以『随时留得住流量』为底线。

与调度的实时性

Karpenter 更快的三个来源:

  • 不必等云节点组扩容:CA 要调 ASG API、等组内新实例;Karpenter 直接创建实例,省掉『组』这一层协调。
  • 预创建:NodePool 可以提前创建节点等待 Pod(provisioning 阈值),把『先调度后建节点』的串行改成并行,砍掉一段时延。
  • 更细的粒度:CA 一次扩一组一个规格,Karpenter 一次可创建多台不同规格,Pod 到节点的映射更贴近请求,浪费更少。

不过要泼一盆冷水:创建实例的物理时延(分钟级)没有消失——云厂商开机、注册、就绪依然要时间。Karpenter 优化的是决策与装配的粒度,不是物理时钟。它比 CA 快在『决策更快、装配更准』,不是『新节点秒级就绪』。

CA vs Karpenter 对比

维度Cluster AutoscalerKarpenter
配置模型云上预置节点组 + 隐式规则集群内声明式 NodePool/NodeClass
扩容对象增加节点组成员按需创建全新实例
规格选择受限于组模板(单一规格)候选集求解最省(多规格)
缩容语义利用率阈值 + unneeded 超时consolidation 重排合并
缩容粒度删整台节点可换更省规格、多对一合并
实时性组级协调,分钟级实例级直接调用,更快
驱逐护栏尊重 PDB尊重 PDB + disruption budgets
云依赖必须先建好 ASG/MIG直接云 API,无需预置

一句话总结差异:CA 在『组』的边界内做加减,Karpenter 在『实例』的粒度上做求解。前者适合已有大量节点组、迁移成本敏感的存量集群;后者适合新建集群、追求规格灵活与成本最优的场景。

三个常见误解

  • 「Karpenter 不需要云资源概念,纯粹是 Kubernetes 的事」——错误。它仍要直接调用云厂商 API,需要 IAM/角色与子网等云侧前置;只是把这些前置收敛进 NodeClass,而不是要求你预建节点组。
  • 「Karpenter 比 CA 快是因为新节点秒级就绪」——错误。实例创建的物理时延仍在;快在决策与装配粒度(直接创建、多规格、预创建),不是物理时钟被缩短。
  • 「consolidation 就是更激进的缩容」——错误。它不只是『删空闲节点』,而是『重排得更省』——可能换规格、可能多对一合并,且受 disruption budgets 限制。激进但不鲁莽。

本节 lab

声明式节点增删的生命周期核心,是判定『这台节点是否必要』——这正是 14.1 的模拟调度。Karpenter 与 CA 在此共用同一判定基础,lab 用它做最小验证:

cd private/labs/k8s-sched-lab
go test ./autoscaler -run TestClusterAutoscalerScaleUp -v

TestClusterAutoscalerScaleUp 的 Simulate 验证『待调度 Pod 能否被现有节点装下』:Karpenter 的 consolidation 同样要先回答『把 Pod 重排到更少节点后,原节点是否还有存在的必要』。lab 里加节点后重放 BufferPods 全部装下,正是『必要/不必要』的量化判定——只是 Karpenter 把这个判定从『组内删成员』扩展成『实例级重建』,判定逻辑与 CA 一致,决策粒度不同。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图