7.3 扩缩容的分布式语义
kubectl scale 是一条命令,但它触发的是一串分布式事件。本节拆解扩缩容在分布式系统里的真实语义:动作是异步的、中间态是可见的、并发是靠版本协调的。理解了这些,「副本数为什么不会立刻变」就不再是困惑。
扩容的完整链路:从一行命令到 N 个就绪 Pod
一次 kubectl scale --replicas=5(从 2 扩到 5)触发:
| 步骤 | 谁 | 状态变化 |
|---|---|---|
| 1 | kubectl | 写 RS.spec.replicas=5(带 RV) |
| 2 | RS 控制器 | watch 到,reconcile 发现差 3 |
| 3 | RS 控制器 | 创建 3 个 Pod 对象 |
| 4 | 调度器 | 给每个 Pod 绑定节点(写 nodeName) |
| 5 | kubelet | 拉镜像、启动容器 |
| 6 | kubelet | 写 Pod Ready 状态 |
| 7 | RS 控制器 | 看到 ready=5,收敛 |
每一步都是独立的分布式动作,都可能延迟或失败。从「期望 5」到「现实 5 Ready」之间,隔着整个 Pod 生命周期(7.1 节)。
中间态的可见性:扩容期间你看到什么
扩容不是瞬间的,期间观察者看到「中间态」:
scale 后立刻:RS 有 5 个 Pod,但 3 个 Pending(新创建的没就绪)
几分钟后:5 个全部 Ready
中间态的两个特征:
- total 先到,ready 后到:Pod 对象一创建就计入 total,但要很久才计入 ready。
- 每个 Pod 的到达时间是独立的:5 个新 Pod 各自经历调度/启动/就绪,快的先 Ready。
这是 5.2 节「测量延迟 + 动作延迟」在扩容场景的直接体现:控制器的动作(创建)与测量(就绪)之间的滞后,在这里是秒级到分钟级。
缩容的语义:副本数为什么不会立刻变
缩容同理,kubectl scale --replicas=2(从 5 缩到 2):
- RS 控制器看到 ready=5 > desired=2 → 删 3 个。
- 删 3 个 → Pod 对象被标记删除(deletionTimestamp)。
- Pod 进入终止流程:容器收到 SIGTERM、优雅退出、最终消失。
- RS 控制器看到 Pod 数变成 2,收敛。
关键点:缩容也不是立即的。删除是「软删除」(1.2 节两段式),Pod 对象先进入 Terminating 状态,优雅终止完成后才消失。所以缩容后短时间内仍能看到 Terminating 的 Pod。
| 阶段 | Pod 状态 | 计入 ready? |
|---|---|---|
| 存活 | Running/Ready | 是 |
| 删除中 | Terminating(deletionTimestamp) | 是(直到容器停) |
| 消失 | 无 | 否 |
并发扩缩容:多个写者怎么协调
扩缩容的写者不止一个:
- 用户:
kubectl scale改 spec.replicas。 - HPA:自动缩放器,周期性改 spec.replicas(5.2 节稳定窗口)。
- 其他控制器:如自定义控制器。
多个写者并发改 replicas 的协调靠 2.2 节的乐观锁:
- 每个写者 GET 时携带 RV。
- 写时带 RV,apiserver 校验版本。
- 冲突返回 409,写者重读-重算-重写。
如果不用乐观锁,HPA 和用户同时改 replicas,后写的覆盖先写的——「最后写的人赢」。乐观锁保证:只有基于最新版本的写才成功,冲突方重试。
并发扩缩容的调谐:RS 控制器内部没有冲突
RS 控制器自己也是写者(它创建/删除 Pod),但它不写 spec.replicas——那是用户的。RS 只写「子资源下的对象」(Pod)。所以:
| 写者 | 写什么 | 冲突对象 |
|---|---|---|
| 用户/HPA | RS.spec.replicas | 彼此 |
| RS 控制器 | Pod 对象 | 与其他 Pod 控制器 |
RS 控制器不在 replicas 字段上与其他写者冲突——它只执行,不声明。这是 2.1 节「spec 是用户的、控制器只执行」在扩缩容场景的体现。
由此得到一个实际的运维推论:想查「replicas 为什么变成 8」,要看谁写了 spec.replicas——用户的手、HPA 的自动缩放、还是某个自定义控制器。RS 控制器永远不是答案(它不写 spec)。这个「谁是 spec 的写者」问题,是排查扩缩容异常的第一步(呼应 5.3 节「先确认期望变了没有」)。
扩缩容与并发创建:去重保证
扩容创建 Pod 时,RS 控制器可能因为事件重复收到多次 reconcile(6.1 节去重)。会不会重复创建?
- workqueue 去重:同一 key 处理完前不重复入队。
- reconcile 幂等:
Reconcile()从现实算差异——如果 5 个 Pod 已存在,返回 create=0,不重复创建。
幂等 + 去重 = 不会重复创建,也不会漏创建。即使控制器重启(standby 接管,4.3 节),重新调谐也从现实出发,不会多建一个 Pod。
扩缩容还有一个并发场景:scale 进行中又收到新的 scale。比如用户 scale 5 刚执行,HPA 又算出 scale 8。两者的协调同样靠乐观锁:后写者读到的是前写者的结果(RV 变化),基于新值重算差异。并发写者的正确性不靠「排队」,靠「每次基于最新版本重算」——这正是 2.2 节乐观锁在扩缩容场景的日常应用。
给扩缩容的分布式语义一个收束:期望(spec)是瞬间改变的,现实(Pod 集合)是渐近追上的。两者之间的一切(调度、启动、终止、版本冲突)都是异步的、可重试的、最终一致的——理解了这一点,扩缩容就不再是「一条命令」,而是一个需要被正确理解和观测的分布式过程。
HPA 的扩缩容:自动缩放器的语义
除了手工 kubectl scale,还有一个自动缩放器:HPA(HorizontalPodAutoscaler)。它的语义值得单独拆:
HPA 周期性(默认 15s):
1. 读指标(CPU 利用率/自定义指标)
2. 算期望副本数 = ceil(当前副本 × 指标值/目标值)
3. 写 RS/Deployment 的 spec.replicas
HPA 的关键语义:
| 特性 | 说明 |
|---|---|
| 周期性 | 每 15s 一次,不是事件驱动 |
| 稳定窗口 | 连续 N 个周期都算出同一副本数才改(默认 5 分钟)——防抖动 |
| 缩放限制 | 一次最多翻倍/减半,不瞬间拉满 |
| 最小/最大 | 受 minReplicas/maxReplicas 约束 |
HPA 与 RS 的分工:HPA 写 spec.replicas(声明期望),RS 执行(创建/删除 Pod)。HPA 不用知道 Pod 怎么建,RS 不用知道指标怎么算——中间隔着 spec 字段。
稳定窗口的分布式意义:指标有噪声,直接跟随会抖(5.2 节振荡)。稳定窗口把「指标噪声」过滤掉,只在趋势确认后才动作——这是负反馈系统里「节拍」的自动缩放实例。
扩缩容的失败诊断:从哪一层查起
扩缩容不生效时,按链路分层查:
| 症状 | 可能的层 | 检查 |
|---|---|---|
| spec.replicas 没变 | 写者 | HPA 是否在工作、用户是否执行了 scale |
| replicas 变了但 Pod 不变 | 控制器 | RS 控制器日志、事件 |
| Pod 建了但不就绪 | 调度/运行时 | Pod 事件、节点资源、探针 |
| 缩容删不掉 | 终止流程 | Pod 的 Terminating 状态、优雅终止超时 |
分层诊断的原则(呼应 5.3 节):先确认「期望变了没有」,再查「现实为什么没跟上」。80% 的扩缩容问题出在「期望没变」(HPA 没算、用户没执行),而不是「控制器坏了」。
三个常见误解
- 「scale 命令执行完副本数就变了」——错误。扩容要等 Pod 就绪,缩容要等优雅终止;期间是中间态。
- 「并发扩缩容会互相覆盖」——有乐观锁保护就不会;冲突方重试而非覆盖。
- 「RS 控制器会修改 spec.replicas」——错误。RS 控制器只创建/删除 Pod,spec 由用户或 HPA 维护。
本节 lab
本节验证扩缩容的收敛路径与优先删除语义:
cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestReplicaSetScaleUp|TestReplicaSetScaleDown' -v
TestReplicaSetScaleUp:扩容时先补建、再就绪、最后收敛——「total 先到,ready 后到」的完整路径。TestReplicaSetScaleDown:缩容时就绪超量才删、删到 desired——「就绪数收敛」而非「总数收敛」。
扩缩容的分布式语义可以一句话收束:期望瞬间改变,现实渐近追上。调度、启动、终止、版本冲突都是异步的、可重试的、最终一致的——理解了这一点,kubectl scale 就不再是一条命令,而是一段需要被正确理解与观测的分布式过程。
一个实践建议收尾:扩缩容相关的告警不要只看「副本数等于期望没」——它等于期望只是结果,中间态(Pending/Terminating)才是过程。给「中间态持续时间」设告警,比给「最终是否收敛」设告警更能提前发现问题。
一句话记忆:扩缩容是「改期望」与「追现实」两件事,前者一瞬间,后者一个过程。正确理解这一点,你就能正确设置等待(用 rollout status 而不是 sleep)、正确设置告警(看中间态时长而不是只看最终数)、正确排查故障(先问 spec 谁写的,再查现实为什么没跟上)。
这一理解也指导测试(本节 lab):测试扩缩容不是断言「命令执行完副本数就变」,而是断言「补建 → 就绪 → 收敛」的每一环都被正确驱动。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。