《Kubernetes 分布式系统原理深入解析》8.3 回滚、暂停与进度卡住诊断

滚动更新的另一半故事是失败处理:版本起不来怎么办、怎么回滚、怎么暂停、怎么判断『卡住了』。本节拆解 Deployment 的 revision 历史与回滚机制、rollout pause/resume 的语义、progressDeadlineSeconds 的卡住判定,以及一套诊断步骤。lab 用 deploy.go 验证滚动对可用性下限的保持。

8.3 回滚、暂停与进度卡住诊断

滚动更新的另一半故事是失败处理。版本起不来、回滚、暂停、判断「卡住了」——本节拆解这些机制,并给出一套诊断步骤。

revision 历史:回滚的数据基础

Deployment 每次 spec 变化都产生一个新的 revision(版本号递增)。spec.revisionHistoryLimit 控制保留多少历史 RS:

Deployment 的 RS 集合 = 当前 RS + 历史 RS(用于回滚)
概念含义
revisionDeployment 的版本号(每次 spec 变化 +1)
revisionHistoryLimit保留的历史 RS 数(默认 10)
回滚把某个历史 RS 重新设为「当前版本」

回滚的机制:kubectl rollout undo 把 Deployment 的 pod template 恢复为某个历史版本的模板,触发一次新的滚动(新 RS)。回滚不是「恢复旧 Pod」,而是「把期望切回旧版本,让控制器再滚一次」——完全复用声明式的收敛机制。

回滚是新的滚动,不是撤销

关键认识:回滚也是一次滚动更新。

rollout undo → 修改 Deployment.spec.template → 创建新 RS(旧版本模板)
→ 新 RS 扩、当前 RS 缩 → 收敛到旧版本

所以回滚同样受 surge/maxUnavailable 约束、同样有中间态、同样可能失败(如果旧版本其实也起不来)。回滚不是「魔法撤销」,而是「切换期望」。这也意味着回滚期间服务可能短暂处于「新旧并存」的中间态。

暂停:半程停住,留观察窗口

kubectl rollout pause 让 Deployment 停止推进滚动:

命令语义
pause停止「缩旧 RS」的动作,但可以继续「建新 RS」
resume恢复滚动

暂停的实际行为:Deployment 控制器暂停对 RS 副本数的进一步调整。它仍会响应 spec 变化(比如你趁暂停修一下 image),但不会继续删旧副本。暂停的用途:滚动到一半,先观察新版本是否稳定,确认后再放行;或趁暂停修复配置。

暂停期间 spec 的变化会累积,resume 后一起生效——控制器重新调谐。

progressDeadlineSeconds:卡住的判定

滚动可能永远停在中间态(新版本起不来、被卡住)。K8s 用 progressDeadlineSeconds 判定「卡住」:

如果滚动在 progressDeadline 内没有推进
  → Deployment.status.conditions 里出现 ProgressDeadlineExceeded 条件
  → 控制器停止推进(但仍保持现有副本)

「没有推进」的判定依据:ReplicaSet 的 observedGeneration 与 updatedReplicas 在 deadline 内没有变化。卡住不等于失败:Deployment 不会被标记 Failed,副本还在跑旧版本,只是滚动停了。

progressDeadline 的意义:让「卡住」可观测、可自动化(如监控到 ProgressDeadlineExceeded 就告警或自动回滚),而不是无限等待。

诊断步骤:滚动卡住了怎么办

一套从浅到深的诊断流程:

步骤命令/对象问的问题
1kubectl rollout status deploy/xxx卡在哪个阶段(等待新副本/缩旧)
2kubectl get rs新 RS 的 DESIRED/CURRENT/READY 是多少
3kubectl describe rs/<new-rs>RS 事件:Pod 创建失败的原因
4kubectl get pods -l ...新 Pod 的状态:Pending/ImagePullBackOff/CrashLoop
5kubectl describe pod/<name>Pod 事件:调度失败/镜像拉取失败/探针失败
6kubectl rollout undo确认无法修复后回滚

诊断的原则(呼应 5.3 节「读状态看差异」):先看期望与现实的差异在哪一层,再看那一层的事件。滚动卡住几乎总是「新 RS 的 Pod 起不来」——定位到 Pod 状态和事件,问题就明朗。

卡住的常见根因

症状根因修复
新 Pod Pending资源不足、调度失败加资源/调节点
ImagePullBackOff镜像不存在/仓库不可达修镜像引用/网络
CrashLoopBackOff启动即崩溃修代码/配置/探针
Readiness 探针失败应用未就绪调探针/修应用
卡在缩旧新版本未就绪就绪检查没过等/修新版本

所有根因最终都是「新版本不健康」——滚动卡住 = 新版本无法达到「就绪」状态。诊断的核心就是确认这个,然后决定「修它」还是「回滚」。

revision 的保留与修剪:回滚的可用空间

回滚依赖历史 revision,但历史不会无限保留。spec.revisionHistoryLimit 控制保留数量:

设置行为
默认 10保留最近 10 个历史 RS
0不保留历史——无法回滚
较大值保留更多,占更多 etcd 空间

修剪机制:每次新 revision 产生时,超出 limit 的旧 RS 被删除(但保留其模板快照,回滚目标是「模板」,不依赖 RS 对象存活)。

回滚可用性 = revision 保留量:

  1. revisionHistoryLimit=0 且禁止回滚:用了就回不去——这是有意的配置,但也意味着「出问题只能靠重新发布修复」。
  2. 保留太短:超出保留范围的历史丢失,回滚目标不可达。
  3. 保留太长:每个 RS 对象占 etcd 空间,累积消耗存储与 list-watch 流量。

权衡建议:默认 10 足够覆盖绝大多数「最近一次坏版本」的回滚需求;主动把 limit 调成 0 只在「禁止回滚」的策略下有意义。

最后收束本节的诊断哲学:回滚、暂停、progressDeadline 都是「让滚动可管理」的工具——回滚是「承认这次期望错了」,暂停是「在验证与放行之间留窗口」,progressDeadline 是「把卡住变成可观测的事件」。三者共用同一个底座:Deployment 的期望是可切换的、现实是可观测的、收敛是可等待的。理解了底座,工具都是推论。

自动回滚:监控与 rollout 的配合

手动 kubectl rollout undo 之后,生产上更常见的是「自动回滚」——把 8.3 节的判定自动化:

发布新版本
  → 监控:新版本可用性/错误率指标
  → 不健康:rollout undo(或停止 rollout)
  → 健康:等待完成

自动回滚的关键设计:

要素说明
判定指标新版本就绪率、错误率、请求延迟
判定窗口给新版本足够的「稳定观察期」(不是一失败就回)
回滚动作复用 rollout undo(它就是一次切换期望)
幂等保障回滚是声明式切换,重复触发无害(6.2 节)

自动回滚是把「progressDeadline 判定」升级为「指标判定」:progressDeadline 只看「滚动有没有推进」,指标看「新版本是不是真的好」。两者的组合是生产发布的标准护栏——K8s 原生只提供前者,后者要靠监控系统(或 Argo Rollouts 这类扩展)。

自动回滚还有一个关键纪律:判定与执行要分开。判定(指标不健康)只产生「是否回滚」的决策;执行(rollout undo)是一个动作。把两者拆开,才能做到「可观测的决策 + 可审计的执行」——出了错知道是「判定错了」还是「执行错了」。这也是所有自动化运维动作(不是只回滚)应该遵循的原则。

三个常见误解

  • 「回滚是撤销操作」——错误。回滚是「切换期望到旧版本」,触发新一轮滚动,同样受策略约束。
  • 「pause 就是停住一切」——错误。pause 停的是「缩旧」,新 RS 可以继续建。
  • 「卡住就是失败」——错误。卡住是滚动停止推进(ProgressDeadlineExceeded),现有副本仍在服务,可继续观察或回滚。

本节 lab

本节验证滚动更新的可用性保持(诊断的前提:滚动不破坏可用性):

cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestRollingUpdateAvailability|TestRollingUpdateSurge' -v
  • TestRollingUpdateAvailability:maxUnavailable=1 时滚动全程可用副本不低于 desired-1——诊断的前提是「滚动本身安全」。
  • TestRollingUpdateSurge:总副本不超 desired+surge——「滚动不会超配」的边界。

回滚、暂停、progressDeadline 是让滚动可管理的三个工具,共用同一个底座——期望可切换、现实可观测、收敛可等待。理解了底座,工具都是推论。

给运维一个可执行清单:发布前确认 revisionHistoryLimit 够用(要能回滚)、发布中在关键节点用 pause 留观察窗口、发布失败先用 rollout status 定位卡点再决定修还是回滚。三个动作对应三个工具,各归其位。

最后强调一下「期望可切换」的分量:回滚之所以不是撤销而是切换,是因为 Deployment 没有「历史回退」这种概念——它只有「当前期望是什么」。任何时刻你改 spec,它就从那里重新收敛。控制器没有记忆,只有现实与期望的差——这是整个控制面设计最统一、也最强大的地方。

本节 lab 验证的是「滚动不破坏可用性」——它是所有诊断的前提:只有滚动本身安全,才能心平气和地去诊断它为什么卡住。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图