8.3 回滚、暂停与进度卡住诊断
滚动更新的另一半故事是失败处理。版本起不来、回滚、暂停、判断「卡住了」——本节拆解这些机制,并给出一套诊断步骤。
revision 历史:回滚的数据基础
Deployment 每次 spec 变化都产生一个新的 revision(版本号递增)。spec.revisionHistoryLimit 控制保留多少历史 RS:
Deployment 的 RS 集合 = 当前 RS + 历史 RS(用于回滚)
| 概念 | 含义 |
|---|---|
| revision | Deployment 的版本号(每次 spec 变化 +1) |
| revisionHistoryLimit | 保留的历史 RS 数(默认 10) |
| 回滚 | 把某个历史 RS 重新设为「当前版本」 |
回滚的机制:kubectl rollout undo 把 Deployment 的 pod template 恢复为某个历史版本的模板,触发一次新的滚动(新 RS)。回滚不是「恢复旧 Pod」,而是「把期望切回旧版本,让控制器再滚一次」——完全复用声明式的收敛机制。
回滚是新的滚动,不是撤销
关键认识:回滚也是一次滚动更新。
rollout undo → 修改 Deployment.spec.template → 创建新 RS(旧版本模板)
→ 新 RS 扩、当前 RS 缩 → 收敛到旧版本
所以回滚同样受 surge/maxUnavailable 约束、同样有中间态、同样可能失败(如果旧版本其实也起不来)。回滚不是「魔法撤销」,而是「切换期望」。这也意味着回滚期间服务可能短暂处于「新旧并存」的中间态。
暂停:半程停住,留观察窗口
kubectl rollout pause 让 Deployment 停止推进滚动:
| 命令 | 语义 |
|---|---|
pause | 停止「缩旧 RS」的动作,但可以继续「建新 RS」 |
resume | 恢复滚动 |
暂停的实际行为:Deployment 控制器暂停对 RS 副本数的进一步调整。它仍会响应 spec 变化(比如你趁暂停修一下 image),但不会继续删旧副本。暂停的用途:滚动到一半,先观察新版本是否稳定,确认后再放行;或趁暂停修复配置。
暂停期间 spec 的变化会累积,resume 后一起生效——控制器重新调谐。
progressDeadlineSeconds:卡住的判定
滚动可能永远停在中间态(新版本起不来、被卡住)。K8s 用 progressDeadlineSeconds 判定「卡住」:
如果滚动在 progressDeadline 内没有推进
→ Deployment.status.conditions 里出现 ProgressDeadlineExceeded 条件
→ 控制器停止推进(但仍保持现有副本)
「没有推进」的判定依据:ReplicaSet 的 observedGeneration 与 updatedReplicas 在 deadline 内没有变化。卡住不等于失败:Deployment 不会被标记 Failed,副本还在跑旧版本,只是滚动停了。
progressDeadline 的意义:让「卡住」可观测、可自动化(如监控到 ProgressDeadlineExceeded 就告警或自动回滚),而不是无限等待。
诊断步骤:滚动卡住了怎么办
一套从浅到深的诊断流程:
| 步骤 | 命令/对象 | 问的问题 |
|---|---|---|
| 1 | kubectl rollout status deploy/xxx | 卡在哪个阶段(等待新副本/缩旧) |
| 2 | kubectl get rs | 新 RS 的 DESIRED/CURRENT/READY 是多少 |
| 3 | kubectl describe rs/<new-rs> | RS 事件:Pod 创建失败的原因 |
| 4 | kubectl get pods -l ... | 新 Pod 的状态:Pending/ImagePullBackOff/CrashLoop |
| 5 | kubectl describe pod/<name> | Pod 事件:调度失败/镜像拉取失败/探针失败 |
| 6 | kubectl rollout undo | 确认无法修复后回滚 |
诊断的原则(呼应 5.3 节「读状态看差异」):先看期望与现实的差异在哪一层,再看那一层的事件。滚动卡住几乎总是「新 RS 的 Pod 起不来」——定位到 Pod 状态和事件,问题就明朗。
卡住的常见根因
| 症状 | 根因 | 修复 |
|---|---|---|
| 新 Pod Pending | 资源不足、调度失败 | 加资源/调节点 |
| ImagePullBackOff | 镜像不存在/仓库不可达 | 修镜像引用/网络 |
| CrashLoopBackOff | 启动即崩溃 | 修代码/配置/探针 |
| Readiness 探针失败 | 应用未就绪 | 调探针/修应用 |
| 卡在缩旧 | 新版本未就绪就绪检查没过 | 等/修新版本 |
所有根因最终都是「新版本不健康」——滚动卡住 = 新版本无法达到「就绪」状态。诊断的核心就是确认这个,然后决定「修它」还是「回滚」。
revision 的保留与修剪:回滚的可用空间
回滚依赖历史 revision,但历史不会无限保留。spec.revisionHistoryLimit 控制保留数量:
| 设置 | 行为 |
|---|---|
| 默认 10 | 保留最近 10 个历史 RS |
| 0 | 不保留历史——无法回滚 |
| 较大值 | 保留更多,占更多 etcd 空间 |
修剪机制:每次新 revision 产生时,超出 limit 的旧 RS 被删除(但保留其模板快照,回滚目标是「模板」,不依赖 RS 对象存活)。
回滚可用性 = revision 保留量:
- revisionHistoryLimit=0 且禁止回滚:用了就回不去——这是有意的配置,但也意味着「出问题只能靠重新发布修复」。
- 保留太短:超出保留范围的历史丢失,回滚目标不可达。
- 保留太长:每个 RS 对象占 etcd 空间,累积消耗存储与 list-watch 流量。
权衡建议:默认 10 足够覆盖绝大多数「最近一次坏版本」的回滚需求;主动把 limit 调成 0 只在「禁止回滚」的策略下有意义。
最后收束本节的诊断哲学:回滚、暂停、progressDeadline 都是「让滚动可管理」的工具——回滚是「承认这次期望错了」,暂停是「在验证与放行之间留窗口」,progressDeadline 是「把卡住变成可观测的事件」。三者共用同一个底座:Deployment 的期望是可切换的、现实是可观测的、收敛是可等待的。理解了底座,工具都是推论。
自动回滚:监控与 rollout 的配合
手动 kubectl rollout undo 之后,生产上更常见的是「自动回滚」——把 8.3 节的判定自动化:
发布新版本
→ 监控:新版本可用性/错误率指标
→ 不健康:rollout undo(或停止 rollout)
→ 健康:等待完成
自动回滚的关键设计:
| 要素 | 说明 |
|---|---|
| 判定指标 | 新版本就绪率、错误率、请求延迟 |
| 判定窗口 | 给新版本足够的「稳定观察期」(不是一失败就回) |
| 回滚动作 | 复用 rollout undo(它就是一次切换期望) |
| 幂等保障 | 回滚是声明式切换,重复触发无害(6.2 节) |
自动回滚是把「progressDeadline 判定」升级为「指标判定」:progressDeadline 只看「滚动有没有推进」,指标看「新版本是不是真的好」。两者的组合是生产发布的标准护栏——K8s 原生只提供前者,后者要靠监控系统(或 Argo Rollouts 这类扩展)。
自动回滚还有一个关键纪律:判定与执行要分开。判定(指标不健康)只产生「是否回滚」的决策;执行(rollout undo)是一个动作。把两者拆开,才能做到「可观测的决策 + 可审计的执行」——出了错知道是「判定错了」还是「执行错了」。这也是所有自动化运维动作(不是只回滚)应该遵循的原则。
三个常见误解
- 「回滚是撤销操作」——错误。回滚是「切换期望到旧版本」,触发新一轮滚动,同样受策略约束。
- 「pause 就是停住一切」——错误。pause 停的是「缩旧」,新 RS 可以继续建。
- 「卡住就是失败」——错误。卡住是滚动停止推进(ProgressDeadlineExceeded),现有副本仍在服务,可继续观察或回滚。
本节 lab
本节验证滚动更新的可用性保持(诊断的前提:滚动不破坏可用性):
cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestRollingUpdateAvailability|TestRollingUpdateSurge' -v
TestRollingUpdateAvailability:maxUnavailable=1 时滚动全程可用副本不低于 desired-1——诊断的前提是「滚动本身安全」。TestRollingUpdateSurge:总副本不超 desired+surge——「滚动不会超配」的边界。
回滚、暂停、progressDeadline 是让滚动可管理的三个工具,共用同一个底座——期望可切换、现实可观测、收敛可等待。理解了底座,工具都是推论。
给运维一个可执行清单:发布前确认 revisionHistoryLimit 够用(要能回滚)、发布中在关键节点用 pause 留观察窗口、发布失败先用 rollout status 定位卡点再决定修还是回滚。三个动作对应三个工具,各归其位。
最后强调一下「期望可切换」的分量:回滚之所以不是撤销而是切换,是因为 Deployment 没有「历史回退」这种概念——它只有「当前期望是什么」。任何时刻你改 spec,它就从那里重新收敛。控制器没有记忆,只有现实与期望的差——这是整个控制面设计最统一、也最强大的地方。
本节 lab 验证的是「滚动不破坏可用性」——它是所有诊断的前提:只有滚动本身安全,才能心平气和地去诊断它为什么卡住。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。