6.3 控制器如何防止打爆 API Server
一个集群里跑着几十个控制器,每个每秒调谐数千个对象。如果没有节流机制,它们合起来的流量会把 apiserver 打爆。本节分析放大路径,以及每一层用什么机制把它压住——这是「重试必须自我节流」原则的控制器侧实现。
三种放大路径
控制器对 apiserver 的流量有三条放大路径:
| 路径 | 来源 | 放大倍数 |
|---|---|---|
| 读放大 | 每个控制器每轮都读集群状态 | 控制器数 × 对象数 |
| 写放大 | 每个状态变化都要写回 | 变化频率 × 控制器数 |
| 失败风暴 | 失败后的重试互相叠加 | 指数退避若失控则爆炸 |
三者中,读放大是默认最大的:如果没有 informer 缓存,每个控制器每轮对每个对象发一次 GET,一个 1000 对象的 Deployment + 3 个控制器就是每秒 3000 个 GET。
读放大:用缓存消灭
第 3 章的 informer 缓存是读放大的第一道闸:
- 控制器读 Indexer(内存),不读 apiserver。
- 只有事件变化才产生网络流量(list-watch 增量)。
- 数千控制器共享同一缓存(sharedInformer,3.2 节)。
效果:读 apiserver 的次数从「控制器数 × 对象数 × 轮次」降为「事件数」。事件流远小于轮询流。
但缓存不是免费的:它滞后(3.3 节),且缓存本身需要 list-watch 维护。用最终一致换读放大消失——这是第 3 章到第 6 章的一贯主线。
写放大:用差异与子资源抑制
控制器写 apiserver 的次数,用三个设计压住:
- 只在有差异时写:reconcile 先对比现实与期望,无差异返回空动作(6.2 节幂等)。
- 写最小集合:用 Patch 改自己负责的字段,用子资源(status)写状态,不整体覆盖(2.3 节)。
- 逐批动作:滚动更新的 maxSurge/maxUnavailable 限制每轮写的对象数(7.2 节)。
写放大的剩余部分是必然的:状态确实在变,就得写回。控制器能控制的是「每轮写多少」和「写什么」——把每次写的范围压到最小。
失败风暴:用退避与上限驯服
最危险的是失败风暴:一个对象反复 reconcile 失败,每轮失败都重新入队,重试间隔若固定,就成了「每秒一次失败 + 每秒一次重试」的循环。
workqueue 的两个机制驯服它:
- 指数退避(6.1 节):失败次数越多,重试间隔越长。10ms → 20ms → … → 1000s 封顶。
- 放弃阈值:
NumRequeues超上限后控制器放弃该 key,停止重试。
再叠加两层:
- relist 退避(3.3 节):watch 断连后的全量重建也用指数退避,防止多个 informer 同时 relist 打爆 apiserver。
- 并发上限:控制器 worker 数量有上限(如
--concurrent-reconciles),即使队列积压,同时发起的写请求不超过 worker 数。
节流机制总览
把所有节流机制汇总成一张表:
| 放大路径 | 节流机制 | 层次 |
|---|---|---|
| 读放大 | informer 缓存(Indexer) | 控制器内 |
| 读放大 | sharedInformer 共享 | 控制器内 |
| 写放大 | 差异检测(幂等) | reconcile 内 |
| 写放大 | Patch/子资源 | 写路径 |
| 写放大 | 每轮动作上限 | 控制器内 |
| 失败风暴 | workqueue 指数退避 | 队列内 |
| 失败风暴 | relist 指数退避 | informer 内 |
| 失败风暴 | 重试上限(放弃) | 控制器内 |
| 整体 | 并发 worker 上限 | 控制器内 |
每一层节流都对应一条放大路径。缺一层,对应的放大就会失控。这也是「控制器是自限性的」的含义:控制器的代码里必须内置节流,而不是靠外部限流兜底。
打爆的场景:什么情况下还是会出问题
即使有上述机制,三个场景仍可能出问题:
- 新控制器上线误写:控制器 bug 导致每个 reconcile 都写回(正反馈,5.2 节),每轮都是新差异,退避永远不触发。这是最危险的——退避防不住「每次都看似合理的写」。
- 大规模对象全量重建:几千个对象同时删除/重建,事件洪峰 + relist 叠加。relist 退避只能缓解,不能消除。
- 多个控制器争抢同一对象:两个控制器互相覆盖对方写的字段,双方反复 reconcile(5.2 节乒乓)。
这些场景的共同特征:节流机制设计时没有覆盖的「新循环」。诊断方法是看 apiserver 的请求率与错误率——请求率异常高时,优先怀疑「控制器写回路有正反馈」而非「退避失效」。
与 APF 的关系:客户端节流 + 服务端限流
第 12 章的 APF(API Priority and Fairness)是服务端限流。控制器的自我节流是客户端节流。两者互补:
| 层 | 机制 | 作用 |
|---|---|---|
| 客户端 | 缓存/退避/并发上限 | 减少请求产生 |
| 服务端 | APF 限流 | 保护 apiserver 不被超载 |
即使客户端全部失控(最坏情况),APF 仍能保证 apiserver 不被打死(降级而非崩溃)。但把 apiserver 的保护完全押在服务端限流上是不对的——那意味着客户端可以随意浪费资源。正确分工:客户端自我节流是常态,服务端限流是底线。
这个分工还有一个推论:APF 的限流是「公平性」的,不是「总量」的。它保证的是「每个控制器都能获得合理份额」,而不是「全局请求不能超过多少」。真正控制总量的,仍是每个控制器的自我节流——APF 负责分配,客户端负责总量。
并发 worker 上限:节流的最后一闸
控制器有队列,但真正「同时发请求」的只有 worker。--concurrent-reconciles 决定 worker 数:
queue 里积压 1000 个 key
worker 只有 10 个
→ 同时最多 10 个 reconcile 在跑,其余排队
这一闸的意义:
- 限并发而非限总量:队列可以积压(积压无害),但发往 apiserver 的并发请求被 worker 数封顶。
- 背压自然形成:worker 全忙时,新 key 只能排队,不会瞬时放大请求。
- 与队列深度解耦:队列再深,并发不上涨——这是「缓冲 + 限并发」的标准异步模式。
worker 数是控制器的吞吐阀。调大它加速处理(但每个 reconcile 都打 apiserver),调小它保护 apiserver(但积压变多)。默认值通常是「够用且安全」的平衡点——除非监控到积压持续增长,否则不动。
观测节流是否生效:看哪些指标
控制器是否在自我节流,可以从三个指标看出来:
| 指标 | 健康值 | 异常信号 |
|---|---|---|
| 队列深度 | 平稳、偶发积压 | 持续增长 → 处理跟不上 |
| 重试计数 | 偶发 | 某个 key 持续重试 → 退避中 |
| apiserver 请求率 | 随事件流波动 | 突发尖峰 → 有正反馈回路 |
诊断顺序(呼应 5.3 节「读状态看差异」):先看队列深度(积压了没有),再看重试计数(卡在哪个 key),最后看请求率(打到 apiserver 没有)。三层指标定位「节流在哪一层失效」。
三个指标各自的「失效信号」要分清:
| 指标 | 正常波动 | 失效信号 |
|---|---|---|
| 队列深度 | 短时积压后回落 | 持续爬升、不回落 |
| 重试计数 | 偶发、单调回退 | 单个 key 持续 +1 |
| 请求率 | 跟随事件流 | 与事件流无关的尖峰 |
失效信号与正常波动的区别在「持续性」:瞬时波动是系统的正常呼吸,持续异常才是「节流失效」。给这三个指标配持续性的告警,比给「瞬时阈值」更有价值——瞬时告警会淹没在正常抖动里。
三个常见误解
- 「控制器越多,越要限流」——正确但要加注:不是「限流每个控制器」,而是「每个控制器内置节流」,否则限流会误伤正常流量。
- 「退避能防住所有打爆」——错误。退避只防「失败重试」,防不住「每次成功但每次都写」的正反馈循环。
- 「打爆 apiserver 时,加限流就行」——不够。要查「哪个控制器在写、为什么每轮都写」——根源常在控制器 bug,不在流量本身。
本节 lab
本节验证节流机制的两个核心:退避序列与重试上限:
cd private/labs/k8s-ctrl-lab
go test ./workqueue -run 'TestExponentialBackoff|TestRequeueLimit|TestAddRateLimited' -v
TestExponentialBackoff:退避序列指数增长、封顶 1000s——失败越频繁越放慢。TestRequeueLimit:重试计数递增,控制器可据此放弃——重试有上限。TestAddRateLimited:失败后按退避延迟重新入队——「失败 → 等一下 → 再试」的完整动作。
本节把「防打爆」拆成读/写/失败三条放大路径,以及每一层对应的节流机制:缓存、差异检测、指数退避、并发上限。记住一个主线——控制器的自我节流是常态,APF 限流是底线。
回到本节开头的问题——控制器会不会打爆 apiserver?答案在机制齐全时是否定的:每一条放大路径都有一层节流守着。但这依赖一个前提:每个控制器作者都把自我节流当默认责任,而不是把「限流」甩给 APF。
本节的机制清单可以当检查表用:新写一个控制器时,逐项确认——读走缓存了吗、只在有差异时写吗、失败按退避重试吗、worker 有上限吗。四条全过,控制器就是自限性的;缺任何一条,迟早以某种放大形式打回来。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。