《Kubernetes 分布式系统原理深入解析》6.3 控制器如何防止打爆 API Server

一个集群里有几十个控制器,每个每秒调谐数千个对象;若没有节流,它们会合起来打爆 apiserver。本节分析控制器的读放大、写放大与失败风暴三种放大路径,以及对应的节流机制:informer 缓存、workqueue 退避、relist 退避、并发上限。这是『系统内的重试必须自我节流』原则的控制器侧实现。lab 用 workqueue 验证退避与重试上限。

6.3 控制器如何防止打爆 API Server

一个集群里跑着几十个控制器,每个每秒调谐数千个对象。如果没有节流机制,它们合起来的流量会把 apiserver 打爆。本节分析放大路径,以及每一层用什么机制把它压住——这是「重试必须自我节流」原则的控制器侧实现。

三种放大路径

控制器对 apiserver 的流量有三条放大路径:

路径来源放大倍数
读放大每个控制器每轮都读集群状态控制器数 × 对象数
写放大每个状态变化都要写回变化频率 × 控制器数
失败风暴失败后的重试互相叠加指数退避若失控则爆炸

三者中,读放大是默认最大的:如果没有 informer 缓存,每个控制器每轮对每个对象发一次 GET,一个 1000 对象的 Deployment + 3 个控制器就是每秒 3000 个 GET。

读放大:用缓存消灭

第 3 章的 informer 缓存是读放大的第一道闸:

  • 控制器读 Indexer(内存),不读 apiserver。
  • 只有事件变化才产生网络流量(list-watch 增量)。
  • 数千控制器共享同一缓存(sharedInformer,3.2 节)。

效果:读 apiserver 的次数从「控制器数 × 对象数 × 轮次」降为「事件数」。事件流远小于轮询流。

但缓存不是免费的:它滞后(3.3 节),且缓存本身需要 list-watch 维护。用最终一致换读放大消失——这是第 3 章到第 6 章的一贯主线。

写放大:用差异与子资源抑制

控制器写 apiserver 的次数,用三个设计压住:

  1. 只在有差异时写:reconcile 先对比现实与期望,无差异返回空动作(6.2 节幂等)。
  2. 写最小集合:用 Patch 改自己负责的字段,用子资源(status)写状态,不整体覆盖(2.3 节)。
  3. 逐批动作:滚动更新的 maxSurge/maxUnavailable 限制每轮写的对象数(7.2 节)。

写放大的剩余部分是必然的:状态确实在变,就得写回。控制器能控制的是「每轮写多少」和「写什么」——把每次写的范围压到最小。

失败风暴:用退避与上限驯服

最危险的是失败风暴:一个对象反复 reconcile 失败,每轮失败都重新入队,重试间隔若固定,就成了「每秒一次失败 + 每秒一次重试」的循环。

workqueue 的两个机制驯服它:

  1. 指数退避(6.1 节):失败次数越多,重试间隔越长。10ms → 20ms → … → 1000s 封顶。
  2. 放弃阈值:NumRequeues 超上限后控制器放弃该 key,停止重试。

再叠加两层:

  • relist 退避(3.3 节):watch 断连后的全量重建也用指数退避,防止多个 informer 同时 relist 打爆 apiserver。
  • 并发上限:控制器 worker 数量有上限(如 --concurrent-reconciles),即使队列积压,同时发起的写请求不超过 worker 数。

节流机制总览

把所有节流机制汇总成一张表:

放大路径节流机制层次
读放大informer 缓存(Indexer)控制器内
读放大sharedInformer 共享控制器内
写放大差异检测(幂等)reconcile 内
写放大Patch/子资源写路径
写放大每轮动作上限控制器内
失败风暴workqueue 指数退避队列内
失败风暴relist 指数退避informer 内
失败风暴重试上限(放弃)控制器内
整体并发 worker 上限控制器内

每一层节流都对应一条放大路径。缺一层,对应的放大就会失控。这也是「控制器是自限性的」的含义:控制器的代码里必须内置节流,而不是靠外部限流兜底。

打爆的场景:什么情况下还是会出问题

即使有上述机制,三个场景仍可能出问题:

  1. 新控制器上线误写:控制器 bug 导致每个 reconcile 都写回(正反馈,5.2 节),每轮都是新差异,退避永远不触发。这是最危险的——退避防不住「每次都看似合理的写」。
  2. 大规模对象全量重建:几千个对象同时删除/重建,事件洪峰 + relist 叠加。relist 退避只能缓解,不能消除。
  3. 多个控制器争抢同一对象:两个控制器互相覆盖对方写的字段,双方反复 reconcile(5.2 节乒乓)。

这些场景的共同特征:节流机制设计时没有覆盖的「新循环」。诊断方法是看 apiserver 的请求率与错误率——请求率异常高时,优先怀疑「控制器写回路有正反馈」而非「退避失效」。

与 APF 的关系:客户端节流 + 服务端限流

第 12 章的 APF(API Priority and Fairness)是服务端限流。控制器的自我节流是客户端节流。两者互补:

层机制作用
客户端缓存/退避/并发上限减少请求产生
服务端APF 限流保护 apiserver 不被超载

即使客户端全部失控(最坏情况),APF 仍能保证 apiserver 不被打死(降级而非崩溃)。但把 apiserver 的保护完全押在服务端限流上是不对的——那意味着客户端可以随意浪费资源。正确分工:客户端自我节流是常态,服务端限流是底线。

这个分工还有一个推论:APF 的限流是「公平性」的,不是「总量」的。它保证的是「每个控制器都能获得合理份额」,而不是「全局请求不能超过多少」。真正控制总量的,仍是每个控制器的自我节流——APF 负责分配,客户端负责总量。

并发 worker 上限:节流的最后一闸

控制器有队列,但真正「同时发请求」的只有 worker。--concurrent-reconciles 决定 worker 数:

queue 里积压 1000 个 key
worker 只有 10 个
→ 同时最多 10 个 reconcile 在跑,其余排队

这一闸的意义:

  1. 限并发而非限总量:队列可以积压(积压无害),但发往 apiserver 的并发请求被 worker 数封顶。
  2. 背压自然形成:worker 全忙时,新 key 只能排队,不会瞬时放大请求。
  3. 与队列深度解耦:队列再深,并发不上涨——这是「缓冲 + 限并发」的标准异步模式。

worker 数是控制器的吞吐阀。调大它加速处理(但每个 reconcile 都打 apiserver),调小它保护 apiserver(但积压变多)。默认值通常是「够用且安全」的平衡点——除非监控到积压持续增长,否则不动。

观测节流是否生效:看哪些指标

控制器是否在自我节流,可以从三个指标看出来:

指标健康值异常信号
队列深度平稳、偶发积压持续增长 → 处理跟不上
重试计数偶发某个 key 持续重试 → 退避中
apiserver 请求率随事件流波动突发尖峰 → 有正反馈回路

诊断顺序(呼应 5.3 节「读状态看差异」):先看队列深度(积压了没有),再看重试计数(卡在哪个 key),最后看请求率(打到 apiserver 没有)。三层指标定位「节流在哪一层失效」。

三个指标各自的「失效信号」要分清:

指标正常波动失效信号
队列深度短时积压后回落持续爬升、不回落
重试计数偶发、单调回退单个 key 持续 +1
请求率跟随事件流与事件流无关的尖峰

失效信号与正常波动的区别在「持续性」:瞬时波动是系统的正常呼吸,持续异常才是「节流失效」。给这三个指标配持续性的告警,比给「瞬时阈值」更有价值——瞬时告警会淹没在正常抖动里。

三个常见误解

  • 「控制器越多,越要限流」——正确但要加注:不是「限流每个控制器」,而是「每个控制器内置节流」,否则限流会误伤正常流量。
  • 「退避能防住所有打爆」——错误。退避只防「失败重试」,防不住「每次成功但每次都写」的正反馈循环。
  • 「打爆 apiserver 时,加限流就行」——不够。要查「哪个控制器在写、为什么每轮都写」——根源常在控制器 bug,不在流量本身。

本节 lab

本节验证节流机制的两个核心:退避序列与重试上限:

cd private/labs/k8s-ctrl-lab
go test ./workqueue -run 'TestExponentialBackoff|TestRequeueLimit|TestAddRateLimited' -v
  • TestExponentialBackoff:退避序列指数增长、封顶 1000s——失败越频繁越放慢。
  • TestRequeueLimit:重试计数递增,控制器可据此放弃——重试有上限。
  • TestAddRateLimited:失败后按退避延迟重新入队——「失败 → 等一下 → 再试」的完整动作。

本节把「防打爆」拆成读/写/失败三条放大路径,以及每一层对应的节流机制:缓存、差异检测、指数退避、并发上限。记住一个主线——控制器的自我节流是常态,APF 限流是底线。

回到本节开头的问题——控制器会不会打爆 apiserver?答案在机制齐全时是否定的:每一条放大路径都有一层节流守着。但这依赖一个前提:每个控制器作者都把自我节流当默认责任,而不是把「限流」甩给 APF。

本节的机制清单可以当检查表用:新写一个控制器时,逐项确认——读走缓存了吗、只在有差异时写吗、失败按退避重试吗、worker 有上限吗。四条全过,控制器就是自限性的;缺任何一条,迟早以某种放大形式打回来。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图