《Kubernetes 分布式系统原理深入解析》14.1 多副本控制面架构

生产集群的控制面不是单副本,而是多副本高可用:多个 apiserver 无状态地共享 etcd,多个 controller-manager 靠选主(leader election)保证同一时刻只有一个活跃领导。本节解剖控制面的高可用架构——什么组件能多副本、什么不能、为什么 controller-manager 要选主而 apiserver 不用。lab 用 leaderelection 包验证多副本收敛与防双主。

14.1 多副本控制面架构

前 13 章讲了「控制面怎么做」。本节讲「控制面怎么不坏」:生产集群的控制面是多副本的——多个 apiserver、多个 controller-manager、多个 scheduler 并行运行。但多副本不是简单的「复制几份」,不同组件的多副本语义完全不同。本节解剖这个架构。

控制面的组件与副本策略

控制面四大组件,各自的副本策略不同:

组件能否多副本为什么
apiserver能(无状态,前面挂 LB)状态全在 etcd,自己无状态
etcd能(3 或 5 副本)一致性存储,Raft 多数(卷一)
controller-manager能但同一时刻只有一个活跃靠选主,避免重复调谐
scheduler能但同一时刻只有一个活跃靠选主,避免重复调度

apiserver 多副本是无状态的:它不保存任何状态,所有数据在 etcd——哪个副本处理请求都一样。controller-manager/scheduler 多副本是「热备」的:平时一个干活,其余待命,leader 挂了才顶上。

apiserver 的横向扩展:无状态是关键

apiserver 多副本的架构:

        ┌── apiserver-1 ──┐
客户端 ──┤── apiserver-2 ──├── etcd(3 副本)
        └── apiserver-3 ──┘

为什么 apiserver 能随便多副本:

  1. 无状态:处理请求只需要「从 etcd 读 + 往 etcd 写」,不保存会话/缓存。
  2. 共享存储:所有副本读同一个 etcd,数据一致(etcd 保证)。
  3. 负载均衡:LB 把请求分给任意副本,结果一样。

apiserver 多副本 = 读能力横向扩展 + 故障冗余:一个挂了大不了 LB 把请求分给其他副本。它不需要选主,因为多个 apiserver 同时干活是安全的——乐观锁(2.2 节)保证并发写不错。

controller-manager 为什么必须选主

controller-manager 就不同了。如果两个 controller-manager 同时活跃:

危险后果
两个都调谐同一个 RS重复创建/删除(虽然幂等,但浪费)
两个都写 status状态抖动、事件风暴
两个都做主双主竞争、行为不可预测

controller-manager 的状态(正在调谐什么、下一步做什么)是内存里的——不像 apiserver 全在 etcd。两个副本同时干活没有共享的协调,只能靠「同一时刻只有一个活跃」来避免。选主(leader election)就是「从多个副本里选一个干活、其余待命」的机制。

选主的模型:租约(Lease)

controller-manager 的选主靠 Lease 对象(第 4 章已讲机制,本节从架构看):

controller-manager-1(leader):周期续约 Lease
controller-manager-2(standby):尝试接管(只有 Lease 过期才成功)
controller-manager-3(standby):同上

「一个 Lease、多个候选、过期才接管」:同一时刻 Lease 只被一个 holder 续约——至多一个活跃 leader(TestNoDualLeaders 验证)。这是「用共享对象协调多副本」的典型——选主把「谁干活」变成 etcd 里的一个对象,副本们围绕它竞争。

待命副本在干什么:热备而非空转

standby 的 controller-manager 不是完全闲着:

待命行为意义
尝试接管周期检查 Lease 是否过期
维护 informer 缓存接管后立刻有数据,不用从零 list
观察 leader 健康发现续约停止就准备接管

待命副本维护着「热」的缓存——它持续从 apiserver 同步数据,但不写(只有 leader 写)。一旦接管,standby 从缓存继续调谐,几乎无缝。热备的价值:接管快、无需冷启动。

高可用架构的统一视角

把 apiserver 与 controller-manager 的副本策略放一起:

组件多副本模式一致性靠故障切换
apiserver无状态并行etcd + 乐观锁LB 分流
controller-manager热备选主Lease 租约接管

两者互补:apiserver 用「无状态」实现水平扩展,controller-manager 用「选主」实现单写者。架构的共同原则:状态放共享存储(etcd/Lease),副本要么无状态、要么选主——这是「多副本」在分布式系统的两种合法姿势。

控制面的部署形态:静态 Pod 与 LB

多副本控制面不是「你手动起几个进程」——生产部署有固定形态:

组件部署形态
apiserver ×N静态 Pod + 前置 LB(kubeadm 的做法)
controller-manager静态 Pod,靠选主
scheduler静态 Pod,靠选主
etcd独立集群(或静态 Pod 组成 3/5 节点)

静态 Pod(static Pod):由 kubelet 直接拉起、没有 Deployment 控制器的 Pod(kubelet 就是它的「控制器」)——控制面组件自己不用控制器来跑,因为它们自己就是控制面。

LB 是 apiserver 副本的入口:客户端(kubelet、控制器、用户)通过 LB 访问 apiserver,LB 把请求分给任意副本。控制面的「入口高可用」= LB + 多副本 apiserver;「写者高可用」= 选主 + 多副本 CM。两层高可用,机制完全不同——这正好对应本节开头「不同组件、不同副本语义」。

多副本 apiserver 之间怎么协调:不需要

apiserver 多副本并行,它们之间没有直接通信。协调在哪?在 etcd:

apiserver-1 写 → etcd(单写序列化)→ apiserver-2/3 从 watch 看到

多副本 apiserver 共享 etcd、各看各的:写请求经 etcd 的原子写串行化(乐观锁在 2 章讲过),读请求各读各的缓存。「并发安全」不是靠 apiserver 之间互知,而是靠底层存储——这正是无状态组件能自由扩展的根源。

这给架构一个普适教训:让副本之间不协调(通过共享存储协调),是水平扩展的前提。apiserver 无状态共享 etcd;controller-manager 做不到(状态在内存),就只能靠选主限一个写者。「无状态共享存储」与「选主单写者」,是分布式组件多副本的两种解法——这一章的架构选择,本质是这两个原则的权衡。

控制面高可用的运维清单

把这一章转成运维可执行的清单:

检查内容
apiserver 副本≥2 个、走 LB、有健康检查
etcd3/5 副本、跨故障域分布
CM/scheduler副本在、选主开启(默认开启)
租约参数不一定要改,但要知道改了什么
演练定期停一个副本,验证接管真的发生

清单的核心思想:「多副本要能真正接管」。副本存在不等于高可用——CM 的 standby 要能在租约过期时接管、apiserver 挂一个后 LB 要能甩开。高可用是「故障时系统的行为」,不是「副本的数量」——只数副本不看切换,等于没做高可用。

与 14.3 节衔接:清单最后一条「演练」就是把故障切换跑一遍。控制面高可用不是静态配置,而是「故障时的行为 + 演练验证」——这延续本书「机制要可证明」的风格:不看配置写没写,看故障时系统做不做得到。

故障域:多副本放哪才有意义

多副本如果放同一个故障域(同一台物理机、同一个机架),故障一来全挂。高可用的前提是副本跨故障域:

故障域例子控制面策略
物理机一台机器坏了副本分布到不同机器
机架/机房整排/整机房断电副本跨机架/跨可用区
网络分区两块网络断开副本 + 多数派(etcd)

control-plane 的故障域分布:etcd 三副本跨三台机器(跨 AZ 更佳);apiserver/CM/scheduler 尽量与 etcd 错开。「多副本」与「多故障域」是两个概念——副本多但在同一故障域,等于没有高可用。

多数派的意义(呼应卷一):etcd 跨故障域后,某个 AZ 整体故障时只要多数派还在就能写——故障域的分布让「多数派可用」成为现实。这也是为什么控制面节点通常是奇数个:3 个控制面节点能容忍 1 个故障,而 2 个节点不能容忍任何故障(没有多数派)。

三个常见误解

  • 「控制面多副本就是复制几份」——错误。apiserver 无状态可并行,controller-manager 必须选主单写——组件不同、语义不同。
  • 「两个 controller-manager 同时干活也没事」——有乐观锁兜底,但会重复调谐、写风暴——生产必须选主。
  • 「standby 是空闲的」——错误。它在维护热缓存、监视租约,为接管做准备。

本节 lab

本节验证多副本的收敛与防双主:

cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestNoDualLeaders|TestRetainedOrder' -v
  • TestNoDualLeaders:三个候选 30 个周期,任意时刻至多一个 active leader——「同一时刻单写者」的保证。
  • TestRetainedOrder:历史 holder 顺序可观测——「谁在什么时候接管」的收敛路径。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图