14.1 多副本控制面架构
前 13 章讲了「控制面怎么做」。本节讲「控制面怎么不坏」:生产集群的控制面是多副本的——多个 apiserver、多个 controller-manager、多个 scheduler 并行运行。但多副本不是简单的「复制几份」,不同组件的多副本语义完全不同。本节解剖这个架构。
控制面的组件与副本策略
控制面四大组件,各自的副本策略不同:
| 组件 | 能否多副本 | 为什么 |
|---|---|---|
| apiserver | 能(无状态,前面挂 LB) | 状态全在 etcd,自己无状态 |
| etcd | 能(3 或 5 副本) | 一致性存储,Raft 多数(卷一) |
| controller-manager | 能但同一时刻只有一个活跃 | 靠选主,避免重复调谐 |
| scheduler | 能但同一时刻只有一个活跃 | 靠选主,避免重复调度 |
apiserver 多副本是无状态的:它不保存任何状态,所有数据在 etcd——哪个副本处理请求都一样。controller-manager/scheduler 多副本是「热备」的:平时一个干活,其余待命,leader 挂了才顶上。
apiserver 的横向扩展:无状态是关键
apiserver 多副本的架构:
┌── apiserver-1 ──┐
客户端 ──┤── apiserver-2 ──├── etcd(3 副本)
└── apiserver-3 ──┘
为什么 apiserver 能随便多副本:
- 无状态:处理请求只需要「从 etcd 读 + 往 etcd 写」,不保存会话/缓存。
- 共享存储:所有副本读同一个 etcd,数据一致(etcd 保证)。
- 负载均衡:LB 把请求分给任意副本,结果一样。
apiserver 多副本 = 读能力横向扩展 + 故障冗余:一个挂了大不了 LB 把请求分给其他副本。它不需要选主,因为多个 apiserver 同时干活是安全的——乐观锁(2.2 节)保证并发写不错。
controller-manager 为什么必须选主
controller-manager 就不同了。如果两个 controller-manager 同时活跃:
| 危险 | 后果 |
|---|---|
| 两个都调谐同一个 RS | 重复创建/删除(虽然幂等,但浪费) |
| 两个都写 status | 状态抖动、事件风暴 |
| 两个都做主 | 双主竞争、行为不可预测 |
controller-manager 的状态(正在调谐什么、下一步做什么)是内存里的——不像 apiserver 全在 etcd。两个副本同时干活没有共享的协调,只能靠「同一时刻只有一个活跃」来避免。选主(leader election)就是「从多个副本里选一个干活、其余待命」的机制。
选主的模型:租约(Lease)
controller-manager 的选主靠 Lease 对象(第 4 章已讲机制,本节从架构看):
controller-manager-1(leader):周期续约 Lease
controller-manager-2(standby):尝试接管(只有 Lease 过期才成功)
controller-manager-3(standby):同上
「一个 Lease、多个候选、过期才接管」:同一时刻 Lease 只被一个 holder 续约——至多一个活跃 leader(TestNoDualLeaders 验证)。这是「用共享对象协调多副本」的典型——选主把「谁干活」变成 etcd 里的一个对象,副本们围绕它竞争。
待命副本在干什么:热备而非空转
standby 的 controller-manager 不是完全闲着:
| 待命行为 | 意义 |
|---|---|
| 尝试接管 | 周期检查 Lease 是否过期 |
| 维护 informer 缓存 | 接管后立刻有数据,不用从零 list |
| 观察 leader 健康 | 发现续约停止就准备接管 |
待命副本维护着「热」的缓存——它持续从 apiserver 同步数据,但不写(只有 leader 写)。一旦接管,standby 从缓存继续调谐,几乎无缝。热备的价值:接管快、无需冷启动。
高可用架构的统一视角
把 apiserver 与 controller-manager 的副本策略放一起:
| 组件 | 多副本模式 | 一致性靠 | 故障切换 |
|---|---|---|---|
| apiserver | 无状态并行 | etcd + 乐观锁 | LB 分流 |
| controller-manager | 热备选主 | Lease 租约 | 接管 |
两者互补:apiserver 用「无状态」实现水平扩展,controller-manager 用「选主」实现单写者。架构的共同原则:状态放共享存储(etcd/Lease),副本要么无状态、要么选主——这是「多副本」在分布式系统的两种合法姿势。
控制面的部署形态:静态 Pod 与 LB
多副本控制面不是「你手动起几个进程」——生产部署有固定形态:
| 组件 | 部署形态 |
|---|---|
| apiserver ×N | 静态 Pod + 前置 LB(kubeadm 的做法) |
| controller-manager | 静态 Pod,靠选主 |
| scheduler | 静态 Pod,靠选主 |
| etcd | 独立集群(或静态 Pod 组成 3/5 节点) |
静态 Pod(static Pod):由 kubelet 直接拉起、没有 Deployment 控制器的 Pod(kubelet 就是它的「控制器」)——控制面组件自己不用控制器来跑,因为它们自己就是控制面。
LB 是 apiserver 副本的入口:客户端(kubelet、控制器、用户)通过 LB 访问 apiserver,LB 把请求分给任意副本。控制面的「入口高可用」= LB + 多副本 apiserver;「写者高可用」= 选主 + 多副本 CM。两层高可用,机制完全不同——这正好对应本节开头「不同组件、不同副本语义」。
多副本 apiserver 之间怎么协调:不需要
apiserver 多副本并行,它们之间没有直接通信。协调在哪?在 etcd:
apiserver-1 写 → etcd(单写序列化)→ apiserver-2/3 从 watch 看到
多副本 apiserver 共享 etcd、各看各的:写请求经 etcd 的原子写串行化(乐观锁在 2 章讲过),读请求各读各的缓存。「并发安全」不是靠 apiserver 之间互知,而是靠底层存储——这正是无状态组件能自由扩展的根源。
这给架构一个普适教训:让副本之间不协调(通过共享存储协调),是水平扩展的前提。apiserver 无状态共享 etcd;controller-manager 做不到(状态在内存),就只能靠选主限一个写者。「无状态共享存储」与「选主单写者」,是分布式组件多副本的两种解法——这一章的架构选择,本质是这两个原则的权衡。
控制面高可用的运维清单
把这一章转成运维可执行的清单:
| 检查 | 内容 |
|---|---|
| apiserver 副本 | ≥2 个、走 LB、有健康检查 |
| etcd | 3/5 副本、跨故障域分布 |
| CM/scheduler | 副本在、选主开启(默认开启) |
| 租约参数 | 不一定要改,但要知道改了什么 |
| 演练 | 定期停一个副本,验证接管真的发生 |
清单的核心思想:「多副本要能真正接管」。副本存在不等于高可用——CM 的 standby 要能在租约过期时接管、apiserver 挂一个后 LB 要能甩开。高可用是「故障时系统的行为」,不是「副本的数量」——只数副本不看切换,等于没做高可用。
与 14.3 节衔接:清单最后一条「演练」就是把故障切换跑一遍。控制面高可用不是静态配置,而是「故障时的行为 + 演练验证」——这延续本书「机制要可证明」的风格:不看配置写没写,看故障时系统做不做得到。
故障域:多副本放哪才有意义
多副本如果放同一个故障域(同一台物理机、同一个机架),故障一来全挂。高可用的前提是副本跨故障域:
| 故障域 | 例子 | 控制面策略 |
|---|---|---|
| 物理机 | 一台机器坏了 | 副本分布到不同机器 |
| 机架/机房 | 整排/整机房断电 | 副本跨机架/跨可用区 |
| 网络分区 | 两块网络断开 | 副本 + 多数派(etcd) |
control-plane 的故障域分布:etcd 三副本跨三台机器(跨 AZ 更佳);apiserver/CM/scheduler 尽量与 etcd 错开。「多副本」与「多故障域」是两个概念——副本多但在同一故障域,等于没有高可用。
多数派的意义(呼应卷一):etcd 跨故障域后,某个 AZ 整体故障时只要多数派还在就能写——故障域的分布让「多数派可用」成为现实。这也是为什么控制面节点通常是奇数个:3 个控制面节点能容忍 1 个故障,而 2 个节点不能容忍任何故障(没有多数派)。
三个常见误解
- 「控制面多副本就是复制几份」——错误。apiserver 无状态可并行,controller-manager 必须选主单写——组件不同、语义不同。
- 「两个 controller-manager 同时干活也没事」——有乐观锁兜底,但会重复调谐、写风暴——生产必须选主。
- 「standby 是空闲的」——错误。它在维护热缓存、监视租约,为接管做准备。
本节 lab
本节验证多副本的收敛与防双主:
cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestNoDualLeaders|TestRetainedOrder' -v
TestNoDualLeaders:三个候选 30 个周期,任意时刻至多一个 active leader——「同一时刻单写者」的保证。TestRetainedOrder:历史 holder 顺序可观测——「谁在什么时候接管」的收敛路径。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。