《Kubernetes 分布式系统原理深入解析》1.3 多副本拓扑与 etcd 单点依赖

控制面组件 apiserver / controller-manager / scheduler 都按多副本部署,但它们的多副本含义完全不同:apiserver 是无状态读扩散、controller-manager 与 scheduler 是单活选主、etcd 是唯一有状态且承担全部写的一致性核心。本节建立『哪些副本是冗余、哪些副本是负担』的拓扑认知,并说明为什么 etcd 是控制面的单点依赖。lab 用 leaderelection/le.go 验证『副本数不等于一致性强度』。

1.3 多副本拓扑与 etcd 单点依赖

一个生产 K8s 集群的控制面通常有:3 或 5 个 etcd、2+ 个 apiserver、2 个 controller-manager、2 个 scheduler。看起来「全是多副本」,但每一层的多副本语义都不同。本节把「多副本」这个模糊词拆成三种具体含义,并指出真正的单点依赖在哪。

三种多副本:冗余、无状态、有状态

组件副本行为类型一致性影响
etcd3/5 节点 Raft有状态复制提供线性一致写
apiserver2+ 进程,全部活跃无状态读扩散不增强一致性,引入缓存窗口
controller-manager1 主 + N 备单活选主保证同一时刻一个控制者
scheduler1 主 + N 备单活选主同上

三种副本类型的关键区别:

  1. etcd:有状态复制。每个节点存数据,靠 Raft 保持一致。副本越多,容错越强(5 节点容 2 故障),但写性能不升反降(更多副本要确认)。
  2. apiserver:无状态读扩散。每个副本都不存持久数据,共享同一个 etcd。请求打到任何副本都一样,读写都经过 etcd。多副本的意义是吞吐与可用性(一个挂了另一个顶上),而不是数据冗余。
  3. controller-manager / scheduler:单活。它们依赖内存状态(workqueue、缓存、调度循环),不能多实例同时跑,否则会重复下发动作。所以用「一个 active + 多个 standby」的方式部署,active 通过租约选主产生。

结论:K8s 控制面的高可用,来自「无状态组件 + 有状态单点」,而不是组件彼此冗余。 换句话说,apiserver 副本越多只带来更多入口;真正撑住数据层的是 etcd。

apiserver 多副本:读扩散与缓存

apiserver 多副本后,出现了单副本没有的问题:

  • 写扩散:所有 apiserver 都直接写同一个 etcd,写不受副本数影响(都要过 etcd 的 Raft)。
  • 读扩散:客户端连到不同的 apiserver 副本。apiserver 直读 etcd 是线性一致的,但 apiserver 内部对 etcd 的 list-watch 缓存(用于本地 serving 与资源版本判断)会引入滞后。
  • watch 一致性:不同副本 watch 到同一 etcd 事件的时间有先后;控制器订阅的副本不同,收到事件的时间窗口就不同。

这套「多个观察者从同一事实源拉取、各有滞后」的模型,是卷二第 3 章与第 14 章的核心。它告诉我们:apiserver 多副本没有让系统「更一致」,而是让系统「更可用、更慢一致」。

controller-manager 多副本:单活选主

controller-manager 不能像 apiserver 一样全部活跃。为什么?看它内部有什么:

  • 内存中的 workqueue(对象待处理队列)。
  • 内存中的 informer 缓存。
  • 对每个对象执行「读取→对比→写回」的循环。

若两个 controller-manager 同时活跃,对同一个 Deployment 会同时算差异、同时写 RS/Pod——虽然写本身有乐观锁保护(不会损坏数据),但会产生重复创建、重复删除、抖动。所以必须单活。

单活的方式是租约选主(Lease):每个 controller-manager 尝试持有同一把「锁」,持锁者是 active。active 挂了,租约过期,standby 接管。这套机制就是卷二第 4 章要详细拆解的。

关键点:选主不改变数据一致性,只改变「谁在动作」。数据仍由 etcd 保证一致;选主只是保证「同一时刻只有一个控制者往 etcd 写修正动作」。

etcd:控制面的单点依赖

把所有副本层剥掉,核心依赖只剩一个:etcd。为什么说它是单点依赖,即使它有 3 个副本?

  • 写路径的唯一事实源:所有状态都写入 etcd,所有读都最终来自 etcd。apiserver 无状态,意味着「apiserver 挂了,状态还在 etcd;etcd 挂了,状态无处可写」。
  • 可用性的传导:etcd 不可用 → apiserver 写超时 → 控制器读不到缓存、写不回状态 → 整个控制面冻结。节点上的 Pod 还在跑(本地状态机),但控制面「看不见也改不动」。
  • 一致性承诺的锚点:全集群「读到的东西多新」的标尺,是 etcd 的 mvcc revision。etcd 挂 = 标尺消失。

所以,K8s 的高可用策略可以概括为一句话:把有状态的部分收敛到 etcd(用 Raft 把它做高可用),其余全部无状态化(可以随意扩缩)。

拓扑与故障模式对照

故障表现恢复
一个 apiserver 挂请求打到活副本,无感知无需干预
两个 controller-manager 抢主租约保证单活,偶发切换自动
一个 etcd 节点挂集群降级(仍可写,容 1 故障)替换节点
两个 etcd 节点挂(3 节点)无 quorum,控制面冻结恢复或重建
全部 etcd 挂控制面完全不可用,节点上 Pod 继续跑从快照恢复

注意最后一行:etcd 全挂时,业务 Pod 不受影响(kubelet 本地执行),但「系统」完全瘫痪。这印证了「状态集中 + 组件无状态」的设计:无状态组件好扩,但状态的命门永远在 etcd。

用卷一的视角再看拓扑:状态机 vs 无状态

把「有状态/无状态」用卷一的词汇再精确化一次:

  • etcd 是有状态副本:每个节点持有一份状态机副本(mvcc 存储),Raft 保证它们逐步一致。副本数 n 对应容错 f=(n-1)/2,写要过 quorum。
  • apiserver 是无状态副本:不持有持久状态,共享唯一的事实源(etcd)。挂掉后新进程从 etcd 重建一切(重连 list-watch、重建缓存)。
  • controller-manager 是「无状态 + 单活」:它虽然有内存缓存,但这些缓存可从 etcd 重建(重新 list 即可),所以本质上无状态;单活选主只是为了防止「两个实例同时动作」。

这个区分解释了 K8s 的一个铁律:为什么组件可以随意滚动重启,etcd 却要小心翼翼地滚动。apiserver/controller-manager 重启 = 无状态重建;etcd 重启 = 有状态副本的一环,必须尊重 quorum 与快照恢复。

控制面组件之间的一致性承诺

各组件在「读到多新的状态」上的承诺各不相同,这是多副本拓扑的直接后果:

组件读取路径一致性档位
apiserver 写etcd Raft 提交线性一致
apiserver 读(直连)etcd 读线性一致或可串行化
apiserver 读(缓存)自维护 watch 缓存有界滞后
控制器(informer 缓存)watch 缓存有界滞后(更大)
kubeletinformer + 节点 Lease有界滞后 + 本地状态

同一个集群里,不同组件对「同一个对象」可能看到不同版本。这不是 bug,而是每个组件选择了适合自己的一致性档位(卷一第 2.3 节的一致性代价)。多副本拓扑放大了这些差异:副本越多,每个组件看到的状态越「各自为政」,而唯一的锚点仍是 etcd。

从拓扑到容量:副本数的工程含义

理解了三种副本类型,「该部署几个」就有了依据:

组件副本数依据扩容效果风险
apiserver吞吐与可用性线性提升读吞吐缓存滞后窗口不变
controller-manager单活,必须 ≥1 备无(只多一个备)备不参与工作
scheduler单活,必须 ≥1 备无同上
etcdquorum:3 容 1、5 容 2写延迟升高失 quorum 全挂

两个工程上常被忽略的结论:

  1. controller-manager 副本数是「1 活 + 1 备」,不是越多越好。第三副本不参与任何工作,只消耗选主带宽。生产常用 --leader-elect 让两个实例竞争同一个 Lease,active 挂掉后 standby 接管。
  2. etcd 3 节点 vs 5 节点的取舍:3 节点写更快、容 1 故障;5 节点容 2 故障、写更慢。控制面通常选 3 或 5。「更多副本 = 更安全」在 etcd 上有边界:副本多了写要等更多确认,单次写延迟上升;且若故障域相同(同机架),更多副本也不增加真实容错。

容量规划的核心判断是:哪些组件「加副本就加速」,哪些「加副本只是加保险」。apiserver 是前者(读扩散,加副本提吞吐),controller-manager/scheduler 是后者(单活,加副本只是提高接管速度),etcd 介于两者(加副本提容错但降写性能)。

三个常见误解

  • 「apiserver 多副本 = 更安全」——错误。副本不存储数据,不提供额外冗余;它只提供更多入口。真正冗余的是 etcd。
  • 「controller-manager 也能全部活跃」——错误。它持有内存态且会重复动作,必须单活选主。这与 apiserver 的读扩散是两类副本。
  • 「etcd 有三个副本,所以不是单点」——语义上对,工程上仍要把 etcd 当单点对待:它的 quorum 是控制面可用性的瓶颈,一旦失 quorum 全线冻结。

单点依赖的缓解:为什么 etcd 成为唯一能接受的单点

「etcd 是单点」听起来可怕,但它是 K8s 架构里被刻意接受的单点。缓解手段围绕它展开:

手段作用
etcd 自身 Raft 高可用(3/5 节点)节点故障不丢数据
apiserver 无状态控制面入口随便扩缩
控制器幂等 + 重试etcd 恢复后自动收敛
节点本地状态机etcd 全挂时 Pod 继续运行

真正的结论是:K8s 把「必须一致的状态」收敛到 etcd 一个点,然后把这个点做到尽可能可靠;其余全部无状态化,任意扩缩。这不是「弱」,而是「一致性集中 + 可用性分散」的刻意设计——卷一第 2.3 节的一致性代价在这里落地:线性一致需要等 quorum,K8s 只让需要它的写入(etcd)付出这个代价,读与动作都走最终一致。

这也解释了运维上的两个不对称:

  1. apiserver 可以随意滚动:无状态,新副本从 etcd 重建缓存,随时替换。
  2. etcd 要小心翼翼滚动:有状态,重启必须尊重 quorum 与快照恢复,逐节点操作。

「把单点做可靠」而不是「消除单点」的取舍,是分布式系统里反复出现的主题:凡是一致性必须集中的地方,就值得一个精心维护的单点。理解了「为什么 etcd 值得当单点」,就理解了 K8s 高可用的全部取舍。

观察者位置:你看到的是哪一刻的状态

多副本拓扑下,「当前状态」是个相对概念,取决于你站在哪:

观察者看到的状态滞后
直连 etcd 的写者线性一致0
连 apiserver 的 kubectl提交后的对象接近 0
控制器 informer 缓存有界滞后毫秒~秒
节点上的 kubelet本地 + informer最大

同一时刻,四个观察者对同一个 Deployment 可能看到四个版本。这不是故障,是「观察者各自选择一致性档位」的必然。卷二后续所有「当前状态」的讨论,默认都是「某个观察者的视角」——先明确你在哪一层,再谈状态。

本节 lab

本节是拓扑认知,lab 验证「副本数不等于一致性强度」的租约机制:多个候选者竞争同一 Lease,任意时刻至多一个 active leader:

cd private/labs/k8s-ctrl-lab
go test ./leaderelection -run 'TestNoDualLeaders' -v

TestNoDualLeaders 模拟 3 个候选者竞争租约 30 个周期,每周期断言 active holder 至多一个。这正是 controller-manager 单活选主的迷你版:多副本通过「争一把锁」收敛为单活,而不是各自为政。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图