《Kubernetes 分布式系统原理深入解析》8.1 成员变更的难题:为何不能直接改配置

增删节点看起来只是改一行集群配置,实则同时改写了 quorum 数学:若各节点在不同时刻切换配置,就会同时存在两个不相交的多数派,各自提交不同命令,把系统撕成两半。本节用 3→5 的反例说明脑裂条件、变更中的选举竞态,并落到 etcd 缩容、扩容、替换故障节点的真实场景。lab 用 membership.go 的 AddNode/RemoveNode 验证成员数变化时 quorum 从 2 移到 3。

8.1 成员变更的难题:为何不能直接改配置

第 5 章之后,我们一直假设集群成员固定:3 个还是 5 个节点,quorum 是多少,都是写死的前提。但生产集群不可能永远固定——要扩容、要缩容、要替换坏盘坏机的节点。这一节先讲清楚为什么「改配置」这件看起来很简单的事,在共识算法里是一个独立且危险的问题。

一个天真的想法:所有节点同一时刻切换

直觉给出的方案是「先改所有人,再继续跑」:管理员通过某种机制把新成员列表广播给每个节点,等所有节点都装上同一个新配置,再恢复正常服务。只要全体节点在同一时刻切换,配置就是一致的,quorum 也就只有一个。

这个方案有两个致命的假设,而它们恰恰是分布式系统不成立的假设:

  1. 「同一时刻」无法定义。集群里没有全局时钟,也没有一次能原子地通知所有节点的广播。Leader 只能把一条「配置日志」追加进自己的日志,靠 AppendEntries 逐节点复制。网络延迟不同,fsync 快慢不同,每个节点应用这条配置日志的时刻必然错开:先收到的新配置生效,后收到的仍在旧配置。
  2. 「先改所有人」期间,系统不能停。如果停止服务等配置收敛,就回到了「单一变更点」的单机思维;Raft 存在的意义恰恰是在节点可用性不确定时继续提交。配置变更本身也是一条要被提交的日志,它必须走完「Leader 追加 → 多数确认 → 提交」的完整流程,而这个流程又被旧配置的 quorum 制约。

所以问题变成:配置从 C_old 切到 C_new 需要一个过程,在过程中旧配置与新配置同时被不同节点使用。如何保证这个过程不破坏一致性?

配置条目也是一条普通日志

先纠正一个容易忽视的前提:在 Raft 里,「谁在集群里」这件事不是一个可以任意覆盖的系统状态,而是一条存放在日志里的命令。Leader 想加节点,就要往日志里追加一个 AddNode 配置条目;想删节点,就追加一个 RemoveNode 配置条目。这条命令和其他 set 命令一样:

  • 只能由 Leader 追加,且只能追加在日志末尾(5.3 Leader 完整性);
  • 要经过 AppendEntries 复制到多数节点,收到多数确认后才算提交;
  • 提交后才能应用到各节点的本地状态,更新本地的「当前配置」变量;
  • 快照压缩时,配置会被打包进 ConfState,随快照一起传给新节点。

把配置当普通日志,意味着配置变更天然有「复制到一半」的状态:有的节点日志里有这条配置,有的没有。这不以任何人的意志为转移,是日志复制延迟的必然结果。既然没法避免「部分节点已换新配置、部分没换」,唯一能做的就是在协议层面设计一个「新旧配置共存期」依然安全的过程——这正是 8.2 Joint Consensus 的思路。先看共存期不设防会出什么问题。

两个不相交的多数派:脑裂的数学反例

先看为什么「各自在本地切换」会导致脑裂。设旧配置 C_old = {1, 2, 3}(quorum = 2),要扩容到新配置 C_new = {1, 2, 3, 4, 5}(quorum = 3)。

假设此刻节点 1、2 还没有收到配置变更,仍在按 C_old 工作;节点 3、4、5 已经切换到 C_new。集群里同时存在两种「合法多数派」:

  • 旧配置的多数派:任意 2 个 C_old 成员,例如 {1, 2};
  • 新配置的多数派:任意 3 个 C_new 成员,例如 {3, 4, 5}。

{1, 2} 与 {3, 4, 5} 完全不相交。这意味着:如果节点 1 在旧配置一侧当选 Leader,它只需拿到 {1, 2} 的确认就能提交命令 A;与此同时,节点 3 在新配置一侧当选 Leader,它只需拿到 {3, 4, 5} 的确认就能提交命令 B。两边各自拥有合法的 quorum,两条命令都被「提交」,而它们之间没有共享任何一票。

这正是脑裂的完整定义:同一个日志索引上存在两个互不重叠的多数派,各自提交了不同的值。第 4 章 FLP 与第 5 章选举里我们强调「多数派两两相交」是一致性的支柱;成员变更最危险的地方,就是它制造了一对不相交的多数派,把这条支柱抽掉。

用新增节点的视角再看一眼:新增的 {3,4} 只要再拉上任意一个旧节点(这里是 5)就能凑成新配置多数派 {3,4,5},而这个多数派完全可以不包含 1、2。也就是说,新增节点越多、配置一次跨过的成员越多,旧侧与新侧越容易各自凑出一个互不重叠的多数派——这正是 8.2 双多数要封死的空间。

顺带澄清一个容易读歪的地方:新配置多数派 {3,4,5} 里的 5 号不一定「投了新票」,它本来就是旧成员,只是它的票被计入了新配置一侧。真正危险的组合是旧侧一个多数、新侧另一个多数,两者在成员集合上完全错开;只要新旧两个多数派共享哪怕一个节点,8.2 的相交性就能兜底。

把这个条件压缩成一句话,方便后面引用:只要新旧配置各有一个多数派,且这两个多数派没有交集,脑裂就可能发生;成员变更协议的全部工作,就是让「没有交集」不可能发生。

一次实际脑裂的时间线

把上面的集合反例翻译成具体的时间线,感受会更直接。假设 Leader 是节点 1,它想把 3 节点集群扩到 5 节点:

  1. t0:节点 1 把配置条目 C_new = {1,2,3,4,5} 追加进自己的日志,开始向所有节点广播。
  2. t1:节点 3 收到配置条目并本地应用,切到 C_new;节点 1、2 因消息延迟还没收到。
  3. t1 之后:节点 1 与节点 2 之间出现网络分区,{3, 4, 5} 也恰好与 {1, 2} 隔离。
  4. t2:节点 1、2 在旧配置下互相确认,节点 2 以「C_old 多数派 {1, 2}」当选 Leader,提交命令 A。
  5. t3:节点 3、4、5 在新配置下互相确认,节点 3 以「C_new 多数派 {3, 4, 5}」当选 Leader,提交命令 B。
  6. t4:分区恢复,节点 1 与节点 3 都声称自己提交了同一索引的日志。谁的日志算数?没有答案——两边都有合法多数派支持。

注意第 3 步的分区不是人为构造的巧合,而是必然风险:扩容本身要启动新节点、配置网络,操作期间出现短暂分区极其常见。只要配置错峰生效,分区一来,不相交多数派就被激活。

变更过程中的选举竞态

不相交的多数派不仅威胁提交,还会搅乱选举。把上面的场景改成「谁当 Leader」:

  1. 节点 3 切换到 C_new 后超时,发起选举。它向 {1, 2, 4, 5} 广播 RequestVote。
  2. 节点 4、5 已在新配置,投给 3;节点 1、2 还在旧配置,它们按 C_old 的投票规则处理——若 3 的日志足够新,它们也可能投给 3。凑齐 3 票后,3 在新配置下当选。
  3. 与此同时,如果节点 1 与 {3, 4, 5} 网络分区,节点 1、2 在旧配置下也能互相凑齐 2 票,节点 2 在旧配置下当选。

于是集群出现两个任期不同、配置不同的 Leader。旧 Leader 按旧 quorum 提交命令,新 Leader 按新 quorum 提交命令,双方都以为自己是合法的。等分区恢复,日志冲突已经无法通过「谁的新旧」来裁决——因为两边都拿到了法定票数。

还有一个隐蔽的竞态:被移除的节点仍然可能投票。若一个节点已被移出配置,但它的持久化状态里还记着旧配置,它会继续响应别人的 RequestVote,把票投给一个本不该获得票的候选人。反之,若它收到的 RequestVote 来自一个已经不在它新配置里的节点,它也可能错误地把票投出去。etcd 用 ConfState 记录「当前配置快照」来缓解,但这是 8.3 的内容,先记住结论:配置变更期间,谁能投票、按什么配置投票,本身就不确定。

etcd 的真实场景:缩容、扩容与替换

这些抽象场景在 etcd 运维里每天都会发生,每一次都是一次「成员变更 + quorum 变化」:

  • 缩容 5→3:某个节点磁盘损坏、常年掉线,或为了省钱收缩集群。etcdctl member remove <id> 把节点移出配置,quorum 从 3(5 节点容 2 故障)降到 2(3 节点容 1 故障)。移除过程中,若新配置还没提交,剩余节点仍在旧配置下工作;若移除命令的复制受阻,集群可能短暂卡在「新 quorum 未达成」。
  • 扩容 3→5:业务增长或为了提升容错。etcdctl member add 逐个加入,quorum 从 2 升到 3。中途任意时刻,系统可能同时面对「2 个旧节点按 quorum=2 判断」与「部分新节点按 quorum=3 判断」。这正是本节的脑裂反例所在的操作窗口。
  • 替换故障节点:先 member remove 移走坏节点,再 member add 补一个新节点。这是两个单步变更的组合,中间有一段 3 节点期(若从 5 缩到 3 再扩回 4),容错能力在低谷。

注意一个共同点:每一次变更,quorum 的数值都会跨过整数边界。5→3 是 quorum 3→2,3→5 是 quorum 2→3,替换是 3→2→3。边界两侧的多数派集合完全不同,这就是 8.2 联合共识要保护的区间。

成员变更与数据写入的竞速

配置条目和普通写请求共用同一条日志、同一个提交路径,它们会互相影响。思考一个细节:Leader 追加了配置条目 C_new 后,它还能继续追加普通业务命令吗?

  • 如果 C_new 还没提交,后续业务命令只能按旧配置的 quorum 提交。这意味着「扩容进行中但尚未提交」的窗口里,Leader 的一切提交都仍在旧多数派的控制下。
  • 一旦 C_new 被提交,新配置立即对所有后续条目生效:后续条目的确认集合切换成新多数派。日志里 C_new 之前的条目按旧 quorum 提交,C_new 及其之后的按新 quorum 提交——配置条目是日志里的一条分界线。

这个分界性质非常重要,它保证了「按旧配置提交的条目」与「按新配置提交的条目」不会在同一个索引上打架:索引顺序天然把两类条目隔开。但分界线本身(配置条目)提交的时刻存在不确定性:它既卡在旧 quorum 的确认上,又卡在配置条目向新成员的复制上,任何一半卡住都会拖慢整个集群的提交。

这个「分界线」也解释了为什么 8.1 开头那个「同一时刻切换」的方案不成立:即使你人为规定一个切换时刻,各节点本地时钟并不同步,无法保证都在那一刻应用配置条目;即便时间同步,消息到达顺序也不保证。分界线不是谁设计出来的,而是复制延迟的必然产物——协议只能去适应它,而不能幻想消灭它。

用 lab 的语言说:AddNode 之后,majority() 立刻变成新值,但真实集群里「新配置何时生效」取决于配置条目何时被多数确认提交。这是 lab 与真实系统之间最容易误读的一层——lab 直接调 API 改变成员,真实 etcd 得先让配置日志在集群里跑一圈。

一次缩容的完整思考

把 5→3 缩容走一遍,体会「每步都在改 quorum」:

  1. 5 节点集群正常,quorum = 3,容错 2。目标删掉节点 4、5。
  2. member remove 4:配置变 {1,2,3,5},4 节点,quorum 还是 3,容错降到 1。
  3. member remove 5:配置变 {1,2,3},3 节点,quorum 降到 2,容错维持 1。

关键观察:删第一个节点时容错从 2 掉到 1,但没立刻掉到 0;真正危险的是「删到一半、节点已离线」。如果 remove 4 的配置条目复制受阻,4 号还在旧配置里投票,而它的进程可能已经被运维关机——这就是「被移除的节点仍然可能投票」的生产版。etcd 的 member remove 会等到配置条目提交成功才返回,但它管不住你提前关机:所以缩容的铁律是「先删再关」,等 member list 里看不到它了,再去动那台机器。缩容和扩容一样,每一步都是一次完整的 quorum 数学变化,绝不能一步跨两个成员。

改变成员就是改变 quorum 数学

把「成员变更」翻译成数学语言:集群成员列表不是一行配置,而是 quorum 的定义本身。

成员数 nquorum = n/2 向下取整 + 1容错上限(n - quorum)
321
431
532
642
743

从这张表能读出三条工程结论:

  1. 奇数优于偶数。3→4 时 quorum 从 2 跳到 3,容错上限却仍是 1(4 - 3 = 1);等凑到 5,容错才升到 2。所以 etcd 官方强烈建议集群保持奇数,扩容一次加两个节点(3→5),而不是先到 4 再停。
  2. 容量与容错不是一回事。多加一个节点,如果还是偶数,你只多了一份存储副本,没有多一分容错。扩容的真正收益在越过奇数边界的那一刻:5→7 时 quorum 从 3 变 4,容错从 2 变 3。
  3. 成员变更期间容错短暂下降。3 节点正在加第 4 个(无论是否 learner),quorum 已经变成 3——此时集群只容 1 故障,比扩容前还脆弱。这正是「先把日志同步好再变配置」的原因,也是 8.3 learner 登场的动机。

顺带把 quorum 公式固定下来:quorum = ⌊n/2⌋ + 1。n 为偶数时多一票,n 为奇数时过半。这个公式贯穿第 6–7 章的提交推进,也贯穿本章每一次成员变更。

为什么偶数集群要避免

quorum = ⌊n/2⌋ + 1 的公式带来一个反直觉结果:偶数集群与它前一个奇数集群容错相同,却要多维护一个副本。5 节点与 6 节点都能容 2 故障,但 6 节点要 4 票提交、多一台机器的存储与网络开销。etcd 生产经验里,运维宁可停在 3 或 5,也不愿停在 4 或 6——偶数节点唯一的正当理由是「临时过渡」(比如替换节点时的 5→6→5),而不是稳态。

这条结论直接指导 8.3 的演练:扩容 3→5 是一次加两个、一步到位;如果暂时只能加一个,宁可在 4 节点上短暂运行、尽快补到 5,而不是把 4 节点当作长期稳态。同理,缩容也别停在偶数:5→4 只是过渡,目标永远是下一个奇数。

从病根到解药

本节的核心病根一句话:「所有节点同一时刻切换配置」在分布式系统里不存在;配置必然错峰生效,而错峰必然制造不相交的多数派。

解药有两条路,都在 Raft 里被正式化:

  • 8.2 联合共识(Joint Consensus):不直接切换,先进入「旧配置 ∪ 新配置」的联合态,每次提交要双多数。从数学上封死不相交多数派。
  • 8.3 单步变更 + learner:每次只加/删一个节点,新旧配置交集天然非空;新节点先以 learner 身份同步日志,追平再转正。etcd 生产用的是这条路。

两条路的共同点是承认「错峰生效」不可消除,因此都不再要求「同一时刻」,而是设计一个「新旧共存的中间态」。下面两节分别展开。

本节 lab

本节 lab 验证「改变成员就是改变 quorum 数学」这个基础事实。源码在 private/labs/k8s-etcd-lab/raft/membership.go:AddNode 往集群里追加一个 follower,RemoveNode 从集群里摘掉一个节点,Sim.majority() 按当前投票成员数实时计算 n/2+1。

cd private/labs/k8s-etcd-lab
go test ./raft -run TestMembershipAddChangesQuorum -v

测试 TestMembershipAddChangesQuorum(raft/replication_test.go)的断言链:

  1. NewSim(3, 1) 建 3 节点集群,majority() 返回 2(quorum = 3/2+1);
  2. AddNode(3) 后成员 4 个,majority() 返回 3;
  3. AddNode(4) 后成员 5 个,majority() 仍返回 3(5/2+1 = 3);
  4. RemoveNode(3) 回到 4 个成员,majority() 仍为 3。

也就是说,随着成员数 3→4→5→4,quorum 依次为 2→3→3→3。测试真正要你看懂的是两点:加节点不是免费的——从 3 到 4,quorum 立刻从 2 跳到 3,容错反而从「可丢 1 台」保持「可丢 1 台」没有改善;奇数边界才有容错跃迁——只有到 5,可丢 2 台。本节正文说的「改变成员就是改变 quorum 数学」,就是这个测试用数值钉死的结论。

实现上,membership.go 的 AddNode/RemoveNode 直接增删 Sim.Nodes,Sim.majority() 实时按 len(votingNodes())/2 + 1 计算;votingNodes() 会把 learner(Role == -1)排除在投票集合外,那是 8.3 的内容。测试用固定 seed(这里是 1)初始化随机数,保证每次运行选举超时与行为完全一致——仿真测试的可复现性正来自这组固定随机数。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图