《Kubernetes 分布式系统原理深入解析》13.1 脑裂定义与 etcd 分区场景

脑裂是网络分区把复制组成员切成多数派与少数派:多数派可提交、少数派被拒写;旧 Leader 落入少数派无法续租被隔离,任期单调递增防双主。本节用 etcd 三节点与五节点场景拆解仲裁、拒写与 fencing 三条机制。lab 用 splitbrain 包的 TestQuorumNumbers、TestMinorityCannotCommit、TestOldLeaderFenced 验证多数派计算、少数派拒写与旧 Leader 隔离。

13.1 脑裂定义与 etcd 分区场景

第 12 章讲了「读侧怎么判断最新」:以 resourceVersion 与 observedGeneration 为准。这一章换到最坏情形——网络分区。当分区把复制组成员切成互不相通的两半,每一半都可能觉得「我才是完整集群」。这一节先给脑裂一个精确的定义,再用 etcd 复制组的典型场景拆解它为什么不会演变成双主。

脑裂:一组被切成两半,各自以为自己是全体

脑裂(split brain)的字面含义来自两个大脑各自指挥同一副身体。在分布式复制组里,它指一个更具体的状态:网络分区把原本共同决策的成员集合切成两个(或更多)互不相通的子集,每个子集内部仍能正常协商,于是各自继续做出「代表全体」的决定。

复制组的一个关键性质是「法定人数制」:写请求不是靠所有成员同意,而是靠多数派(quorum)同意。只要多数派能协商,组就能继续提交;分区后落在多数派一侧的成员照常工作,落在少数派一侧的成员则被拒写。拒写不是「网络坏了所以失败」,而是「法定人数不足所以拒绝」——后者是设计出来的安全行为,前者只是故障现象。

为什么拒绝而非容忍少数派继续写?因为两个分区各自提交会产生两个互不相同的「已提交历史」,一旦网络恢复,两组数据无法合并成一条单一时间线。etcd、Raft、ZooKeeper 选择宁可短暂不可用,也不冒双时间线的风险——这是「一致性优先于可用性」在复制组层面的直接体现。

多数派仲裁:2f+1 是防脑裂的起点

法定人数的计算规则决定了一个组能容忍多少个故障。Raft 类协议的标准公式是:成员数 n,多数派 quorum = n/2 + 1,可容忍故障 f = n − quorum = (n−1)/2。lab 里 Cluster.Quorum() 就是这一行:

成员数quorum可容忍同时故障分区成两半后
110单点,无脑裂可言
3212 对 1,多数派提交
5323 对 2,多数派提交
7434 对 3,多数派提交

奇数节点数不是巧合:奇数让「多数派」与「少数派」的差距恰好是 1,任何 3 节点分区都必然是 2:1 而非 1:1。若用偶数 4 节点,分区成 2:2 时没有任何一侧够得着 quorum=3,集群直接不可写——这不是「更安全」,而是把「可容忍故障数」悄悄减半。生产 etcd 集群选 3、5、7,绝少选 4,理由就在这张表里。

「可容忍同时故障 f」是分区场景里最有用的换算:f 个节点离线,剩余 n−f 个仍满足多数派。分区比单纯故障更隐蔽,因为它把「离线」伪装成「还在,只是互相看不见」,但仲裁公式不看「为什么不在」,只看「还剩多少能在同一侧协商」。

为什么 3 节点是 etcd 的最小安全配置

把上面的表再往下想一层:既然「奇数 + 1 的差距」这么重要,是不是任意奇数都能用?答案受两个约束挤压:

  • 偶数不可用:4 节点分区成 2:2,任何一侧都够不到 quorum=3,集群整体拒写——偶数把「可容忍故障」悄悄从 f 减到 f−1。
  • 奇数也有限制:3 节点只容得下 1 个节点同时离线。若 3 节点分别落在 3 个机架、且一个机架掉电带走其中 2 个,剩下 1 个也够不到 quorum=2。
配置单点故障可扛单域整体失效可扛两个独立故障可扛
3 节点是取决于域分布否
5 节点是是(域够分散时)是
7 节点是是是

这张表的读法很实用:升级节点数能扛「更多独立故障」,但不能替代故障域分散。3 节点跨 3 个可用区能扛「任一可用区整体掉电」(剩 2 ≥ quorum 2),5 节点全放一个机房则连「机房断网」都扛不住。节点数与故障域是两个正交的旋钮,第 13.3 节会专门展开后者。

分区切割:少数派被拒写

etcd 集群被一个交换机故障切成两组后,组内的行为完全不同。以 5 节点 {1,2,3,4,5} 分成 {1,2} 与 {3,4,5} 为例:

观察对象所在组组内成员数quorum结论
成员 1、2少数派23CanCommit=false,任何写被拒
成员 3、4、5多数派33CanCommit=true,可正常提交
一个集群外客户端连到少数派——写返回错误,读也只能读到过期数据

lab 的 CanCommit(id) 就是这条判定:所在分区成员数 ≥ quorum 才允许提交。注意这里比较的是「同分区成员数」而非「总成员数」——分区后的多数派是在「能互相通信的子集」内计算的,这也是为什么 Cluster.GroupSize 要先数「谁和我同组」。

少数派拒写对客户端还有一个重要观感:写失败不是因为节点进程退出,而是因为法定人数不足。etcd 客户端拿到的错误是 Etcdserver: no leader 或 apply request timeout 一类,而不是连接拒绝——排障时「节点活着但写失败」往往就是分区而非宕机。

etcd 的成员视角:多数派从不「等」少数派

分区还有一个容易误解的细节:多数派一侧从分区那一刻起,就在逻辑上不承认旧 Leader 了。成员 3、4、5 在分区后立刻发起新一轮选举,此时它们并不等待「成员 1 是否还活着」——它们只问「我还能不能凑够法定人数」。这意味着:

  • 多数派的新 Leader 当选时,不需要旧 Leader 的同意,甚至不需要旧 Leader 知道;
  • 新 Leader 的任期号必然更大,旧 Leader 携带旧任期号的写请求被多数派直接忽略;
  • 旧 Leader 只要续不上租约,任何「网络恢复后我还想当 Leader」的念头都会被任期号压制。

这套「不等待、不协商、只按任期比较」的行为,是 Raft 能防脑裂的根本:多数派不依赖少数派的存在与否来做决定。把它和第 13.1 节后面双机房 3:3 的变体对照——后者两侧都凑不够多数派,所以反而是「谁也无法单方面决定」,只能整体拒写等待网络恢复。

旧 Leader 的结局:无法续租就被隔离

分区里最危险的角色是旧 Leader。假设分区前 Leader 是成员 1,分区后 {1,2} 沦为少数派。成员 1 心里还认为自己握着领导权,若允许它继续写,就构成双主——这正是脑裂最经典的后果。

防住它的机制叫 fencing(隔离),lab 的 Fence(leader) 就是最小实现:!CanCommit(leader)。它的原理分三层:

  1. 租约(lease):Leader 当选后持有期限有限的租约,必须周期性向多数派续租。分区后旧 Leader 无法联系多数派,租约到期即失效——领导权是租来的,不是继承的。
  2. 任期(term)单调递增:多数派一侧会发起新一轮选举,把任期号从旧 term 推到 term+1。任期号不降,旧 Leader 的新任期号一定小于新 Leader 的,任何成员都只认任期号更高的消息。
  3. 拒绝陈旧写:即使旧 Leader 在隔离期间强行提交(比如它以为租约还在),它的写携带旧 term,多数派成员与后续 Leader 会拒绝采纳。已提交的定义被钉死在「多数派承认」上,孤立的一侧无法单方面制造已提交。

fencing 是分布式锁与共识里的通用护栏:不只 etcd,ZooKeeper 的 fencing token、Kubernetes 的 lease 对象、以及第 11.2 节区域级 Leader 选举,用的都是同一套「任期/令牌单调 + 拒绝过期持有者」思想。脑裂防的不是「有两个 Leader 想法的进程」,而是「有两个 Leader 还能都提交数据的组」——fencing 把后者变成不可能。

任期单调递增:双主的最后防线

任期是 Raft 协议里最有名的单调计数器,值得单独拆开。它承担两件事:

  • 选举权威:候选者竞选时用 currentTerm+1,每个成员对任期小于当前的请求直接忽略。任何时刻最多一个成员持有当前任期,竞选即是「比谁任期新」。
  • 写拒绝:每个写请求携带发起时 Leader 的任期。多数派成员收到任期落后于当前的写,直接拒绝——它连「谁发的」都不认。
任期机制作用若违反
任期号单调递增新选举必然压过旧 Leader两个同任期 Leader 各自为政
任期号持久化重启后不遗忘当前任期重启成员可能把任期拨回旧值
写携带任期陈旧写被多数派拒绝旧 Leader 的写混入新时间线

把「任期」换成任何共识系统的「epoch」「generation」「fencing token」,语义完全一致。单调性 + 持久化是这套护栏的两个腿:只保证单调不保证持久化,重启就破功;只持久化不单调,恢复后可能出现并列权威。

分区时间线:从断网到少数派拒写

把一次真实的 etcd 分区按时间轴展开,能看清每条机制在哪个时刻介入。以 5 节点 {1,2,3,4,5}、Leader 为成员 1、被防火墙隔离为例:

时刻事件生效的机制
T0防火墙把 {1,2} 与 {3,4,5} 断开分区发生,两组互不可见
T1客户端向成员 1 写,成员 1 只能拉到 {1,2} 两票CanCommit=false,写被拒
T2多数派 {3,4,5} 发起新一轮选举,任期号 +1任期单调递增
T3成员 1 的租约到期,无法向多数派续租fencing 判定生效
T4网络恢复,{1,2} 向新 Leader 追赶日志catch-up,见第 13.2 节
T5{1,2} 追平并重新计入法定人数恢复完成

这张时间线回答了一个常见疑问:「为什么旧 Leader 不能先继续写、等网络恢复再合并?」答案在 T1 与 T3 的交界——T1 的拒写保证少数派不产生新提交,T3 的 fencing 保证它不再以 Leader 自居,两个时间点之间没有空档。若缺了任一机制,T0 到 T4 之间就会出现「双时间线」窗口。

分区场景的等价变体

脑裂不只发生在「交换机断开」这种整段网络故障。把常见的分区形态列出来,判定逻辑是同一套:

场景形态少数派行为
交换机故障5 节点断成 3:22 节点少数派拒写,多数派继续
机架掉电7 节点断成 4:33 节点同上
单节点被防火墙隔离5 节点 1 人孤立1 节点孤立节点既不能写也不能选新 Leader
一机房断网双机房 3+3 部署各 3 节点两侧都无 quorum,全集群拒写(此时靠第 13.3 节的故障域设计避免)

看到最后一行值得警惕:分区不总是产生「一对多」,也可能产生「多对多」。双机房各 3 节点、总成员 6,断成 3:3 后任何一侧都摸不到 quorum=4,集群整体拒写。这时的教训不是「多机房间要同步」,而是「副本布局决定了分区的结局」——这正是第 13.3 节故障域设计要回答的问题。

脑裂防护的三道闸门

把 13.1 节的机制收拢成一张三道闸门表,排障与设计时逐条核对:

闸门机制阻止的攻击
第一道多数派仲裁 + 拒写少数派产生新提交
第二道租约到期 + fencing旧 Leader 继续以权威写数据
第三道任期单调 + 拒绝陈旧写新 Leader 被旧任期消息干扰

三道闸门的顺序也很讲究:第一道在「提交前」拦,第二道在「续租时」拦,第三道在「消息层」拦——从协议入口到消息出口,没有一个环节允许旧权威继续生效。生产 etcd 集群真正出现「双主」的案例,几乎都是三道闸门中某一道在配置上被绕过(例如租约设置过长、任期未持久化),而不是机制本身失效。

三个常见误解

  • 「脑裂是网络故障导致的必然灾难,发生了就只能等恢复」——错误。多数派一侧照常提交,少数派被拒写,仲裁把灾难限制成「部分不可用」;真正要防的是双主,fencing 已把它排除。
  • 「少数派里数据不会丢,恢复后两边一合并就完整了」——错误。少数派在隔离期间被拒写,它的日志只落后不产生新提交;恢复后它向多数派 Leader 追赶(catch-up),以多数派时间线为准,而不是「合并两边」。
  • 「leader 只要还在运行、没被重启,就一直是 leader」——错误。领导权靠租约维持,落入少数派续不上租约即失效;即使进程不重启,也已在逻辑上被隔离(fenced)。

一句话总结本节

脑裂是网络分区把复制组切成多数派与少数派,多数派可提交、少数派被拒写,从而保证任何时刻只有一条已提交时间线;旧 Leader 落入少数派后因无法续租被 fencing 隔离,配合单调任期,双主在协议层面不可能发生。仲裁是前提,拒写是行为,fencing 是兜底,三者合起来才是完整的防脑裂闭环。

下一节把「分区」从 etcd 单点放大到整个 Kubernetes:控制面、节点、数据面三类分区分别表现为什么,恢复时又是怎么追平的。

本节 lab

本节的三个测试落在 splitbrain 包的 Cluster 类型上,验证「多数派计算、少数派拒写、旧 Leader 隔离」:

cd private/labs/k8s-net-lab
go test ./splitbrain -run TestQuorumNumbers -v
go test ./splitbrain -run TestMinorityCannotCommit -v
go test ./splitbrain -run TestOldLeaderFenced -v
  • TestQuorumNumbers:断言 3 节点 quorum=2、5 节点 quorum=3——对应「2f+1 多数派计算」。
  • TestMinorityCannotCommit:把 5 节点拆成 {1,2} 与 {3,4,5},断言成员 1、2 不能提交、成员 3、5 能提交——对应「少数派拒写、多数派可提交」。
  • TestOldLeaderFenced:旧 Leader=1 落入少数派时断言被隔离;Heal 后再把 {4,5} 拆出,断言多数派中的 Leader=3 不受影响——对应「无法续租即 fencing、多数派 Leader 不受罚」。

三个测试共 8 条断言,跑完见 ok k8s-net-lab/splitbrain。这就是「仲裁、拒写、fencing」三条防脑裂机制的 lab 验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图