13.1 脑裂定义与 etcd 分区场景
第 12 章讲了「读侧怎么判断最新」:以 resourceVersion 与 observedGeneration 为准。这一章换到最坏情形——网络分区。当分区把复制组成员切成互不相通的两半,每一半都可能觉得「我才是完整集群」。这一节先给脑裂一个精确的定义,再用 etcd 复制组的典型场景拆解它为什么不会演变成双主。
脑裂:一组被切成两半,各自以为自己是全体
脑裂(split brain)的字面含义来自两个大脑各自指挥同一副身体。在分布式复制组里,它指一个更具体的状态:网络分区把原本共同决策的成员集合切成两个(或更多)互不相通的子集,每个子集内部仍能正常协商,于是各自继续做出「代表全体」的决定。
复制组的一个关键性质是「法定人数制」:写请求不是靠所有成员同意,而是靠多数派(quorum)同意。只要多数派能协商,组就能继续提交;分区后落在多数派一侧的成员照常工作,落在少数派一侧的成员则被拒写。拒写不是「网络坏了所以失败」,而是「法定人数不足所以拒绝」——后者是设计出来的安全行为,前者只是故障现象。
为什么拒绝而非容忍少数派继续写?因为两个分区各自提交会产生两个互不相同的「已提交历史」,一旦网络恢复,两组数据无法合并成一条单一时间线。etcd、Raft、ZooKeeper 选择宁可短暂不可用,也不冒双时间线的风险——这是「一致性优先于可用性」在复制组层面的直接体现。
多数派仲裁:2f+1 是防脑裂的起点
法定人数的计算规则决定了一个组能容忍多少个故障。Raft 类协议的标准公式是:成员数 n,多数派 quorum = n/2 + 1,可容忍故障 f = n − quorum = (n−1)/2。lab 里 Cluster.Quorum() 就是这一行:
| 成员数 | quorum | 可容忍同时故障 | 分区成两半后 |
|---|---|---|---|
| 1 | 1 | 0 | 单点,无脑裂可言 |
| 3 | 2 | 1 | 2 对 1,多数派提交 |
| 5 | 3 | 2 | 3 对 2,多数派提交 |
| 7 | 4 | 3 | 4 对 3,多数派提交 |
奇数节点数不是巧合:奇数让「多数派」与「少数派」的差距恰好是 1,任何 3 节点分区都必然是 2:1 而非 1:1。若用偶数 4 节点,分区成 2:2 时没有任何一侧够得着 quorum=3,集群直接不可写——这不是「更安全」,而是把「可容忍故障数」悄悄减半。生产 etcd 集群选 3、5、7,绝少选 4,理由就在这张表里。
「可容忍同时故障 f」是分区场景里最有用的换算:f 个节点离线,剩余 n−f 个仍满足多数派。分区比单纯故障更隐蔽,因为它把「离线」伪装成「还在,只是互相看不见」,但仲裁公式不看「为什么不在」,只看「还剩多少能在同一侧协商」。
为什么 3 节点是 etcd 的最小安全配置
把上面的表再往下想一层:既然「奇数 + 1 的差距」这么重要,是不是任意奇数都能用?答案受两个约束挤压:
- 偶数不可用:4 节点分区成 2:2,任何一侧都够不到 quorum=3,集群整体拒写——偶数把「可容忍故障」悄悄从 f 减到 f−1。
- 奇数也有限制:3 节点只容得下 1 个节点同时离线。若 3 节点分别落在 3 个机架、且一个机架掉电带走其中 2 个,剩下 1 个也够不到 quorum=2。
| 配置 | 单点故障可扛 | 单域整体失效可扛 | 两个独立故障可扛 |
|---|---|---|---|
| 3 节点 | 是 | 取决于域分布 | 否 |
| 5 节点 | 是 | 是(域够分散时) | 是 |
| 7 节点 | 是 | 是 | 是 |
这张表的读法很实用:升级节点数能扛「更多独立故障」,但不能替代故障域分散。3 节点跨 3 个可用区能扛「任一可用区整体掉电」(剩 2 ≥ quorum 2),5 节点全放一个机房则连「机房断网」都扛不住。节点数与故障域是两个正交的旋钮,第 13.3 节会专门展开后者。
分区切割:少数派被拒写
etcd 集群被一个交换机故障切成两组后,组内的行为完全不同。以 5 节点 {1,2,3,4,5} 分成 {1,2} 与 {3,4,5} 为例:
| 观察对象 | 所在组 | 组内成员数 | quorum | 结论 |
|---|---|---|---|---|
| 成员 1、2 | 少数派 | 2 | 3 | CanCommit=false,任何写被拒 |
| 成员 3、4、5 | 多数派 | 3 | 3 | CanCommit=true,可正常提交 |
| 一个集群外客户端 | 连到少数派 | — | — | 写返回错误,读也只能读到过期数据 |
lab 的 CanCommit(id) 就是这条判定:所在分区成员数 ≥ quorum 才允许提交。注意这里比较的是「同分区成员数」而非「总成员数」——分区后的多数派是在「能互相通信的子集」内计算的,这也是为什么 Cluster.GroupSize 要先数「谁和我同组」。
少数派拒写对客户端还有一个重要观感:写失败不是因为节点进程退出,而是因为法定人数不足。etcd 客户端拿到的错误是 Etcdserver: no leader 或 apply request timeout 一类,而不是连接拒绝——排障时「节点活着但写失败」往往就是分区而非宕机。
etcd 的成员视角:多数派从不「等」少数派
分区还有一个容易误解的细节:多数派一侧从分区那一刻起,就在逻辑上不承认旧 Leader 了。成员 3、4、5 在分区后立刻发起新一轮选举,此时它们并不等待「成员 1 是否还活着」——它们只问「我还能不能凑够法定人数」。这意味着:
- 多数派的新 Leader 当选时,不需要旧 Leader 的同意,甚至不需要旧 Leader 知道;
- 新 Leader 的任期号必然更大,旧 Leader 携带旧任期号的写请求被多数派直接忽略;
- 旧 Leader 只要续不上租约,任何「网络恢复后我还想当 Leader」的念头都会被任期号压制。
这套「不等待、不协商、只按任期比较」的行为,是 Raft 能防脑裂的根本:多数派不依赖少数派的存在与否来做决定。把它和第 13.1 节后面双机房 3:3 的变体对照——后者两侧都凑不够多数派,所以反而是「谁也无法单方面决定」,只能整体拒写等待网络恢复。
旧 Leader 的结局:无法续租就被隔离
分区里最危险的角色是旧 Leader。假设分区前 Leader 是成员 1,分区后 {1,2} 沦为少数派。成员 1 心里还认为自己握着领导权,若允许它继续写,就构成双主——这正是脑裂最经典的后果。
防住它的机制叫 fencing(隔离),lab 的 Fence(leader) 就是最小实现:!CanCommit(leader)。它的原理分三层:
- 租约(lease):Leader 当选后持有期限有限的租约,必须周期性向多数派续租。分区后旧 Leader 无法联系多数派,租约到期即失效——领导权是租来的,不是继承的。
- 任期(term)单调递增:多数派一侧会发起新一轮选举,把任期号从旧 term 推到 term+1。任期号不降,旧 Leader 的新任期号一定小于新 Leader 的,任何成员都只认任期号更高的消息。
- 拒绝陈旧写:即使旧 Leader 在隔离期间强行提交(比如它以为租约还在),它的写携带旧 term,多数派成员与后续 Leader 会拒绝采纳。已提交的定义被钉死在「多数派承认」上,孤立的一侧无法单方面制造已提交。
fencing 是分布式锁与共识里的通用护栏:不只 etcd,ZooKeeper 的 fencing token、Kubernetes 的 lease 对象、以及第 11.2 节区域级 Leader 选举,用的都是同一套「任期/令牌单调 + 拒绝过期持有者」思想。脑裂防的不是「有两个 Leader 想法的进程」,而是「有两个 Leader 还能都提交数据的组」——fencing 把后者变成不可能。
任期单调递增:双主的最后防线
任期是 Raft 协议里最有名的单调计数器,值得单独拆开。它承担两件事:
- 选举权威:候选者竞选时用
currentTerm+1,每个成员对任期小于当前的请求直接忽略。任何时刻最多一个成员持有当前任期,竞选即是「比谁任期新」。 - 写拒绝:每个写请求携带发起时 Leader 的任期。多数派成员收到任期落后于当前的写,直接拒绝——它连「谁发的」都不认。
| 任期机制 | 作用 | 若违反 |
|---|---|---|
| 任期号单调递增 | 新选举必然压过旧 Leader | 两个同任期 Leader 各自为政 |
| 任期号持久化 | 重启后不遗忘当前任期 | 重启成员可能把任期拨回旧值 |
| 写携带任期 | 陈旧写被多数派拒绝 | 旧 Leader 的写混入新时间线 |
把「任期」换成任何共识系统的「epoch」「generation」「fencing token」,语义完全一致。单调性 + 持久化是这套护栏的两个腿:只保证单调不保证持久化,重启就破功;只持久化不单调,恢复后可能出现并列权威。
分区时间线:从断网到少数派拒写
把一次真实的 etcd 分区按时间轴展开,能看清每条机制在哪个时刻介入。以 5 节点 {1,2,3,4,5}、Leader 为成员 1、被防火墙隔离为例:
| 时刻 | 事件 | 生效的机制 |
|---|---|---|
| T0 | 防火墙把 {1,2} 与 {3,4,5} 断开 | 分区发生,两组互不可见 |
| T1 | 客户端向成员 1 写,成员 1 只能拉到 {1,2} 两票 | CanCommit=false,写被拒 |
| T2 | 多数派 {3,4,5} 发起新一轮选举,任期号 +1 | 任期单调递增 |
| T3 | 成员 1 的租约到期,无法向多数派续租 | fencing 判定生效 |
| T4 | 网络恢复,{1,2} 向新 Leader 追赶日志 | catch-up,见第 13.2 节 |
| T5 | {1,2} 追平并重新计入法定人数 | 恢复完成 |
这张时间线回答了一个常见疑问:「为什么旧 Leader 不能先继续写、等网络恢复再合并?」答案在 T1 与 T3 的交界——T1 的拒写保证少数派不产生新提交,T3 的 fencing 保证它不再以 Leader 自居,两个时间点之间没有空档。若缺了任一机制,T0 到 T4 之间就会出现「双时间线」窗口。
分区场景的等价变体
脑裂不只发生在「交换机断开」这种整段网络故障。把常见的分区形态列出来,判定逻辑是同一套:
| 场景 | 形态 | 少数派 | 行为 |
|---|---|---|---|
| 交换机故障 | 5 节点断成 3:2 | 2 节点 | 少数派拒写,多数派继续 |
| 机架掉电 | 7 节点断成 4:3 | 3 节点 | 同上 |
| 单节点被防火墙隔离 | 5 节点 1 人孤立 | 1 节点 | 孤立节点既不能写也不能选新 Leader |
| 一机房断网 | 双机房 3+3 部署 | 各 3 节点 | 两侧都无 quorum,全集群拒写(此时靠第 13.3 节的故障域设计避免) |
看到最后一行值得警惕:分区不总是产生「一对多」,也可能产生「多对多」。双机房各 3 节点、总成员 6,断成 3:3 后任何一侧都摸不到 quorum=4,集群整体拒写。这时的教训不是「多机房间要同步」,而是「副本布局决定了分区的结局」——这正是第 13.3 节故障域设计要回答的问题。
脑裂防护的三道闸门
把 13.1 节的机制收拢成一张三道闸门表,排障与设计时逐条核对:
| 闸门 | 机制 | 阻止的攻击 |
|---|---|---|
| 第一道 | 多数派仲裁 + 拒写 | 少数派产生新提交 |
| 第二道 | 租约到期 + fencing | 旧 Leader 继续以权威写数据 |
| 第三道 | 任期单调 + 拒绝陈旧写 | 新 Leader 被旧任期消息干扰 |
三道闸门的顺序也很讲究:第一道在「提交前」拦,第二道在「续租时」拦,第三道在「消息层」拦——从协议入口到消息出口,没有一个环节允许旧权威继续生效。生产 etcd 集群真正出现「双主」的案例,几乎都是三道闸门中某一道在配置上被绕过(例如租约设置过长、任期未持久化),而不是机制本身失效。
三个常见误解
- 「脑裂是网络故障导致的必然灾难,发生了就只能等恢复」——错误。多数派一侧照常提交,少数派被拒写,仲裁把灾难限制成「部分不可用」;真正要防的是双主,fencing 已把它排除。
- 「少数派里数据不会丢,恢复后两边一合并就完整了」——错误。少数派在隔离期间被拒写,它的日志只落后不产生新提交;恢复后它向多数派 Leader 追赶(catch-up),以多数派时间线为准,而不是「合并两边」。
- 「leader 只要还在运行、没被重启,就一直是 leader」——错误。领导权靠租约维持,落入少数派续不上租约即失效;即使进程不重启,也已在逻辑上被隔离(fenced)。
一句话总结本节
脑裂是网络分区把复制组切成多数派与少数派,多数派可提交、少数派被拒写,从而保证任何时刻只有一条已提交时间线;旧 Leader 落入少数派后因无法续租被 fencing 隔离,配合单调任期,双主在协议层面不可能发生。仲裁是前提,拒写是行为,fencing 是兜底,三者合起来才是完整的防脑裂闭环。
下一节把「分区」从 etcd 单点放大到整个 Kubernetes:控制面、节点、数据面三类分区分别表现为什么,恢复时又是怎么追平的。
本节 lab
本节的三个测试落在 splitbrain 包的 Cluster 类型上,验证「多数派计算、少数派拒写、旧 Leader 隔离」:
cd private/labs/k8s-net-lab
go test ./splitbrain -run TestQuorumNumbers -v
go test ./splitbrain -run TestMinorityCannotCommit -v
go test ./splitbrain -run TestOldLeaderFenced -v
TestQuorumNumbers:断言 3 节点 quorum=2、5 节点 quorum=3——对应「2f+1 多数派计算」。TestMinorityCannotCommit:把 5 节点拆成{1,2}与{3,4,5},断言成员 1、2 不能提交、成员 3、5 能提交——对应「少数派拒写、多数派可提交」。TestOldLeaderFenced:旧 Leader=1 落入少数派时断言被隔离;Heal 后再把{4,5}拆出,断言多数派中的 Leader=3 不受影响——对应「无法续租即 fencing、多数派 Leader 不受罚」。
三个测试共 8 条断言,跑完见 ok k8s-net-lab/splitbrain。这就是「仲裁、拒写、fencing」三条防脑裂机制的 lab 验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。