《Kubernetes 分布式系统原理深入解析》14.2 网络分区与脑裂防护:大多数方仲裁

脑裂时两侧都想当主,Raft 不事后检测,而是让提交必须多数派确认:分区后多数派继续选主提交,少数派 commit 停滞在分区前边界,无法双提交。lab 用 TestNetworkPartitionMajorityArbitration 验证 5 节点分区仲裁,用 TestPreVoteQuarantine 验证 pre-vote 防止被分区节点扰乱主集群。

14.2 网络分区与脑裂防护:大多数方仲裁

14.1 节证明了任意两个多数派必然相交。本节把这条性质用到分布式系统最危险的故障——网络分区上:集群被切成互不可达的两半,两侧都天然地想继续服务,如果没有仲裁机制就是脑裂(brain split)。Raft 不检测分区、也不修复分区,它只靠一条前置规则——提交必须多数派确认——把「谁能继续」的裁判权永远交给多数派那一侧。

脑裂:两侧都想当主

脑裂的场景几乎每个分布式系统都逃不掉:网络不是可靠的,交换机故障、网线松动、防火墙策略误配、节点假死(进程活着但长时间无响应,被对端判定失联)都会把集群切成几块。K8s 控制面里这类切分至少发生在三条链路上:etcd 成员之间、apiserver 与 etcd 之间、Node 与 apiserver 之间。

「想当主」是分布式成员的默认倾向——每个成员都希望自己继续服务客户端。没有防护时,两侧同时接受写、各自推进状态,等到分区愈合,同一份数据出现两个互相矛盾的值,谁对谁错没有仲裁者。数据库的双主、DNS 的 split-brain 都吃过这个亏。

Raft 的立场与「检测到分区再降级」完全不同:它不把脑裂当作异常去事后处理,而是让「提交」这个动作本身只能在多数派上发生,从而在事前就让少数派丧失提交能力。这个「事前」很关键:它不需要集群感知到分区、不需要协调两侧「谁让步」,只需要每个成员在提交时严格数一遍确认票。

大多数方仲裁:commit 的多数派门槛

仲裁规则只有一条:commit 必须多数派确认。它带来两个直接推论:

  1. 分区后,含多数派的那一侧(成员数 ≥ q)能继续选主、继续提交——仲裁权天然落在多数方;
  2. 少数派那一侧(成员数 < q)无论选出谁当 leader,任何新日志都无法凑够多数派确认,commit 停滞——它不可能造成脑裂性双提交。

5 节点集群 q=3,分区 {0,1,2} 与 {3,4}:{0,1,2} 有 3 票可提交,{3,4} 只有 2 票、永远差一票。注意这里不存在「两全」:少数派确实可能在分区侧选出一个自封 leader,但这个 leader 的每一条写都提交不了,客户端等不到确认。脑裂在安全(safety)层面被堵死——不可能出现「同一条数据在两个 leader 上都确认提交且值不同」;代价是少数派侧完全不可用(availability 让位于多数派)。

把「提交需要多数派确认」翻译成实现语言:leader 的 maybeCommit 在统计 MatchIndex 时,确认者数量(含自己)达到 quorum 才推进 commitIndex;被分区到少数派的候选 leader 即使当选,其 commit 推进所需的确认者也永远不足。commit 门槛是一道物理屏障,不是一条纪律——少数派「想提交」的意愿再强,也凑不出多数派的票。

分区时间线:多数派推进、少数派停滞

把一次分区完整走一遍(对应 lab 的 TestNetworkPartitionMajorityArbitration):

  1. 分区前,5 节点正常运转,提交 set:a=1、set:b=2,确立一个分区前的 commit 边界;
  2. 网络把集群切成 {0,1,2} 与 {3,4},两侧互不可达;
  3. 多数派 {0,1,2} 继续:原 leader 在多数派里则沿用,不在则按第 5.1 节选举协议重选;新写 set:c=3 追加后走正常复制与确认,commit 越过旧边界推进;
  4. 少数派 {3,4}:旧 leader 心跳被切断,可能在分区侧发起选举甚至自封 leader,但任何新日志都收不到多数派确认,CommitIndex 永远停在分区前边界;
  5. 分区愈合后,两侧重新连通,少数派通过日志复制追平(见下一节)。

lab 的断言就是第 4 步:节点 3、4 的 CommitIndex 不得超过分区前边界——「脑裂性双提交」被多数派门槛物理性地拦在 commit 之外。

K8s 里类似的形态:etcd 3 节点中 1 个节点被分区出去(3 节点 q=2,被分区侧只有 1 个节点),它读到的是分区前的旧快照,任何写都提交不了;apiserver 若连到它,会被转发或失败,而不是拿到「半个集群」的确认。这与第 10.3 节「分区下线性一致读宁可失败也不返回旧值」是同一个多数派门槛在读写两条路径上的分形。

少数派停滞还有个容易被误读的点:它不是「少数派主动停写」,而是「少数派根本停不下来之后被拦在 commit 之外」。旧 leader 的日志可以继续在它自己内存里增长,但那部分日志从未提交,客户端永远拿不到成功确认——这正是下一节要讲的「未提交日志可被覆盖」。

恢复收敛:日志追平与任期护栏

分区愈合不是终点,少数派要追回多数派的进度:

  • 连通后,少数派节点收到新 leader 的心跳(任期更高),自动降级为 follower;
  • 新 leader 按 nextIndex 逐条补发差距日志;若差距跨越快照点,走第 9 章 InstallSnapshot 直接把状态机压到快照位置,再补尾差;
  • 追平后,少数派的日志、commitIndex、apply 全部对齐多数派,状态机最终一致。

这里有一条安全护栏:少数派即使在分区期间多写了几条「看起来属于自己任期」的日志,它们也从未被多数派确认提交。追平时 AppendEntries 的一致性检查(第 6.2 节)会把冲突段截断、覆盖为多数派日志的内容。已提交数据永远保留,未提交数据永远可被覆盖——这正是第 7.2 节 Leader 完整性的推论:新 leader 的日志必然包含全部已提交日志,所以「追平」只会添加已提交内容,不会回退它们。

任期在这条护栏里扮演的角色:少数派自封 leader 时把 term 递增到某个值,但它的日志没有包含多数派在更高任期提交的内容;一旦多数派一侧选出任期更高的新 leader,少数派节点的 term 被覆盖、降级为 follower,其「自封 leader」的合法性被任期仲裁推翻。任期是多数派仲裁的记账单位:谁的任期更高,谁的日志就是权威。

pre-vote 与 CheckQuorum:防止分区节点扰乱主集群

少数派不能提交,但还留着一个骚扰能力:它的节点如果持续超时、发起真实竞选(把 term+1),高任期 RequestVote 会迫使主集群节点降级、打断正常 leader,主集群可能陷入反复选举、短暂无主。这是第 5.3 节讲过的「被分区节点扰乱主集群」。

两条防线:

  • pre-vote(第 5.3 节):发起真实竞选前,先以「拟用任期」征求法定预投票,拿到法定预投票才真正 term+1 竞选。被分区节点永远收不到法定预投票,就一直停在预投票阶段,不递增任期、不产生高任期消息——它无法用「任期压人」的方式骚扰主集群。lab 的 TestPreVoteQuarantine 验证的正是这一点:节点 4 被完全隔离后,主集群 0–3 正常选主,节点 4 持续尝试 pre-vote,但任期始终不越过 1。
  • CheckQuorum(第 5.3 节):leader 在任期内若收不到法定确认,主动放弃 leader 身份。这防止「旧 leader 其实已被分区出去,却一直占着位置服务过期读」——它把 leader 身份的存续也交给多数派持续见证。

pre-vote 的价值不只是「少一次竞选」:它把「扰乱」的代价从「主集群被迫降级重选」降为「被分区节点原地空转」。主集群的稳定性不取决于少数派节点有多折腾——这和第 10.2 节 ReadIndex「多数派确认一次管一个窗口」是同一种「隔离噪音」的设计思路。

三种分区形态与仲裁结果

把「多数派仲裁」套到具体形态上,可以列一张对照表(以 5 节点为例):

分区形态切法仲裁结果
一分为二,多数派在一侧{0,1,2} vs {3,4}{0,1,2} 继续提交,{3,4} 停滞
单个节点被隔离{4} vs {0,1,2,3}主集群正常,{4} 追平后回归
一分为三,无任何一方过半{0,1} vs {2,3} vs {4}各方都无法提交,集群整体停摆直至愈合

第三行最反直觉:5 节点切成 2+2+1,三块都没有 3 票,谁也提交不了——集群「停摆」而不是「脑裂」。停摆和脑裂是两种结果:脑裂是错误(两侧同时提交矛盾值),停摆只是不可用(安全保住,可用性丧失)。多数派仲裁宁可停摆也不脑裂,这正是第 2.1 节 CAP 里「一致优先」的取舍在 Raft 里的日常形态。

这个「宁可停摆也不脑裂」的立场贯穿 Raft 全部设计:可用性可以折损,一致性不能打折——脑裂是错的,停摆只是慢。

脑裂的经典教训:为什么「检测后降级」不够

在共识算法出现前,脑裂的常见应对是「检测到分区后,主动降级自己」。这套思路有两个坑:

  1. 检测本身不可靠:怎么判断「对方死了还是网络断了」?TCP 超时、心跳超时都只是猜测。误判一个正常节点为故障、主动降级自己,白白损失可用性。
  2. 两侧可能同时检测失败:A 侧认为 B 死了而继续服务,B 侧也认为 A 死了而继续服务——检测机制在「两侧都误判」时反而成了脑裂的帮凶。

Raft 的多数派仲裁绕开了「检测」这个环节:它不需要任何人判断「分区发生了」,只需要每个成员在提交时数票。票数不足就是提交不了,无论两侧怎么「以为」,仲裁结果由票数决定。这就是「事前预防」与「事后检测」的本质区别——Raft 把脑裂问题的解法从「判断对错」变成「数票」。

apiserver 与 etcd 之间的分区

K8s 控制面里还有一条常被忽略的分区链路:apiserver 与 etcd 之间。

  • apiserver 是无状态客户端,它不参与 etcd 的 quorum。它连上哪个 etcd 成员都行,但只有多数派确认的写才成功。
  • 如果 apiserver 恰好连的是分区出去的少数派成员,它的写会超时失败、线性一致读会失败;控制器和调谐循环随后重试,apiserver 通过 etcd 客户端发现的健康成员重新路由。
  • 所以「apiserver 与 etcd 分区」的表现不是脑裂,而是 apiserver 短暂不可写、不可强一致读,直到它切到多数派成员。控制面 apiserver 副本多的意义之一就在于此:多个 apiserver 只要有一个连得上多数派 etcd,集群就能继续收敛。

这条链路印证了 14.1 节的判断:quorum 义务在 etcd,不在 apiserver。apiserver 是多数派仲裁的「外围消费者」,不是「仲裁者」。

分区下的客户端行为:重试、转发与超时

多数派仲裁只约束成员,客户端的行为同样构成脑裂防护的最后一层:

  • 写超时重试:客户端向分区出去的少数派成员写,必然超时(commit 推进不了)。etcd 客户端把请求重定向到当前 leader 或返回错误,上层(apiserver、controller)按退避重试。
  • 读超时重试:线性一致读在少数派成员上同样完成不了确认(第 10.2 节),客户端按幂等语义重试到多数派成员。
  • 关键边界:重试要幂等:如果客户端在超时后盲目重放写,可能造成同一命令被提交两次。etcd 的事务与租约、K8s 的 resourceVersion 乐观并发,都是为「分区超时 + 重试」提供的幂等护栏。

所以脑裂防护是三层叠加:成员侧的多数派门槛(本节的仲裁)、客户端侧的幂等重试(上层的纪律)、以及第 15.3 节要讲的一致性代价权衡。任何一层失效,脑裂防护都不完整。

分区期间的少数派能提供什么

多数派仲裁牺牲了少数派的可用性,但少数派并不是「彻底没用」:

  • 串行化读仍可用:少数派成员可以响应 serializable 读(第 10.3 节),返回本地 mvcc 快照——旧但可用。监控、大盘等容忍旧的负载仍能服务。
  • watch 停滞:watch 事件来自 apply,apply 依赖 commit;少数派 commit 停滞,新事件也不会产生——多数派一侧正常推进,少数派一侧的事件流冻结在分区边界。
  • 写与线性一致读不可用:任何需要多数派确认的操作(写、ReadIndex 读、etcdctl endpoint health)在少数派上都会失败。

所以「牺牲可用性」不是「所有请求都失败」,而是「所有要求最新、要求落盘的请求都失败」。这与第 10.3 节的分区下读模式结论一致:线性一致读宁可失败也不返回旧值,串行化读宁可旧也要可用——多数派仲裁把这两档读的行为在分区下彻底分开。

分区 vs 节点故障:同一仲裁,两种表现

把「网络分区」和「节点故障」放一起看,会发现 Raft 用同一套多数派机制处理两者:

维度节点故障(宕机)网络分区
仲裁结果多数派继续,故障节点掉队多数派继续,少数派侧停滞
故障方恢复重启/替换后追平日志分区愈合后追平日志
恢复路径相同:日志复制/快照追平相同:日志复制/快照追平
两者区别故障节点自己是「坏」的少数派节点可能是「好」的但被切走

对多数派来说,一个「彻底宕机」的节点和一个「被分区切走」的节点在协议上几乎无法区分:都收不到心跳、都回不了确认、都可能长期不在多数派确认里。Raft 因此不需要区分「它是死了还是被隔离了」——多数派机制对两种故障给出同样的仲裁。这也是 14.3 节会用「隔离」来模拟「fsync 挂起」的原因:在协议层面,它们等价。

本节小结

  • 脑裂是「两侧都想当主」,Raft 不事后检测,而是用「提交必须多数派确认」在事前把裁判权交给多数方;
  • 分区后多数派继续选主提交,少数派 commit 停在分区前边界,无脑裂性双提交;
  • 恢复靠日志追平/快照,已提交数据不回退、未提交数据可覆盖;
  • pre-vote 与 CheckQuorum 防止分区节点用高任期扰乱主集群。

网络分区是最直观的「多数派仲裁」故障形态,但多数派并不能解决所有故障——下一节看另一种故障:节点之间完全连通,但单个成员的磁盘慢到拖慢整个提交路径。

本节 lab

本节 lab 验证大多数方仲裁与 pre-vote 隔离,两个用例都在 private/labs/k8s-etcd-lab/raft/:

  • quorum_test.go 的 TestNetworkPartitionMajorityArbitration:5 节点分成 {0,1,2} 与 {3,4},多数派选主并提交第三条日志,少数派 commit 停滞在分区前(无脑裂双提交);
  • raft_test.go 的 TestPreVoteQuarantine:被分区节点持续 pre-vote 无法扰乱主集群、不递增任期。

运行命令:

cd private/labs/k8s-etcd-lab
go test ./raft -run 'TestNetworkPartitionMajorityArbitration|TestPreVoteQuarantine' -v

预期断言:

  • TestNetworkPartitionMajorityArbitration:分区前两笔写(set:a=1、set:b=2)全部提交,记下 commit 边界;分区函数使 {0,1,2} 与 {3,4} 互不可达后,多数派 {0,1,2} 必然选出 Leader(原 leader 在多数派则沿用,否则重选),追加 set:c=3 后 commit 越过旧边界;同时节点 3、4 的 CommitIndex 不得大于分区前边界,否则判定为脑裂——双提交在多数派门槛处被拦住;
  • TestPreVoteQuarantine:节点 4 完全隔离(涉及 4 的跨节点消息全被丢弃)后,主集群 0–3 必然选出 Leader,且 Leader 不是 4;50 步内节点 4 反复发起 pre-vote,既不能当选 Leader,任期也始终不超过 1——pre-vote 把分区节点的「任期骚扰」挡在主集群之外,主集群的选举不受分区节点影响。

把断言映射回本节的理论:TestNetworkPartitionMajorityArbitration 完整复现了「分区时间线」的五步——分区前确立 commit 边界、分区后多数派推进、少数派停滞;它断言的是「少数派不越界」,而不是「少数派崩溃」,这正是「安全(safety)保住、可用性(availability)牺牲在少数派」的验收口径。TestPreVoteQuarantine 则把第 5.3 节的 pre-vote 防线做成可运行断言:分区节点反复尝试竞选,却既拿不到法定预投票、也不递增任期,主集群选举完全不受干扰。

模拟器细节:TestNetworkPartitionMajorityArbitration 用 SetPartition 以 (a<3)!=(b<3) 为分区函数,把消息空间切成「a、b 都小于 3」与「a、b 都大于等于 3」两片互不可达的区域;TestPreVoteQuarantine 的分区函数把所有涉及 4 的消息丢弃。pre-vote 在 sim.go 的 prepareElection 里实现:Follower 超时先广播 MsgPreVote(携带拟用任期、不递增当前任期),只有 preVoteGranted 达到多数派才真正 startElection 递增任期——节点 4 被隔离后永远收不到 MsgPreVoteResponse,preVoteGranted 停在 1(只投自己),于是任期停在初始值,不越过 1。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图