《Kubernetes 分布式系统原理深入解析》8.1 Quorum 类拓扑约束

多数派复制组的副本分布必须保证任意单故障域失效后仍过多数派:副本跨 zone 分布满足、副本集中同 zone 失败、两副本边缘场景是同一算术的三个面。本节用 topologySpreadConstraints 与 PodDisruptionBudget 表达 Quorum 拓扑约束,lab 用 stateful 包的 QuorumTopology 验证三种分布的多数派判定。

8.1 Quorum 类拓扑约束

第 7 章把卷生命周期讲完,数据有了「存储位」。但多数有状态系统的数据不是一份,而是复制组:同一份数据持有多个副本,副本之间靠多数派(quorum)达成一致。于是「副本放在哪」成了存储之后第一个必须回答的分布式问题——把副本集中在一个 zone,等于把多数派和这个 zone 的命绑在一起。这就是本节的 Quorum 类拓扑约束。

多数派算术:N 副本需要几个活着

复制组能继续写,靠的是「多数派成员可互相通信」。多数派的数量定义是严格超过一半:

副本数 Nquorum = N/2+1可容忍同时故障副本数
220
321
431
532

注意 4 副本的 quorum 是 3,与 3 副本相同——多买一个副本并没有多买一点容错。这就是大多数复制组选 3 或 5 而不选 2 或 4 的算术原因:偶数副本只增加了同步与存储成本,没有换来更高的故障容忍度。这也是 8.1 一切讨论的出发点:副本数决定 quorum,quorum 决定「最少要留下几个」。

拓扑约束的本质:任意单故障域失效仍过多数派

「副本有 N 个」不等于「集群能坏 N-1 个」。因为故障是有拓扑相关性的:同一个 zone 宕机,该 zone 上的所有副本一起失联。于是 Quorum 类拓扑约束的形式化判定只有一条:

对复制组的副本分布,任意移除一个故障域(zone)后,剩余副本数仍 ≥ quorum。

再补一条前提:分布必须覆盖至少 2 个故障域——否则一个域承载全部副本,该域失效即全灭,谈不上多数派。

本节 lab 的 QuorumTopology.SatisfiesQuorum() 就是这条判定的直接翻译:先查覆盖域数,再遍历每个 zone,若 Replicas - 该zone副本数 < quorum 就返回 false。把「zone 数 + 每 zone 副本数」喂进去,返回「能否抗单域故障」——这是本节反复使用的最小模型。

三种典型分布:满足、失败与边缘

同一个算术套到三种分布上,恰好得到三种判定结果:

副本分布quorum最坏单域失效后剩余判定
3 副本分 3 域(1/1/1)22满足
3 副本挤 2 域(2/1)21不满足
2 副本分 2 域(1/1)21不满足(边缘)
  • 跨 zone 分布(1/1/1):任意一个 zone 挂掉,剩余 2 个副本仍等于 quorum,复制组继续可写。这正是 etcd、Cassandra 这类复制组期望的放置。
  • 集中分布(2/1):承载 2 个副本的那个 zone 一挂,剩余 1 个副本 < quorum 2,复制组立即失去写能力。单 zone 宕机即失多数派——不是「坏了一个副本」,而是「坏了一个故障域」。
  • 两副本边缘(1/1):2 副本的 quorum 本来就是 2,两个 zone 任何一个失效都只剩 1 个。所以两副本只提供「读冗余 / 故障转移的靶子」,不提供「多数派可用性」。

三行对应 lab 的三个测试。理解这三行,就理解了为什么很多数据库在 3 个 zone 各放一个副本,而不是把副本堆在一个 zone 里「省跨区带宽」。

在 K8s 里怎么表达:topologySpreadConstraints

K8s 原生用来表达「副本跨故障域摊开」的机制是 topologySpreadConstraints(Pod 调度软约束之上的硬约束):

topologySpreadConstraints:
  - maxSkew: 1
    minDomains: 3
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector:
      matchLabels:
        app: quorum-app

逐字段对应到本节语义:

字段含义对应本节
topologyKey: topology.kubernetes.io/zone按 zone 维度摊开故障域 = zone
maxSkew: 1任意两 zone 的副本数差 ≤ 1不允许出现 2/1 的集中
minDomains: 3至少覆盖 3 个 zone保证跨域
whenUnsatisfiable: DoNotSchedule放不下就不调度硬约束,宁缺毋滥

DoNotSchedule 是 Quorum 场景的关键选择:宁可让 Pod 卡在 Pending,也不允许它落进一个打破多数派分布的节点。若改用 ScheduleAnyway,调度器会在满足 maxSkew 的约束内尽量摊,但不保证——对强一致复制组,这通常不可接受。

PDB:中断窗口的保险

topologySpreadConstraints 管「调度时怎么放」,但运行期的副本数还要另一张网兜底——PodDisruptionBudget(PDB):

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: quorum-app-pdb
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: quorum-app

PDB 与拓扑分布互补:拓扑分布回答「副本在哪」,PDB 回答「自愿中断(节点维护、池缩容)时最少能剩几个」。minAvailable: 2 直接写的就是 quorum——voluntary disruption 不能把副本降到多数派以下。真实集群里两者缺一不可:只有 PDB 没有拓扑分布,节点维护时没问题,但一个 zone 宕机照样全灭;只有拓扑分布没有 PDB,滚动维护可能恰好把 3 个副本里的 2 个同时停掉。

单 zone 宕机的连锁反应

把判定语义展开成一条故障时间线,就明白为什么这是「拓扑」问题而非「副本数」问题:

  1. zone A 宕机,其上副本全部失联。
  2. 若 zone A 承载 ≥ quorum 个副本,剩余副本 < quorum,复制组失去写能力。
  3. 恢复路径只有两条:等 zone A 回来,或由外部仲裁把副本迁移到其他 zone 重建多数派(后者在 8.3 节 Operator 的 failover 里展开)。
  4. 拓扑分布正确的组则直接跳过第 2 步:zone A 挂掉,剩余副本仍 ≥ quorum,读写在其余 zone 继续。

这条时间线说明一个容易被忽略的事实:单 zone 宕机对「正确分布的组」是容量损失,对「集中分布的组」是可用性损失。同样的副本数、同样的故障,结果差一个量级。

故障域的粒度:zone 与 hostname

「一个故障域」到底取多大,决定了约束的松紧。K8s 内置两组 topologyKey 最常用:

topologyKey故障域粒度对应故障例子
topology.kubernetes.io/zone可用区区域断电、区域网络3 副本各放一个 zone
kubernetes.io/hostname单节点单机宕机、磁盘坏副本摊到不同节点

对 Quorum 复制组,正确做法通常是两级都要:跨 zone 保证「区域级故障不失多数派」,zone 内跨节点保证「单节点意外不掉一个域」。只跨节点不跨 zone,一个 zone 宕机照样全灭;只跨 zone 不跨节点,两个副本可能恰好落在同一节点,一次单机故障就打掉两个域。

topologySpreadConstraints 一个 constraint 只能写一个 topologyKey,所以两级放置要叠两个 constraint(K8s 1.19+ 支持多个),或用一个 spread 约束 + 一个反亲和:

topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: topology.kubernetes.io/zone
    whenUnsatisfiable: DoNotSchedule
    labelSelector: { matchLabels: { app: quorum-app } }
  - maxSkew: 1
    topologyKey: kubernetes.io/hostname
    whenUnsatisfiable: DoNotSchedule
    labelSelector: { matchLabels: { app: quorum-app } }

注意 zone 级约束隐含了节点级需求的一部分:maxSkew: 1 摊到 3 个 zone,若一个 zone 内只有一个节点,它自然迫使副本落在不同节点上。但 zone 内节点很多时,必须显式加 hostname 级约束,否则调度器可能把同 zone 的两个副本放同一节点。

跨域复制的代价:quorum 跨 zone 的延迟账

拓扑约束摊开副本不是免费的。副本跨 zone 意味着每次提交都要跨 zone 往返:leader 在 zone A,follower 在 zone B/C,一次 quorum 写入的 RTT 等于「最慢的那个多数派成员」的网络往返。设计时要算这本账:

部署形态单次写延迟抗故障能力
单 zone 内 3 副本同 zone RTT(亚毫秒级)只抗节点级故障
跨 3 zone 3 副本跨 zone RTT(毫秒级)抗区域级故障

这本账没有免费午餐:要抗 zone 级故障,就要付跨 zone 的网络延迟与带宽成本。很多系统的折中是「同区域双 zone + 异地一个仲裁副本」,或把读走本地副本、只让写跨区(读写分离把延迟压到写路径上)。Quorum 拓扑约束只回答「副本在哪」,「每次写要多付多少延迟」是它直接定价的——规划跨 zone 复制前,先把 RPO/RTO 与延迟预算一起算(第 9.2 节展开)。

放置校验:上线前的检查清单

给一个多数派复制组设计放置时,按顺序过这几条:

  • 副本数选了奇数(3/5),避开偶数副本的「加副本不加容错」陷阱。
  • 覆盖的 zone 数 ≥ 2,且任意 zone 上的副本数 ≤ N - quorum。
  • topologySpreadConstraints 用 DoNotSchedule 而非 ScheduleAnyway。
  • minDomains 与实际 zone 数一致,避免 maxSkew 空转。
  • zone 内副本用 hostname 级约束再摊一层,避免两个副本落同一节点。
  • PDB 的 minAvailable ≥ quorum,且与拓扑约束同标签选择器。
  • 单 zone 故障演练验证过「剩余副本 ≥ quorum」这条判定,并实测过跨区写延迟预算。

三个常见误解

  • 「副本数多就等于可用性高,3 副本放同一个 zone 也能坏两次」——错误。故障是拓扑相关的,同一个 zone 的副本同时失效;3 副本集中放,一个 zone 宕机就只剩 1 个,低于 quorum 2,直接失写。
  • 「2 副本分两个 zone,任何 zone 挂了还有 1 个副本能继续服务」——错误。2 副本的 quorum 是 2,任何单域失效都低于多数派;两副本只有故障转移目标,没有多数派可用性。
  • 「PDB 和 topologySpreadConstraints 只要配一个就行」——错误。两者管不同阶段:拓扑分布管调度期放置,PDB 管运行期自愿中断;Quorum 组两者都要配齐。

一句话总结本节

Quorum 类拓扑约束是多数派算术在「放置」上的投影:副本必须分布在足够多的故障域,且任意单域失效后剩余副本仍 ≥ quorum。用 topologySpreadConstraints 管调度期摊开、用 PDB 管运行期兜底,而判定能否抗单域故障,只需 N - max(单域副本数) ≥ quorum 一行算术。

下一节把这个「复制组」落到更细的粒度:当数据被拆成分片、每片多副本时,K8s 如何用 CRD 表达这个分片与副本结构。

本节 lab

本节三个测试落在 stateful 包的 QuorumTopology.SatisfiesQuorum() 上,一一对应上面那张「满足、失败、边缘」表:

cd private/labs/k8s-net-lab
go test ./stateful -run TestQuorumAcrossZones -v
go test ./stateful -run TestQuorumConcentrationFails -v
go test ./stateful -run TestQuorumTwoZoneEdge -v
  • TestQuorumAcrossZones:构造 3 副本分 3 域(各 1 个),断言 SatisfiesQuorum() 为真——对应「跨 zone 分布满足多数派」。
  • TestQuorumConcentrationFails:构造 3 副本挤 2 域(2/1),断言 SatisfiesQuorum() 为假——对应「副本集中同 zone,单 zone 宕机即失多数派」。
  • TestQuorumTwoZoneEdge:构造 2 副本分 2 域(1/1),断言 SatisfiesQuorum() 为假——对应「两副本边缘场景,任一域失效低于 quorum」。

三个测试各 1 个断言,运行见 ok k8s-net-lab/stateful。这就是把「任意单故障域失效仍过多数派」这一条判定固化成最小可运行验证的样子——后续 8.2 分片、8.3 故障转移都在这个判定之上叠加。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图