《Kubernetes 分布式系统原理深入解析》6.1 topologySpreadConstraints 与跨故障域

topologySpreadConstraints 把『一批 Pod 当作整体,按故障域计数均衡』:在拓扑键划分的域上,任意两域匹配 Pod 数之差不超过 maxSkew,DoNotSchedule 下违反即不可调度。本节逐个讲解 labelSelector/topologyKey/maxSkew/minDomains/whenUnsatisfiable 五个字段,对比 nodeAffinity 与反亲和的本质区别(域计数而非单节点),并用可用区/机架/主机三层示例说明取舍。lab 用 topology 包的 Feasible 验证 maxSkew 硬约束与 minDomains 的『空域优先』基准。

6.1 topologySpreadConstraints 与跨故障域

前三章讲的约束都是「单节点视角」:这个节点有没有资源、符不符合亲和、有没有未容忍的污点。本节换一个维度:把一批 Pod 当作一个整体,按「故障域」计数并均衡。topologySpreadConstraints 就是 K8s 表达「跨故障域分散」的原生机制,也是第 6.2 节算法的字段载体。

为什么需要跨故障域分散

高可用与成本容量是一对矛盾,分散是对它的直接回答:

  • 高可用:一个可用区断电、网络分区或硬件故障,副本全在那一区就全部不可用。把 N 个副本分散到 N 个域,单域故障最多损失 1/N。
  • 成本与容量:域越多,可能引入跨可用区的流量计费与延迟;域太少,单个域可能放不下全部副本(单域容量上限)。
  • 取舍:不是「副本越多域越好」,也不是一律 maxSkew=1。无状态 API 服务值得严格分散,批处理或强本地性负载要松一些。

具体数字场景:一个 3 副本 API 服务全放同一个可用区,该区故障时 3 个副本同时失联;分散到 3 个区后,单区故障仍剩 2/3 副本承接流量。分散的收益是「故障损失按域数摊薄」。

字段速查表

一个 topologySpreadConstraints 列表可以包含多个约束,每个约束是如下结构:

字段类型含义与要点
topologyKeystring划分拓扑域的节点 label key;每个 label value 是一个域
labelSelectorLabelSelector参与计数的匹配 Pod;缺省用当前 Pod 自身的 label
maxSkewint任意两域匹配 Pod 数之差上限;DoNotSchedule 时违反即不可调度
minDomainsint最小覆盖域数;缺省 1;不足时按「还有空域」处理(优先放空域)
whenUnsatisfiableDoNotSchedule / ScheduleAnyway硬约束拒绝,或软约束打分
matchLabelKeys 等进阶字段精确计数口径、节点子集与污点豁免(较新版本 GA)

最常用的是前五行。topologyKey 决定了「域」的粒度:topology.kubernetes.io/zone 是按可用区,kubernetes.io/hostname 是按单机,自定义 label 可按机架、机房、租户。

与 nodeAffinity / 反亲和的本质区别

很多读者分不清「拓扑分散」与「亲和/反亲和」,核心差异是计数对象与目标:

机制计数对象目标硬/软
nodeAffinity节点 label挑「符合标签」的节点required / preferred
podAntiAffinity被选 Pod 的拓扑分布避开指定 Pod 所在域required / preferred
topologySpreadConstraints匹配 Pod 的域内计数各域计数均衡DoNotSchedule / ScheduleAnyway
  • nodeAffinity 不关心其他 Pod:声明节点 label 条件,与「集群里已经有多少 Pod」无关。
  • 反亲和是「排除」:requiredDuringScheduling 反亲和要求「目标域内没有被选 Pod」,本质是禁止同域共存,不是「各域数量差不多」。
  • spread 是「均衡」:它统计每个域内的匹配 Pod 数,约束任意两域之差。一个域允许有多个 Pod,只要不比其他域多出 maxSkew 太多。

最直观的例子:3 副本且 maxSkew=1 的 spread,允许 z1=2、z2=2、z3=1;而 required 反亲和只能做到「每域最多 1 个」。spread 表达的是「数量均衡」,反亲和表达的是「禁止共存」。

硬约束语义:maxSkew 违反即不可调度

whenUnsatisfiable: DoNotSchedule 时,spread 是一个硬 Filter。判定式可以写成:

候选节点所属域 d,放入新 Pod 后:
  若 d 的计数 + 1 > 全局最小 + maxSkew,则 d 内所有节点均不可调度

其中「全局最小」是所有已覆盖域的计数最小值;当覆盖域数不足 minDomains 时按 0 计(下节详述)。违反的直接后果是 Pod 进入 Unschedulable 队列,等待后续事件触发重新调度——它不会在 Score 阶段被「将就」地放下去。

一个具体例子:maxSkew=1、z1=2、z2=2,新 Pod 想放 z1。放进去后 z1=3,全局最小是 2,3 > 2+1 成立,z1 不可行。想让 Pod 落位,只能放 z2 或其他更空的域。

minDomains:最小覆盖域数

minDomains 缺省是 1,意思是「只要有一个域有 Pod,全局最小就按实际最小计」。它的意义出现在匹配 Pod 还很少、域还没铺开的阶段:

  • 若 minDomains=3,而当前只有 z1 有 1 个匹配 Pod,覆盖域数(1)< 3,全局最小按 0 计。
  • 于是把 Pod 放进 z1 会得到计数 2,2 > 0 + maxSkew(1),z1 不可行;放进空域 z2 或 z3,1 ≤ 0 + 1,可行。
  • 结论:覆盖域不足时,空域天然获得最高优先级。分散不是「等 Pod 多了再均衡」,而是「一开始就铺开」。

这正是 lab 里 Feasible 的逻辑:len(d) >= c.MinDomains 时才取真实最小,否则 min=0。设置一个等于期望域数的 minDomains,等于告诉调度器「请先把副本铺满这些域,而不是先堆到一个域」。

跨可用区 / 机架 / 主机三个层级

同一个机制,换 topologyKey 就是换故障域粒度:

层级topologyKey典型场景注意事项
可用区topology.kubernetes.io/zone高可用、跨域计费副本数大于域数时 maxSkew=1 会无法满足
机架自定义 topology.kubernetes.io/rack单机架交换机故障需要运维给节点打 label
主机kubernetes.io/hostname单机故障粒度最细,Pod 越多越难维持
  • 可用区层:云上标准用法。3 副本配 3 个可用区、maxSkew=1,任一区故障只损失 1 个副本。若副本数(10)大于域数(3),maxSkew=1 意味着每域最多约 3~4 个,否则无法满足——这时要调大 maxSkew。
  • 机架层:自建机房。把批处理任务分散到不同机架,避免单机架的网络设备故障带走整个任务组。
  • 主机层:与「两个副本不同宿主机」等价,但用 spread 可以精确表达 maxSkew=0(绝对均衡)。

三层不是互斥的:可以同时声明 zone 与 hostname 两个约束,列表里的约束全部满足才可调度(AND 关系)。

whenUnsatisfiable:两种模式的分工

whenUnsatisfiable 决定「找不到满足 maxSkew 的节点时怎么办」,这是 spread 从「硬约束」切换到「软偏好」的开关:

  • DoNotSchedule(硬):把 spread 当作 Filter。找不到可行节点就保持 Pending、进 Unschedulable 队列等待重试。适合高可用敏感、分散是强需求的工作负载。
  • ScheduleAnyway(软):把 spread 当作 Score 的一部分。总能调度,但「域计数越不均衡得分越低」。适合分散「最好有」、但不能因此阻塞调度的负载——比如副本数大于域数、无论如何都不可能均衡时。

同一个约束内两种模式是互斥的;多个约束可以混合——一个 DoNotSchedule 负责「必须铺开」,另一个 ScheduleAnyway 负责「尽量均衡」。注意硬约束的代价:一个严格的 maxSkew 在副本数波动时可能让调度频繁失败,把硬约束留给真正不可妥协的目标。

配置示例与 labelSelector 计数口径

一个真实的约束清单长这样:

topologySpreadConstraints:
- maxSkew: 1
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: DoNotSchedule
  labelSelector:
    matchLabels:
      app: web
- maxSkew: 1
  topologyKey: kubernetes.io/hostname
  whenUnsatisfiable: ScheduleAnyway
  labelSelector:
    matchLabels:
      app: web

labelSelector 决定「哪些 Pod 参与计数」:它匹配的是已经调度到集群里、同样 label 的 Pod,而不是「同一 Deployment 的所有副本」。缺省时用当前 Pod 的 label 计数——这意味着没有显式 labelSelector 的约束,会把所有带相同 label 的 Pod 一起计数,跨多个 Deployment。显式写 matchLabels 是更可控的口径:

  • 计数包含:域内节点上、phase 不是 Succeeded/Failed、匹配 labelSelector 的已调度 Pod。
  • 计数排除:被抢占中、未调度、已结束的 Pod。
  • 多副本工作负载:把 app: web 作为公共 label,Deployment/StatefulSet 天然共享计数。

决策清单:什么时候用 spread

选不选 spread、怎么配,按下面清单快速决策:

条件建议
无状态、水平扩展、高可用敏感用 DoNotSchedule + zone 层,maxSkew=1
副本数 ≤ 域数严格均衡可行,maxSkew 可设 1 甚至 0
副本数 > 域数放宽 maxSkew 或改用 ScheduleAnyway
有状态、单实例(DB 主节点)别用 spread,用反亲和 + PDB 更合适
批处理、对位置不敏感ScheduleAnyway,避免阻塞
跨域流量计费敏感zone 层 + 第 6.3 节的路由亲和配合
单域集群(无 zone label)spread 无意义,直接跳过

原则:硬约束只用于「分散失败 = 不可接受」的场景;其余一律 ScheduleAnyway,把分散当成加分项而不是门槛。

三个常见误解

  • 「topologySpreadConstraints 和反亲和一样,都是让副本不在同一节点」——错误。反亲和是「排除被选 Pod 所在域」,spread 是「域间计数均衡」。hostname 层的 spread 只是它的一种特例,zone 层的 spread 与反亲和语义完全不同。
  • 「maxSkew 越大越分散」——错误。maxSkew 是「允许的最大差」,越大越不均衡;maxSkew=0 才是绝对均衡。
  • 「一个列表里的多个约束只要满足一个就行」——错误。所有约束都要满足(AND);DoNotSchedule 下任一约束违反都不可调度。

与节点数、副本数的数量约束

理解 spread 时要同时盯住三个数:域数、副本数、maxSkew。它们之间的数量关系决定约束是否「可满足」:

  • 副本数 ≤ 域数 × (maxSkew+1) 附近时,maxSkew=1 才可持续满足。
  • 域数固定后,副本数继续增长必然抬高全局最小,每一域的容纳上限是「全局最小 + maxSkew」。
  • 扩容前先心算:域数 × 每域容量 ≥ 期望副本数,否则要么放宽 maxSkew,要么增加域(加节点并在对应拓扑键上打 label)。

这三者的关系也是第 6.2 节打分算法里「全局最小」不断抬升的根源——分散的收益随副本增长而递减,这就是为什么生产里常把无状态服务的副本数与可用区数设计成倍数关系。

本节 lab

本节把「maxSkew 硬约束」与「minDomains 空域优先」落到 topology 包:Domain(域计数)、Constraint(约束字段)、Feasible(硬约束判定):

cd private/labs/k8s-sched-lab
go test ./topology -run 'TestFeasibleSkewExact|TestMinDomainsBaseline' -v

topology 包共 5 个用例,这里跑其中两个(共 4 个断言):TestFeasibleSkewExact 验证 z1=z2=z3=2 时 maxSkew=1 可行、maxSkew=0 不可行——正是「放置后计数 ≤ 全局最小 + maxSkew」的边界;TestMinDomainsBaseline 验证只覆盖 2 个域而 minDomains=4 时,已覆盖域不可行、空域 z3 可行——正是「还有空域就优先放空域」的基准。两个用例合起来精确复现本节的核心判定式。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图