3.1 节点选择器与亲和/反亲和过滤
调度循环的「选择」阶段,第一刀是 Filter(硬约束):把不满足条件的节点直接淘汰,剩下的才进入评分。Filter 里最常见的一族约束是「这个 Pod 只能去哪些节点」——由节点上的 label 决定。
本节讲三种「节点匹配」硬约束:nodeSelector(最简单)、nodeAffinity 的 required 语义(表达式匹配)、podAntiAffinity(把「不要和谁同节点」变硬约束)。它们都是 Filter 阶段的插件,共同点是不满足即淘汰。
nodeSelector:朴素的键值匹配
nodeSelector 是 K8s 最古老的节点约束,语义极简:节点必须带有指定的 label,且值匹配:
spec:
nodeSelector:
gpu: "true" # 节点必须有 gpu=true 这个 label
Filter 对它就是一次 map 查询:node.labels[gpu] == "true" 才通过。没有表达式、没有范围、没有「或」,只有「且」——多个键值对是 AND 关系,全部匹配才通过。
lab 的 NodeSelector 过滤器就是这条:if n.Labels[p.NodeSelector] != "true" { return "selector" }。因为语法简单,它适合「按环境/硬件/地域打标」的朴素分组,但表达能力有限——想表达「gpu=true 或 gpu=A100」就得用 affinity。
nodeAffinity:表达式的匹配
nodeAffinity 比 selector 表达力强得多。它有两种子类型:
- requiredDuringSchedulingIgnoredDuringExecution:硬约束,调度时必须有节点匹配;运行期忽略(label 后来变了不管)。——Filter 阶段。
- preferredDuringSchedulingIgnoredDuringExecution:软偏好,匹配得高分;不匹配也允许调度。——Score 阶段(第 4 章)。
required 的匹配是表达式:
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: gpu
operator: In
values: ["true", "A100"]
nodeSelectorTerms 列表是 OR(任一 term 匹配即可),term 内多个 matchExpressions 是 AND(全部匹配)。这是与 nodeSelector(纯 AND)的关键差异:selector 是 AND,affinity 是 OR-AND 两级。lab 的 Affinity 过滤器为教学把多个要求的 label 当 AND 处理,方向一致(K8s 的复杂 OR 组合留给读者扩展)。
podAntiAffinity:把「不要同节点」变硬约束
podAffinity/podAntiAffinity 的约束对象不是节点 label,而是其他 Pod。反亲和表达「不要和这类 Pod 在同一个节点(或区域)上」:
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
app: cache
topologyKey: kubernetes.io/hostname # 同一节点视为冲突
它的分布式语义很关键:反亲和要查『其他 Pod 分布在哪』——调度器要从 Pod informer 缓存里找所有带 app=cache 的 Pod,看它们的节点,再判断候选节点上是否已有此类 Pod。这是一个跨 Pod 的查询,依赖调度器维护的全局 Pod 视图(1.2 节)。
为什么反亲和是「硬约束」会带来争议:requiredDuringScheduling 表示「找不到不与 cache 同节点的节点,这个 Pod 就不调度」。这会直接导致 Pending,甚至互相死锁——两个反亲和 Pod 都要求「不与对方同节点」而节点只剩一个时,谁也调度不上。这是硬约束的代价:严格就要接受失败。
硬约束的执行顺序
Filter 阶段按插件顺序执行,但对结果而言顺序不影响(都是 AND——全部通过才算可行)。执行顺序的意义在于效率与错误信息:
- 廉价过滤器(label 查询)先跑,昂贵过滤器(资源计算、反亲和查询)后跑——尽快淘汰,少算。
- 失败原因要准确(
didn't match Pod's node affinity),用户才排得了障。
lab 的 Chain.Run 顺序执行全部过滤器并收集所有失败原因——对每个候选节点,失败的过滤器全部列出,方便观测「这个节点为什么不行」。
为什么这些必须是 Filter 而不是 Score
一个设计判断题:节点匹配类约束为什么不进评分(选「最匹配」的节点)而是过滤(淘汰「不匹配」的)?答案在 1.1 节的形式化里:硬约束是不可违反的。
- 把 Pod 放到没有 gpu 的节点,应用直接跑不起来——这不是「差一点」的问题。
- 把反亲和 Pod 与同类放在同节点,可用性承诺(分散到不同故障域)被破坏——这是「错」不是「不够好」。
Filter/Score 的分工原则:违反即错的进 Filter,好坏的进 Score。判断标准是「可不可接受」。这个原则在第 4 章还会反复用到。
亲和与反亲和的对称性
podAffinity 与 podAntiAffinity 是同一枚硬币的两面:
- 亲和:「和这类 Pod 尽量/必须在同一处」——把依赖紧密的 Pod 放一起(低延迟、共享卷)。
- 反亲和:「和这类 Pod 尽量/必须不在一处」——把副本分散开(高可用、故障隔离)。
对称性体现在 Filter 里,它们互为补集:
亲和过滤:候选节点上必须已有(或满足条件)目标 Pod
反亲和过滤:候选节点上必须没有目标 Pod
lab 用 AntiAffinity 展示反亲和侧:目标节点带 AntiAffinityLabel 即拒绝。真实实现要查 Pod 分布(哪些节点上有目标 Pod),比节点 label 查询贵——这也是为什么反亲和放 Filter 里是「查询成本高的硬约束」,调度器要维护全局 Pod 视图才能算。
label 的设计规范:命名的前提
亲和、反亲和、拓扑约束都建立在 label 上。label 设计决定了这些机制好不好用:
| 规范 | 例子 | 理由 |
|---|---|---|
| 语义化命名 | zone=us-east-1a 而非 node01 | 内容寻址才有意义 |
| 分层组织 | topology.kubernetes.io/zone、topology.kubernetes.io/region | 与内置拓扑 key 兼容 |
| 稳定不变 | 环境/硬件类 label 一次打定 | 亲和约束依赖稳定键值 |
| 避免动态值 | 不用「当前负载」当 label | label 是属性不是状态 |
一个反例:把节点 IP 当 label 写进亲和,节点一换就全错——label 表达「节点是什么」,不表达「节点此刻怎么样」。前者稳定可约束,后者应走状态上报(第 10 章)。label 规范是 3.1 节所有机制的底层地基。
required vs preferred 的四种组合
亲和/反亲和的 required/preferred 与 亲和/反亲和 两个维度交叉,构成四种表达,语义各不相同:
| 组合 | 语义 | 例子 |
|---|---|---|
| required + affinity | 必须和这类 Pod 同处 | 依赖有状态服务的 Pod 必须放同一节点 |
| required + antiAffinity | 必须和这类 Pod 不在一处 | 副本必须分散到不同节点 |
| preferred + affinity | 尽量同处,不满足也调度 | 偏好放低延迟节点 |
| preferred + antiAffinity | 尽量不在一处,不满足也调度 | 默认分散倾向 |
为什么两种 preferred 的存在有意义?「尽量」表达的是软性权衡——既想分散、又不想因为分散而拒绝调度。真实集群里 preferred + antiAffinity 是最常用的:PodTopologySpread 默认就是这个语义(第 6 章展开)。
一个设计口诀:required 是承诺(违反即失败),preferred 是倾向(违反扣分)。用错了层级,要么调度过严(required 滥用导致 Pending),要么保证落空(preferred 当承诺用,以为一定分散实际可能集中)。
三个常见误解
- 「nodeSelector 和 nodeAffinity 是一回事」——错误。selector 是纯 AND 的键值匹配;affinity 的 required 是 OR-AND 两级表达式,且还有 preferred(软偏好)形态。selector 只是 affinity 的一个特例。
- 「反亲和是软性的,只是尽量不放在一起」——错误。
requiredDuringScheduling的反亲和是硬约束,不满足就不调度;preferred才是软的。名字里的 required/preferred 是判断硬软的开关。 - 「亲和只看节点当前状态,运行期也会强制」——错误。
IgnoredDuringExecution明确表示:调度时是硬约束,运行期忽略——节点 label 后来变了不会驱逐已调度的 Pod。这是「调度时点快照」语义,与卷二「apply 返回 ≠ 已生效」一脉相承。
节点匹配约束的分布式本质
把三种约束放回分布式系统的视角:
- nodeSelector/affinity 是「内容寻址」:不指定具体节点,而指定「带什么属性的节点」——节点池随故障、扩缩变化,内容寻址天然适应。
- 反亲和是「分布式放置」:把副本分散到不同故障域是分布式系统的基本可用性手段,K8s 把它做成约束原语,调度器用全局视图保证分散。
这两种机制背后都是同一个理念:调度器不关心具体机器,关心机器携带的属性与相互位置——这正是「把分布式系统部署问题表达成约束满足问题」的体现。
一句话总结本节
节点匹配类硬约束收成三个要点:
- 三种表达三种强度:nodeSelector 是纯 AND 键值匹配,nodeAffinity required 是 OR-AND 表达式,podAntiAffinity required 是跨 Pod 查询的硬分散。
- required 是承诺、preferred 是倾向:违反 required 即失败,违反 preferred 只扣分——用错层级要么过严要么落空。
- 内容寻址与分布式放置:按属性选节点、把副本分散到故障域,是分布式可用性的约束原语。
下一节讲方向相反的机制:节点用污点拒绝 Pod 的 Taint/Toleration 匹配算法。
本节 lab
本节把三类节点匹配硬约束落到 filter/filter.go:NodeSelector(键值匹配)、Affinity(多个要求的 label 全存在)、AntiAffinity(目标节点不得带某 label):
cd private/labs/k8s-sched-lab
go test ./filter -run 'TestNodeSelector|TestAffinityAntiAffinity' -v
两个用例覆盖:TestNodeSelector(gpu label 匹配通过、缺失拒绝)、TestAffinityAntiAffinity(亲和 label 齐全通过、反亲和命中拒绝)。这正是本节「selector 是 AND、亲和要齐全、反亲和命中即拒」的最小验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。