3.3 资源可分配、端口与卷冲突过滤
3.1/3.2 节的硬约束是「匹配类」——label 在不在、污点容不容忍,是布尔判断。Filter 阶段还有另一族硬约束是「占用类」——资源够不够、端口撞不撞、卷能不能挂,是量与唯一性的判断。
这族约束回答的问题是:即使 label 全匹配,这个节点现在装得下这个 Pod 吗。装不下、会撞、会双挂,都是硬失败。本节拆这三类检查:资源可分配(量)、hostPort 冲突(唯一性)、卷冲突(单写性)。
资源可分配:request 必须 ≤ 剩余量
调度的资源约束看的是 requests(不是 limits)。语义:
node.allocatable = node.capacity - systemReserved - evictionThreshold
剩余量 = allocatable - Σ(已调度 Pod 的 requests) - Σ(自己预扣的)
可调度 ⟺ Pod.requests ≤ 剩余量
三个细节值得展开:
- requests 是调度依据:调度器只保证「请求的量」被满足,不管实际用多少——实际可能远超(超卖,第 8 章)。
- allocatable 不是 capacity:节点要给自己留操作系统、kubelet、eviction 余量。第 8.1 节详述。
- 剩余量 = allocatable - 已调度 requests:调度器用自己缓存里的 Pod 占用算(预扣机制,1.2 节),不实时问 kubelet——视图滞后下可能超售,但 K8s 把它当作「可接受的过度承诺」。
lab 的 ResourceFit 就是核心判断:剩余CPU ≥ p.CPU && 剩余Mem ≥ p.Mem。CPU 与内存是独立判断的两条线——CPU 不够或内存不够任一不满足即失败(AND)。
为什么是 requests 而不是 limits
一个常被问错的问题:为什么不按 limits 约束调度?
- requests 是「保留」:调度器按 requests 预留,保证 Pod 至少能拿到这么多。
- limits 是「上限」:超过可被限制/驱逐(CPU 节流、内存 OOM),但调度时不需要预留。
按 limits 调度会导致资源大面积浪费(limits 常设得比 requests 高很多)。K8s 的取舍是:调度看保留(requests),运行看上限(limits)。这个区分是第 8 章资源模型的入口,本节先确立「调度只用 requests」这个事实。
hostPort 冲突:端口的唯一性
hostPort 让 Pod 直接占节点的某个 TCP/UDP 端口:
spec:
containers:
- name: web
ports:
- containerPort: 8080
hostPort: 18080 # 占用节点的 18080
两个 Pod 要占同一个节点的同一个 hostPort,必然冲突——同一节点上端口是唯一的。Filter 的 PortConflict 就是查候选节点已占用的端口列表:
可调度 ⟺ 请求的所有 hostPort ∉ 节点已占用端口集合
这个检查是本地唯一性:只在节点内判重。跨节点没关系(不同节点可以都有 18080)。hostPort 会限制调度密度(一个节点只有一个 Pod 能用某端口),所以现代 K8s 多用 NodePort/Service 替代——但理解它的 Filter 语义仍是端口类约束的基础。
卷冲突:单写卷不能双挂
某些卷类型是单写者(ReadWriteOnce):同一时刻只能挂到一个节点。Filter 的 VolumeConflict 检查候选节点上是否已挂载了 Pod 要用的同一个卷:
可调度 ⟺ 请求的每个卷 ∉ 节点已挂载的同名单写卷集合
为什么这要在调度阶段检查?因为卷的「单节点性」是调度决定的:把两个挂同一 RWO 卷的 Pod 放到同一节点,第二个直接挂不上(kubelet 报错);放到不同节点,卷根本没法同时满足两个节点。卷约束要把「会双挂」的配对在调度时就排除。
真实的卷调度比 lab 复杂(volume binding mode、拓扑约束、PV 与节点亲和),lab 的 VolumeConflict 是「同名单写卷即冲突」的最小模型——足够展示「单写卷决定 Pod 分布」的核心语义。
三类约束的共性:防止「起不来」
把资源、端口、卷三类硬约束放一起看,它们的共性极其朴素:这几种情况一旦发生,Pod 是物理上起不来的:
| 约束 | 违反后果 |
|---|---|
| 资源不足 | kubelet 无法满足 requests,容器可能无法调度到 CPU/内存 |
| 端口冲突 | 第二个 Pod 绑定端口失败,容器启动失败 |
| 卷双挂 | RWO 卷第二个挂载点失败,数据访问错乱 |
硬约束的本质就是「违反即运行失败」。而 Score 处理的是「都运行得了,选哪个更好」——这就是 Filter 必须严格、不能放水到 Score 的理由。凡是会直接导致运行失败的,必须是 Filter。
资源请求的量化:为什么 CPU 用核、内存用字节
Filter 比较「请求 vs 剩余」必须基于统一单位。K8s 的资源单位是调度正确性的地基:
| 资源 | 单位 | 换算 |
|---|---|---|
| CPU | 核(可小数,100m = 0.1 核) | cpu = 1 个核心 |
| 内存 | 字节(1Gi = 1024³) | 与 1G(1000³)不同 |
| 扩展资源 | 整数个(如 GPU: 2) | 不支持小数 |
两个细节直接影响 Filter:
- CPU 可压缩:
100m请求可被超卖/节流,内存不可压缩(超了就 OOM)——这决定第 8/9 章对两者的不同处理。 - 扩展资源不支持小数:GPU 请求必须是整数,Filter 的剩余量比较也是整数——量化方式决定约束的表达能力。
lab 的 ResourceFit 用整数 CPU/Mem 简化,但方向忠实:Filter 的前提是统一的量化。排障时遇到「明明有资源却 insufficient」,先查单位换算(Mi vs M、m vs 核)——单位错位是最常见的资源类 Pending 原因。
调度器视图 vs kubelet 实际:双视角的差异
3.3 节说调度器按自己缓存的「已调度 requests」算剩余量。这个视图与 kubelet 的实际状态有两个系统性差异:
| 差异 | 调度器视图 | kubelet 实际 |
|---|---|---|
| 更新的来源 | 自己的缓存(预扣) | 节点状态上报 |
| 未上报窗口 | 已绑定未上报的 Pod 已被预扣 | kubelet 还没看到 |
| 非 Pod 占用 | 不感知(系统进程等) | allocatable 已扣除 |
结果:调度器的「剩余量」是一个乐观的估计——它假设预扣足够逼近真实。当两者严重偏差(如节点上有大量非 Pod 进程吃内存),会出现「调度器觉得够、kubelet 觉得不够」的 mismatch,表现为 Pod 启动后很快 OOM。
缓解方向是用 allocatable 而非 capacity:allocatable 已经把系统开销、驱逐阈值扣掉,缩小了「调度器估计 vs 实际可用」的差。第 8.3 节(cgroup v2)会看到更彻底的收敛手段。
扩展资源:GPU 等自定义资源的调度
K8s 允许节点声明扩展资源(GPU、FPGA、特殊硬件),调度器要能对它们做 Filter。扩展资源与 CPU/内存有两个关键差异:
| 维度 | CPU/内存 | 扩展资源(如 GPU) |
|---|---|---|
| 单位 | 可压缩、可小数 | 整数个 |
| 超卖 | 允许 | 不允许(不共享) |
| 节点声明 | 内建字段 | nvidia.com/gpu: 2 之类自定义 |
调度语义:Pod limits.nvidia.com/gpu: 1 会进入 Filter 的扩展资源检查——节点剩余 GPU ≥ 1 才通过。lab 的 ResourceFit 用整数 CPU/Mem 简化,但扩展资源就是「不可压缩 + 整数」的天然样本:Filter 对它们的比较是纯整数减法。
为什么扩展资源不支持超卖?GPU 是独占设备,两个 Pod 无法共享一个 GPU 核心(除非 MIG 虚拟化)。资源的『可压缩性』决定它的调度约束——可压缩资源超卖无害(CPU 节流),不可压缩资源超卖就是 OOM/竞争失败。这个区分是第 8 章资源模型的枢纽,扩展资源只是它的一个极端样本。
三个常见误解
- 「调度器按实际资源使用率安排 Pod」——错误。调度器按 requests(保留量)判断,不是按实时使用率。实际使用率由 metrics 采集(第 11 章 HPA 才用),不进调度决策。
- 「hostPort 是全局唯一的」——错误。hostPort 只要求节点内唯一;不同节点可以有相同的 hostPort。全局唯一性是 Service/NodePort 的语义,不是 hostPort 的。
- 「卷冲突只影响存储,不影响调度」——错误。单写卷(RWO)的双挂会直接导致挂载失败,所以调度器必须把卷冲突当硬约束,在 Filter 阶段排除「双挂同节点」的配对。
硬约束的判据清单
给调度插件开发(第 7 章)一个判据:一个约束该进 Filter 还是 Score?
- 违反它 Pod 是否无法运行(起不来、挂不上、数据错乱)?是 → Filter。
- 违反它只是不够好(负载不均衡、未分散、延迟略高)?是 → Score。
这个判据贯穿第 3、4 两章。资源、端口、卷都是「无法运行」,全进 Filter;负载、分散度都是「不够好」,全进 Score。边界偶尔模糊(如 PreferNoSchedule 把「尽量不」做进评分),但判据本身是稳定的。
一句话总结本节
占用类硬约束收成三个要点:
- 资源看 requests:调度按保留量(requests)判断,不看 limits 与实时使用率;allocatable 已扣系统开销。
- 端口与卷是唯一性/单写性:hostPort 节点内唯一、RWO 卷不双挂——违反即运行失败。
- 判据:违反会「无法运行」→ Filter;只是「不够好」→ Score。资源、端口、卷全在 Filter 侧。
调度器视图与 kubelet 实际存在系统性差异,靠 allocatable 与预扣缩小。下一章进入 Score 软偏好,从三种经典评分模型开始。
本节 lab
本节把占用类硬约束落到 filter/resource.go:ResourceFit(剩余量 ≥ request)、PortConflict(hostPort 节点内判重)、VolumeConflict(单写卷不双挂):
cd private/labs/k8s-sched-lab
go test ./filter -run 'TestResourceFit|TestPortConflict|TestVolumeConflict' -v
三个用例覆盖本节三类约束:TestResourceFit(剩余够通过、CPU 不够拒绝)、TestPortConflict(不撞通过、撞车拒绝)、TestVolumeConflict(不同卷通过、同名单写卷拒绝)。这正是「调度看 requests、端口节点内唯一、单写卷不双挂」的最小验证。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。