《Kubernetes 分布式系统原理深入解析》3.3 资源可分配、端口与卷冲突过滤

Filter 阶段的第二族硬约束是『占用类』:资源可分配(request 必须小于等于节点剩余量)、hostPort 冲突(同一端口不能两个 Pod 共用)、单写卷冲突(同一卷不能同时挂到两个节点)。本节拆这三类检查的量与语义,说明它们为什么是硬约束——超卖、端口撞车、卷双挂都会直接导致 Pod 起不来或数据错乱。lab 用 filter/resource.go 验证资源、端口、卷三类过滤。

3.3 资源可分配、端口与卷冲突过滤

3.1/3.2 节的硬约束是「匹配类」——label 在不在、污点容不容忍,是布尔判断。Filter 阶段还有另一族硬约束是「占用类」——资源够不够、端口撞不撞、卷能不能挂,是量与唯一性的判断。

这族约束回答的问题是:即使 label 全匹配,这个节点现在装得下这个 Pod 吗。装不下、会撞、会双挂,都是硬失败。本节拆这三类检查:资源可分配(量)、hostPort 冲突(唯一性)、卷冲突(单写性)。

资源可分配:request 必须 ≤ 剩余量

调度的资源约束看的是 requests(不是 limits)。语义:

node.allocatable = node.capacity - systemReserved - evictionThreshold
剩余量 = allocatable - Σ(已调度 Pod 的 requests) - Σ(自己预扣的)
可调度 ⟺ Pod.requests ≤ 剩余量

三个细节值得展开:

  • requests 是调度依据:调度器只保证「请求的量」被满足,不管实际用多少——实际可能远超(超卖,第 8 章)。
  • allocatable 不是 capacity:节点要给自己留操作系统、kubelet、eviction 余量。第 8.1 节详述。
  • 剩余量 = allocatable - 已调度 requests:调度器用自己缓存里的 Pod 占用算(预扣机制,1.2 节),不实时问 kubelet——视图滞后下可能超售,但 K8s 把它当作「可接受的过度承诺」。

lab 的 ResourceFit 就是核心判断:剩余CPU ≥ p.CPU && 剩余Mem ≥ p.Mem。CPU 与内存是独立判断的两条线——CPU 不够或内存不够任一不满足即失败(AND)。

为什么是 requests 而不是 limits

一个常被问错的问题:为什么不按 limits 约束调度?

  • requests 是「保留」:调度器按 requests 预留,保证 Pod 至少能拿到这么多。
  • limits 是「上限」:超过可被限制/驱逐(CPU 节流、内存 OOM),但调度时不需要预留。

按 limits 调度会导致资源大面积浪费(limits 常设得比 requests 高很多)。K8s 的取舍是:调度看保留(requests),运行看上限(limits)。这个区分是第 8 章资源模型的入口,本节先确立「调度只用 requests」这个事实。

hostPort 冲突:端口的唯一性

hostPort 让 Pod 直接占节点的某个 TCP/UDP 端口:

spec:
  containers:
  - name: web
    ports:
    - containerPort: 8080
      hostPort: 18080    # 占用节点的 18080

两个 Pod 要占同一个节点的同一个 hostPort,必然冲突——同一节点上端口是唯一的。Filter 的 PortConflict 就是查候选节点已占用的端口列表:

可调度 ⟺ 请求的所有 hostPort ∉ 节点已占用端口集合

这个检查是本地唯一性:只在节点内判重。跨节点没关系(不同节点可以都有 18080)。hostPort 会限制调度密度(一个节点只有一个 Pod 能用某端口),所以现代 K8s 多用 NodePort/Service 替代——但理解它的 Filter 语义仍是端口类约束的基础。

卷冲突:单写卷不能双挂

某些卷类型是单写者(ReadWriteOnce):同一时刻只能挂到一个节点。Filter 的 VolumeConflict 检查候选节点上是否已挂载了 Pod 要用的同一个卷:

可调度 ⟺ 请求的每个卷 ∉ 节点已挂载的同名单写卷集合

为什么这要在调度阶段检查?因为卷的「单节点性」是调度决定的:把两个挂同一 RWO 卷的 Pod 放到同一节点,第二个直接挂不上(kubelet 报错);放到不同节点,卷根本没法同时满足两个节点。卷约束要把「会双挂」的配对在调度时就排除。

真实的卷调度比 lab 复杂(volume binding mode、拓扑约束、PV 与节点亲和),lab 的 VolumeConflict 是「同名单写卷即冲突」的最小模型——足够展示「单写卷决定 Pod 分布」的核心语义。

三类约束的共性:防止「起不来」

把资源、端口、卷三类硬约束放一起看,它们的共性极其朴素:这几种情况一旦发生,Pod 是物理上起不来的:

约束违反后果
资源不足kubelet 无法满足 requests,容器可能无法调度到 CPU/内存
端口冲突第二个 Pod 绑定端口失败,容器启动失败
卷双挂RWO 卷第二个挂载点失败,数据访问错乱

硬约束的本质就是「违反即运行失败」。而 Score 处理的是「都运行得了,选哪个更好」——这就是 Filter 必须严格、不能放水到 Score 的理由。凡是会直接导致运行失败的,必须是 Filter。

资源请求的量化:为什么 CPU 用核、内存用字节

Filter 比较「请求 vs 剩余」必须基于统一单位。K8s 的资源单位是调度正确性的地基:

资源单位换算
CPU核(可小数,100m = 0.1 核)cpu = 1 个核心
内存字节(1Gi = 1024³)与 1G(1000³)不同
扩展资源整数个(如 GPU: 2)不支持小数

两个细节直接影响 Filter:

  • CPU 可压缩:100m 请求可被超卖/节流,内存不可压缩(超了就 OOM)——这决定第 8/9 章对两者的不同处理。
  • 扩展资源不支持小数:GPU 请求必须是整数,Filter 的剩余量比较也是整数——量化方式决定约束的表达能力。

lab 的 ResourceFit 用整数 CPU/Mem 简化,但方向忠实:Filter 的前提是统一的量化。排障时遇到「明明有资源却 insufficient」,先查单位换算(Mi vs M、m vs 核)——单位错位是最常见的资源类 Pending 原因。

调度器视图 vs kubelet 实际:双视角的差异

3.3 节说调度器按自己缓存的「已调度 requests」算剩余量。这个视图与 kubelet 的实际状态有两个系统性差异:

差异调度器视图kubelet 实际
更新的来源自己的缓存(预扣)节点状态上报
未上报窗口已绑定未上报的 Pod 已被预扣kubelet 还没看到
非 Pod 占用不感知(系统进程等)allocatable 已扣除

结果:调度器的「剩余量」是一个乐观的估计——它假设预扣足够逼近真实。当两者严重偏差(如节点上有大量非 Pod 进程吃内存),会出现「调度器觉得够、kubelet 觉得不够」的 mismatch,表现为 Pod 启动后很快 OOM。

缓解方向是用 allocatable 而非 capacity:allocatable 已经把系统开销、驱逐阈值扣掉,缩小了「调度器估计 vs 实际可用」的差。第 8.3 节(cgroup v2)会看到更彻底的收敛手段。

扩展资源:GPU 等自定义资源的调度

K8s 允许节点声明扩展资源(GPU、FPGA、特殊硬件),调度器要能对它们做 Filter。扩展资源与 CPU/内存有两个关键差异:

维度CPU/内存扩展资源(如 GPU)
单位可压缩、可小数整数个
超卖允许不允许(不共享)
节点声明内建字段nvidia.com/gpu: 2 之类自定义

调度语义:Pod limits.nvidia.com/gpu: 1 会进入 Filter 的扩展资源检查——节点剩余 GPU ≥ 1 才通过。lab 的 ResourceFit 用整数 CPU/Mem 简化,但扩展资源就是「不可压缩 + 整数」的天然样本:Filter 对它们的比较是纯整数减法。

为什么扩展资源不支持超卖?GPU 是独占设备,两个 Pod 无法共享一个 GPU 核心(除非 MIG 虚拟化)。资源的『可压缩性』决定它的调度约束——可压缩资源超卖无害(CPU 节流),不可压缩资源超卖就是 OOM/竞争失败。这个区分是第 8 章资源模型的枢纽,扩展资源只是它的一个极端样本。

三个常见误解

  • 「调度器按实际资源使用率安排 Pod」——错误。调度器按 requests(保留量)判断,不是按实时使用率。实际使用率由 metrics 采集(第 11 章 HPA 才用),不进调度决策。
  • 「hostPort 是全局唯一的」——错误。hostPort 只要求节点内唯一;不同节点可以有相同的 hostPort。全局唯一性是 Service/NodePort 的语义,不是 hostPort 的。
  • 「卷冲突只影响存储,不影响调度」——错误。单写卷(RWO)的双挂会直接导致挂载失败,所以调度器必须把卷冲突当硬约束,在 Filter 阶段排除「双挂同节点」的配对。

硬约束的判据清单

给调度插件开发(第 7 章)一个判据:一个约束该进 Filter 还是 Score?

  • 违反它 Pod 是否无法运行(起不来、挂不上、数据错乱)?是 → Filter。
  • 违反它只是不够好(负载不均衡、未分散、延迟略高)?是 → Score。

这个判据贯穿第 3、4 两章。资源、端口、卷都是「无法运行」,全进 Filter;负载、分散度都是「不够好」,全进 Score。边界偶尔模糊(如 PreferNoSchedule 把「尽量不」做进评分),但判据本身是稳定的。

一句话总结本节

占用类硬约束收成三个要点:

  • 资源看 requests:调度按保留量(requests)判断,不看 limits 与实时使用率;allocatable 已扣系统开销。
  • 端口与卷是唯一性/单写性:hostPort 节点内唯一、RWO 卷不双挂——违反即运行失败。
  • 判据:违反会「无法运行」→ Filter;只是「不够好」→ Score。资源、端口、卷全在 Filter 侧。

调度器视图与 kubelet 实际存在系统性差异,靠 allocatable 与预扣缩小。下一章进入 Score 软偏好,从三种经典评分模型开始。

本节 lab

本节把占用类硬约束落到 filter/resource.go:ResourceFit(剩余量 ≥ request)、PortConflict(hostPort 节点内判重)、VolumeConflict(单写卷不双挂):

cd private/labs/k8s-sched-lab
go test ./filter -run 'TestResourceFit|TestPortConflict|TestVolumeConflict' -v

三个用例覆盖本节三类约束:TestResourceFit(剩余够通过、CPU 不够拒绝)、TestPortConflict(不撞通过、撞车拒绝)、TestVolumeConflict(不同卷通过、同名单写卷拒绝)。这正是「调度看 requests、端口节点内唯一、单写卷不双挂」的最小验证。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图