《Kubernetes 分布式系统原理深入解析》1.1 调度问题的形式化与 K8s 定位

把调度问题形式化:在满足硬约束的前提下为每个待调度 Pod 选择一个节点并优化软偏好,是一个带约束的组合优化问题。本节先给出 K8s 里调度问题的输入、输出与约束结构,再定位 kube-scheduler 在分布式系统里的角色——一个靠 watch 维护全局视图、靠写入绑定子资源落地决策的集中式决策者,最后说明它为什么是『分布式决策』而非『分布式算法』。lab 用 queue/scheduler.go 验证一轮调度(pop→filter→score→bind)的完整语义。

1.1 调度问题的形式化与 K8s 定位

卷二把控制面拆成了「状态存储(etcd)→ 事件流(watch)→ 控制回路(控制器)」三段。卷三换一个角度:决策。集群里有一个对象从创建到运行的最后一道关口——它决定「这个 Pod 放在哪台机器上」。这个决策过程在分布式系统里叫调度,在 K8s 里叫 kube-scheduler。

本节先把调度问题形式化,然后回答一个更基本的问题:为什么调度是「分布式系统里的决策问题」,而不是负载均衡那样的「每请求决策」。搞清这个定位,后面 14 章的所有内容(队列、Filter、Score、抢占、伸缩)都是同一个形式化问题的不同侧面。

调度问题的形式化

把输入输出写干净,调度问题是一个带约束的组合优化:

  • 输入:待调度 Pod 集合 P(每个 Pod 有资源请求 r(p)、约束 c(p)、优先级 pr(p)),候选节点集合 N(每个节点有可分配容量 a(n)、标签、污点、当前负载)。
  • 输出:一个映射 f: P → N(每个可调度 Pod 指派一个节点),或返回「不可调度」。
  • 硬约束:f(p) = n 必须满足 c(p)(节点选择器、亲和、污点容忍、资源剩余量等),任何一条不满足都淘汰。
  • 软偏好:在所有可行映射里,选一个「更好」的——评分函数把偏好量化为 0-100,总得分高者优先。

这是经典的 约束满足 + 优化 结构,但不是教科书式的全局最优问题:K8s 的调度器一个一个处理 Pod(queue 里逐个 pop),而不是对所有 Pod 做联合优化。原因很实际——集群状态时刻在变(节点故障、Pod 结束、资源释放),一次全局规划几秒后就是错的。在线逐个决策 + 事件驱动重试,比离线批量优化更适合变化的环境。

三个基本输入:资源、约束、拓扑

调度器为每个 Pod 读到的三类信息,对应三种不同的「不可违反」性质:

输入例子性质对应章节
资源请求requests.cpu / requests.memory硬约束,超额即不可调度第 3.3/8 章
节点约束nodeSelector、亲和、污点容忍硬约束,不匹配即淘汰第 3.1/3.2 章
拓扑偏好topologySpreadConstraints、反亲和软偏好,分散得高分第 4/6 章

注意资源请求与约束的差异:资源是「量」的约束(请求 ≤ 剩余即可),约束是「匹配」的约束(label 是否在、污点是否容忍)。评分则处理「都满足约束,选哪个更好」。这三类输入的结构对应调度框架的三个阶段——Filter 管约束、Score 管偏好、抢占处理「一个都选不上」的失败。

调度器为什么是「集中式决策者」

K8s 的调度器是一个独立进程,不是库,也不是嵌入 apiserver 的模块。这个拓扑选择有深刻的分布式含义:

  • 它通过 list-watch 从 apiserver 订阅 Node、Pod 等对象的增量事件(卷二第 3 章的原语),在自己的 informer 缓存里维护一份全局视图。
  • 它是集群里少数几个「读全量、集中决策」的组件:控制器的决策是局部的(只关心自己的资源),调度器的决策需要同时看到所有节点和所有待调度 Pod。
  • 它把决策结果写回 apiserver(绑定),而不是直接通知 kubelet——决策与执行解耦,中间隔着状态存储。

所以调度器在分布式系统里的准确定位是:集中式决策者,通过异步事件流感知分布式状态,通过乐观并发的写入落地决策。它不是去中心化的分布式算法(不是每个节点各自判断),而是把「需要全貌的决策」集中到一处。这种架构的代价是单点与一致性滞后,收益是决策的正确性与可解释性——第 1.3 节讨论多调度器时再展开。

调度 vs 负载均衡:两种决策的差异

「调度」和「负载均衡」常被混用,但决策的时间尺度完全不同:

维度负载均衡(LB)调度(Scheduler)
决策对象每个请求每个实例(Pod)
决策频率每请求一次每 Pod 生命周期一次
状态来源端点列表(实时)全局对象视图(异步)
落地方式转发/回包写绑定、持久化
失败处理摘除/重试到下一个入队重试、抢占、等待事件

关键区别:调度决策是持久的——绑定一旦写入 etcd,kubelet 就会照着执行;负载均衡决策是瞬时的——下一个请求可能打到不同后端。所以调度的正确性要求更高:不能把 Pod 绑到不满足约束的节点上,因为那是会「住下去」的。这也是为什么 Filter 必须严格、为什么绑定要走乐观并发(第 2 章绑定语义)。

为什么是「在线」而非「离线」调度

调度器不等待「集群稳定」再规划。它每收到一个 Pod 事件就尝试调度:

  • Pod 创建 → 入 ActiveQ → 立即尝试。
  • 失败 → 按原因进 UnschedulableQ(等事件)或 BackoffQ(退避重试)。
  • 节点/其他 Pod 变化 → 事件驱动把等待中的 Pod 移回活跃队列。

这套「尽早尝试 + 事件驱动重试」正是卷二第 5 章的控制回路思想在调度上的体现:期望状态(Pod 应运行)与当前状态(还没有节点)反复比较,直到收敛。收敛的终点是绑定,而绑定的持久性由 apiserver 保证——第 15 章回顾卷三时会把这套闭环和卷二的调谐循环统一起来。

调度的失败:不是「无解」而是「暂时无解」

调度失败(Unschedulable)常被误解为「这个 Pod 不可能运行」。更准确的表述是:在当前视图下没有满足约束的节点。区别在于「当前视图」:

  • 节点没资源 → 其他 Pod 结束、节点扩容后即可调度。
  • 节点有污点/无 label → 节点变化后即可调度。
  • 端口冲突 → 占用 Pod 删除后即可调度。

大多数 Unschedulable 是暂时的。调度器用「事件 + 退避」等待视图变化(第 2.3 节),而不是放弃。真正不可调度的(比如请求的资源大于任何节点容量、无容忍的污点)会在反复重试后由用户侧观测到 Pending,这也是「调度失败诊断」的第一课:先问失败原因可不可被事件修复。

调度的边界:什么不在调度器职责内

形式化还要回答「调度不管什么」。把职责边界划清楚,才不会拿调度器去解决不属于它的问题:

不属于调度的决策谁负责章节
拉哪个镜像、用什么版本控制器(模板里的镜像字段)卷二第 8 章
容器怎么启动、探针怎么判活kubelet(运行时)本卷第 10 章
副本数是多少Deployment 控制器卷二第 8 章
资源限额给多少用户 spec本卷第 8 章
节点不够怎么办节点伸缩控制器本卷第 14 章

调度器只回答一个窄问题:「已声明的 Pod 放哪台节点」。它不决定 Pod 存不存在(那是控制器),不决定 Pod 跑不跑得起来(那是 kubelet),不决定资源够不够(那是伸缩器)。窄职责是调度器能保持正确性的前提——决策面越小,约束越好建模。

边界划清后,「Pod Pending」的排障就自然分成两类:调度器没给节点(调度问题),还是给了节点但起不来(kubelet/运行时问题)。前者查 status.conditions 里的 Unschedulable,后者查 Events 里的 FailedMount/FailedScheduling——职责边界就是排障入口的边界。

一次调度的成本构成

把形式化再落一层:一次调度决策的代价由什么组成?

成本项来源优化方向
读视图informer 缓存命中,基本为 0缓存设计(1.2 节)
Filter 扫描每个候选节点跑约束尽早淘汰、廉价过滤先跑
Score 计算可行节点逐个打分并行评分(4.3 节)
绑定写apiserver 写路径一次性,无法省

真实集群里调度吞吐的瓶颈通常是 Filter+Score 对大量节点的扫描——这就是为什么节点成百上千后,调度器要并行评分(第 4.3 节)、要缓存节点快照(1.2 节)、要用事件驱动而不是轮询(2.3 节)。把调度问题形式化的意义之一,就是看清成本花在哪——形式化给出成本项,架构给出优化手段。

调度问题的变体:装箱、图调度与亲和聚类

把 1.1 节的形式化套到不同场景,会出现不同的约束结构——理解变体有助于看清 K8s 默认调度器的定位:

变体约束结构代表系统
装箱(Bin Packing)资源是容量,目标是最少容器MostRequested 评分、Mesos
图调度依赖图,拓扑序约束工作流调度器
亲和聚类Pod 之间互相吸引/排斥podAffinity/antiAffinity
在线放置资源 + 拓扑 + 优先级kube-scheduler(本卷)

K8s 的调度问题其实是装箱 + 亲和 + 优先级的组合:Filter 管硬约束、Score 管装箱/分散/就近偏好、抢占管优先级竞争。它不是纯装箱(不追求全局最少节点),也不是纯图调度(不处理依赖 DAG)——K8s 的调度是『带约束的在线放置』,这与它作为通用容器编排器的定位一致。

这个定位解释了 K8s 为什么不做联合优化(1.1 节):通用编排要处理无法预知的工作负载组合,一次全局规划既昂贵又不适应变化。通用性牺牲最优性,换取的是「什么负载都能放」的普适。

三个常见误解

  • 「调度器决定一切,节点只是执行」——错误。调度只决定「放哪」,节点上 kubelet 还决定「怎么跑」(镜像拉取、探针、重启),Pod 状态由 kubelet 上报。调度与执行通过绑定解耦。
  • 「调度是分布式算法,每个节点参与决策」——错误。调度器是集中式决策者;节点不参与选址,只上报自身状态。分布式的是状态感知(watch),不是决策。
  • 「调度问题是全局优化,一次把所有 Pod 排好」——错误。K8s 逐个在线决策,不做联合优化;优点是能应对状态变化,代价是局部最优而非全局最优。

从形式化到调度框架

把形式化落到 kube-scheduler 的实现结构,三个阶段对应三个模块:

阶段形式化角色真实组件
Queue待决策集合 P 的管理ActiveQ / BackoffQ / UnschedulableQ
Filter硬约束 c(p)调度框架的 Filter 插件
Score软偏好目标函数调度框架的 Score 插件

批次 1 的 lab 就按这个结构实现:queue 包管理待调度集合与决策循环,filter 包实现硬约束,score 包实现软偏好。一个 Pod 的调度就是「从队列取出 → 过 Filter → 按 Score 选最优 → 绑定」。

一句话总结本节

调度问题形式化为「在满足硬约束的前提下为每个 Pod 选一个节点并优化软偏好」。把这条主线收成三个要点:

  • 输入结构:资源(量)、约束(匹配)、拓扑(偏好)三类信息,分别对应 Filter、Score 与拓扑约束三个处理阶段。
  • 决策性质:调度是带约束的在线放置——逐个决策而非全局优化,用事件驱动重试适应状态变化。
  • 角色定位:kube-scheduler 是集中式决策者,靠 watch 维护全局视图、靠绑定写回落地决策,与负载均衡的每请求决策本质不同。

下一节把「调度器」从形式化落到真实交互:它如何与 apiserver 双向通信、如何保持视图与写入的一致性边界。

调度器设计判断清单

设计或评估一个调度器,问五个问题:

  1. 决策对象是谁:每请求(LB)还是每实例(调度)?——持久决策必须更严格。
  2. 硬约束与软偏好是否分开:违反即错的进 Filter,好坏的进 Score?——混在一起会过严或落空。
  3. 视图怎么维护:list-watch 缓存还是实时查询?——决策频繁则必须缓存。
  4. 失败怎么办:事件驱动 + 退避,还是放弃?——在线调度必须可重试。
  5. 决策唯一性谁保证:写入是幂等/乐观并发的吗?——并发下靠存储兜底。

五个问题都有明确答案,才是一个「能上线」的调度器。本卷后续 14 章都是这五个问题的深化。

本节 lab

本节把「一轮调度」的语义落到 queue/scheduler.go:从队列 pop 一个 Pod,对每个候选节点跑硬约束,评分选最优,写入绑定记录:

cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v

TestScheduleLoopBind 验证两个 Pod 依次出队、各绑定一个节点、绑定记录长度为 2。这正是本节形式化的最小落地:队列管「处理谁」,Filter+Score 管「放哪」,绑定管「记住结果」。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图