1.1 调度问题的形式化与 K8s 定位
卷二把控制面拆成了「状态存储(etcd)→ 事件流(watch)→ 控制回路(控制器)」三段。卷三换一个角度:决策。集群里有一个对象从创建到运行的最后一道关口——它决定「这个 Pod 放在哪台机器上」。这个决策过程在分布式系统里叫调度,在 K8s 里叫 kube-scheduler。
本节先把调度问题形式化,然后回答一个更基本的问题:为什么调度是「分布式系统里的决策问题」,而不是负载均衡那样的「每请求决策」。搞清这个定位,后面 14 章的所有内容(队列、Filter、Score、抢占、伸缩)都是同一个形式化问题的不同侧面。
调度问题的形式化
把输入输出写干净,调度问题是一个带约束的组合优化:
- 输入:待调度 Pod 集合 P(每个 Pod 有资源请求 r(p)、约束 c(p)、优先级 pr(p)),候选节点集合 N(每个节点有可分配容量 a(n)、标签、污点、当前负载)。
- 输出:一个映射 f: P → N(每个可调度 Pod 指派一个节点),或返回「不可调度」。
- 硬约束:f(p) = n 必须满足 c(p)(节点选择器、亲和、污点容忍、资源剩余量等),任何一条不满足都淘汰。
- 软偏好:在所有可行映射里,选一个「更好」的——评分函数把偏好量化为 0-100,总得分高者优先。
这是经典的 约束满足 + 优化 结构,但不是教科书式的全局最优问题:K8s 的调度器一个一个处理 Pod(queue 里逐个 pop),而不是对所有 Pod 做联合优化。原因很实际——集群状态时刻在变(节点故障、Pod 结束、资源释放),一次全局规划几秒后就是错的。在线逐个决策 + 事件驱动重试,比离线批量优化更适合变化的环境。
三个基本输入:资源、约束、拓扑
调度器为每个 Pod 读到的三类信息,对应三种不同的「不可违反」性质:
| 输入 | 例子 | 性质 | 对应章节 |
|---|---|---|---|
| 资源请求 | requests.cpu / requests.memory | 硬约束,超额即不可调度 | 第 3.3/8 章 |
| 节点约束 | nodeSelector、亲和、污点容忍 | 硬约束,不匹配即淘汰 | 第 3.1/3.2 章 |
| 拓扑偏好 | topologySpreadConstraints、反亲和 | 软偏好,分散得高分 | 第 4/6 章 |
注意资源请求与约束的差异:资源是「量」的约束(请求 ≤ 剩余即可),约束是「匹配」的约束(label 是否在、污点是否容忍)。评分则处理「都满足约束,选哪个更好」。这三类输入的结构对应调度框架的三个阶段——Filter 管约束、Score 管偏好、抢占处理「一个都选不上」的失败。
调度器为什么是「集中式决策者」
K8s 的调度器是一个独立进程,不是库,也不是嵌入 apiserver 的模块。这个拓扑选择有深刻的分布式含义:
- 它通过 list-watch 从 apiserver 订阅 Node、Pod 等对象的增量事件(卷二第 3 章的原语),在自己的 informer 缓存里维护一份全局视图。
- 它是集群里少数几个「读全量、集中决策」的组件:控制器的决策是局部的(只关心自己的资源),调度器的决策需要同时看到所有节点和所有待调度 Pod。
- 它把决策结果写回 apiserver(绑定),而不是直接通知 kubelet——决策与执行解耦,中间隔着状态存储。
所以调度器在分布式系统里的准确定位是:集中式决策者,通过异步事件流感知分布式状态,通过乐观并发的写入落地决策。它不是去中心化的分布式算法(不是每个节点各自判断),而是把「需要全貌的决策」集中到一处。这种架构的代价是单点与一致性滞后,收益是决策的正确性与可解释性——第 1.3 节讨论多调度器时再展开。
调度 vs 负载均衡:两种决策的差异
「调度」和「负载均衡」常被混用,但决策的时间尺度完全不同:
| 维度 | 负载均衡(LB) | 调度(Scheduler) |
|---|---|---|
| 决策对象 | 每个请求 | 每个实例(Pod) |
| 决策频率 | 每请求一次 | 每 Pod 生命周期一次 |
| 状态来源 | 端点列表(实时) | 全局对象视图(异步) |
| 落地方式 | 转发/回包 | 写绑定、持久化 |
| 失败处理 | 摘除/重试到下一个 | 入队重试、抢占、等待事件 |
关键区别:调度决策是持久的——绑定一旦写入 etcd,kubelet 就会照着执行;负载均衡决策是瞬时的——下一个请求可能打到不同后端。所以调度的正确性要求更高:不能把 Pod 绑到不满足约束的节点上,因为那是会「住下去」的。这也是为什么 Filter 必须严格、为什么绑定要走乐观并发(第 2 章绑定语义)。
为什么是「在线」而非「离线」调度
调度器不等待「集群稳定」再规划。它每收到一个 Pod 事件就尝试调度:
- Pod 创建 → 入 ActiveQ → 立即尝试。
- 失败 → 按原因进 UnschedulableQ(等事件)或 BackoffQ(退避重试)。
- 节点/其他 Pod 变化 → 事件驱动把等待中的 Pod 移回活跃队列。
这套「尽早尝试 + 事件驱动重试」正是卷二第 5 章的控制回路思想在调度上的体现:期望状态(Pod 应运行)与当前状态(还没有节点)反复比较,直到收敛。收敛的终点是绑定,而绑定的持久性由 apiserver 保证——第 15 章回顾卷三时会把这套闭环和卷二的调谐循环统一起来。
调度的失败:不是「无解」而是「暂时无解」
调度失败(Unschedulable)常被误解为「这个 Pod 不可能运行」。更准确的表述是:在当前视图下没有满足约束的节点。区别在于「当前视图」:
- 节点没资源 → 其他 Pod 结束、节点扩容后即可调度。
- 节点有污点/无 label → 节点变化后即可调度。
- 端口冲突 → 占用 Pod 删除后即可调度。
大多数 Unschedulable 是暂时的。调度器用「事件 + 退避」等待视图变化(第 2.3 节),而不是放弃。真正不可调度的(比如请求的资源大于任何节点容量、无容忍的污点)会在反复重试后由用户侧观测到 Pending,这也是「调度失败诊断」的第一课:先问失败原因可不可被事件修复。
调度的边界:什么不在调度器职责内
形式化还要回答「调度不管什么」。把职责边界划清楚,才不会拿调度器去解决不属于它的问题:
| 不属于调度的决策 | 谁负责 | 章节 |
|---|---|---|
| 拉哪个镜像、用什么版本 | 控制器(模板里的镜像字段) | 卷二第 8 章 |
| 容器怎么启动、探针怎么判活 | kubelet(运行时) | 本卷第 10 章 |
| 副本数是多少 | Deployment 控制器 | 卷二第 8 章 |
| 资源限额给多少 | 用户 spec | 本卷第 8 章 |
| 节点不够怎么办 | 节点伸缩控制器 | 本卷第 14 章 |
调度器只回答一个窄问题:「已声明的 Pod 放哪台节点」。它不决定 Pod 存不存在(那是控制器),不决定 Pod 跑不跑得起来(那是 kubelet),不决定资源够不够(那是伸缩器)。窄职责是调度器能保持正确性的前提——决策面越小,约束越好建模。
边界划清后,「Pod Pending」的排障就自然分成两类:调度器没给节点(调度问题),还是给了节点但起不来(kubelet/运行时问题)。前者查 status.conditions 里的 Unschedulable,后者查 Events 里的 FailedMount/FailedScheduling——职责边界就是排障入口的边界。
一次调度的成本构成
把形式化再落一层:一次调度决策的代价由什么组成?
| 成本项 | 来源 | 优化方向 |
|---|---|---|
| 读视图 | informer 缓存命中,基本为 0 | 缓存设计(1.2 节) |
| Filter 扫描 | 每个候选节点跑约束 | 尽早淘汰、廉价过滤先跑 |
| Score 计算 | 可行节点逐个打分 | 并行评分(4.3 节) |
| 绑定写 | apiserver 写路径 | 一次性,无法省 |
真实集群里调度吞吐的瓶颈通常是 Filter+Score 对大量节点的扫描——这就是为什么节点成百上千后,调度器要并行评分(第 4.3 节)、要缓存节点快照(1.2 节)、要用事件驱动而不是轮询(2.3 节)。把调度问题形式化的意义之一,就是看清成本花在哪——形式化给出成本项,架构给出优化手段。
调度问题的变体:装箱、图调度与亲和聚类
把 1.1 节的形式化套到不同场景,会出现不同的约束结构——理解变体有助于看清 K8s 默认调度器的定位:
| 变体 | 约束结构 | 代表系统 |
|---|---|---|
| 装箱(Bin Packing) | 资源是容量,目标是最少容器 | MostRequested 评分、Mesos |
| 图调度 | 依赖图,拓扑序约束 | 工作流调度器 |
| 亲和聚类 | Pod 之间互相吸引/排斥 | podAffinity/antiAffinity |
| 在线放置 | 资源 + 拓扑 + 优先级 | kube-scheduler(本卷) |
K8s 的调度问题其实是装箱 + 亲和 + 优先级的组合:Filter 管硬约束、Score 管装箱/分散/就近偏好、抢占管优先级竞争。它不是纯装箱(不追求全局最少节点),也不是纯图调度(不处理依赖 DAG)——K8s 的调度是『带约束的在线放置』,这与它作为通用容器编排器的定位一致。
这个定位解释了 K8s 为什么不做联合优化(1.1 节):通用编排要处理无法预知的工作负载组合,一次全局规划既昂贵又不适应变化。通用性牺牲最优性,换取的是「什么负载都能放」的普适。
三个常见误解
- 「调度器决定一切,节点只是执行」——错误。调度只决定「放哪」,节点上 kubelet 还决定「怎么跑」(镜像拉取、探针、重启),Pod 状态由 kubelet 上报。调度与执行通过绑定解耦。
- 「调度是分布式算法,每个节点参与决策」——错误。调度器是集中式决策者;节点不参与选址,只上报自身状态。分布式的是状态感知(watch),不是决策。
- 「调度问题是全局优化,一次把所有 Pod 排好」——错误。K8s 逐个在线决策,不做联合优化;优点是能应对状态变化,代价是局部最优而非全局最优。
从形式化到调度框架
把形式化落到 kube-scheduler 的实现结构,三个阶段对应三个模块:
| 阶段 | 形式化角色 | 真实组件 |
|---|---|---|
| Queue | 待决策集合 P 的管理 | ActiveQ / BackoffQ / UnschedulableQ |
| Filter | 硬约束 c(p) | 调度框架的 Filter 插件 |
| Score | 软偏好目标函数 | 调度框架的 Score 插件 |
批次 1 的 lab 就按这个结构实现:queue 包管理待调度集合与决策循环,filter 包实现硬约束,score 包实现软偏好。一个 Pod 的调度就是「从队列取出 → 过 Filter → 按 Score 选最优 → 绑定」。
一句话总结本节
调度问题形式化为「在满足硬约束的前提下为每个 Pod 选一个节点并优化软偏好」。把这条主线收成三个要点:
- 输入结构:资源(量)、约束(匹配)、拓扑(偏好)三类信息,分别对应 Filter、Score 与拓扑约束三个处理阶段。
- 决策性质:调度是带约束的在线放置——逐个决策而非全局优化,用事件驱动重试适应状态变化。
- 角色定位:kube-scheduler 是集中式决策者,靠 watch 维护全局视图、靠绑定写回落地决策,与负载均衡的每请求决策本质不同。
下一节把「调度器」从形式化落到真实交互:它如何与 apiserver 双向通信、如何保持视图与写入的一致性边界。
调度器设计判断清单
设计或评估一个调度器,问五个问题:
- 决策对象是谁:每请求(LB)还是每实例(调度)?——持久决策必须更严格。
- 硬约束与软偏好是否分开:违反即错的进 Filter,好坏的进 Score?——混在一起会过严或落空。
- 视图怎么维护:list-watch 缓存还是实时查询?——决策频繁则必须缓存。
- 失败怎么办:事件驱动 + 退避,还是放弃?——在线调度必须可重试。
- 决策唯一性谁保证:写入是幂等/乐观并发的吗?——并发下靠存储兜底。
五个问题都有明确答案,才是一个「能上线」的调度器。本卷后续 14 章都是这五个问题的深化。
本节 lab
本节把「一轮调度」的语义落到 queue/scheduler.go:从队列 pop 一个 Pod,对每个候选节点跑硬约束,评分选最优,写入绑定记录:
cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v
TestScheduleLoopBind 验证两个 Pod 依次出队、各绑定一个节点、绑定记录长度为 2。这正是本节形式化的最小落地:队列管「处理谁」,Filter+Score 管「放哪」,绑定管「记住结果」。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。