1.3 单调度器 vs 多调度器
1.1 节说调度器是「集中式决策者」。但 K8s 的架构其实允许不只一个决策者:Pod 可以通过 schedulerName 声明「请这个调度器来管我」,而集群里可以同时跑多个调度器,各自负责不同名字的 Pod。
本节先讲默认的「单调度器」为什么是好设计,再讲多调度器如何共存而不冲突。核心答案藏在绑定语义里:同一个 Pod 只会被绑定一次——这是 apiserver 的乐观并发保证的,不是调度器之间协商出来的。
默认拓扑:一个 kube-scheduler 管所有 Pod
集群里默认部署一个 kube-scheduler 进程,它 watch 所有未绑定的 Pod(spec.nodeName == "" 且 spec.schedulerName == "kube-scheduler"),逐个调度。单调度器的价值不是性能,而是正确性与可解释性:
- 全局视图一致:只有一个决策者,所有决策基于同一份缓存快照,不会出现「两个调度器对同一个 Pod 做了不同决定」。
- 行为可预测:同样的 Pod 集合 + 同样的节点状态,调度结果确定。排障时「为什么绑到这台」能一步步重演。
- 扩展点清晰:需要改变调度策略时,改这一个进程(或它的插件配置)即可。
单点不是问题,因为调度器本身是无状态的:崩溃后重启,从 apiserver 重新 list-watch,待调度 Pod 从队列里重新来。这也是卷二反复出现的模式——控制面组件无状态,状态全在 etcd。
schedulerName:调度的分片键
多调度器的入口是 Pod 的一个字段:
spec:
schedulerName: my-custom-scheduler # 默认 "kube-scheduler"
调度器只认 schedulerName 与自己名字相同的 Pod。这是一个天然的工作集划分:名字即分片键。集群里可以跑:
- 默认 kube-scheduler:处理所有不带名字(即默认名)的 Pod。
- 自定义调度器 A:处理
schedulerName: A的 Pod。 - 自定义调度器 B:处理
schedulerName: B的 Pod。
每个调度器维护自己的队列、自己的缓存,互不感知。没有协调协议——协调被推给了 apiserver 的字段匹配。
为什么不会「抢同一个 Pod」
两个调度器不会碰同一个 Pod 的原因不是「他们约好了」,而是:
- 调度器只 watch
spec.schedulerName == 自己名字的 Pod——过滤在 informer 的 label/field selector 层面就完成了。 - 即使两个调度器错误地都盯上了同一个 Pod,绑定写回是乐观并发:第一个调度器写绑定成功(Pod 获得
spec.nodeName),第二个调度器再写时 resourceVersion 已经变了,返回 409,重试时发现 Pod 已绑定而放弃。
所以「一个 Pod 只被绑定一次」是apiserver 的一致性保证,不是调度器之间的君子协定。这正是卷三与卷一、卷二交汇的地方:乐观并发(卷二 2.2 节)背后的 resourceVersion 是 mvcc(卷一 12.3 节)——一个分布式系统的基础原语,在调度这个场景里成为「单次绑定」的保险丝。
多调度器的四种动机
什么时候值得部署第二个调度器?常见动机有四类:
| 动机 | 例子 | 与默认调度器的分工 |
|---|---|---|
| 特殊算法 | 机器学习 Pod 专用调度、图调度 | 按名字接管特定负载 |
| 配额/业务隔离 | 团队 A 的 Pod 只进团队 A 的节点池 | 名字即租户分片 |
| 调度审计 | 想记录每个决策的完整理由 | 独立进程方便改日志 |
| 实验 | 新的评分策略灰度 | 跑着对照默认策略 |
代价也是明确的:额外一个控制面组件——它要维护自己的缓存、自己的高可用、自己的故障恢复。多调度器是扩展点,不是默认选择。K8s 社区的多数演进(调度框架插件、multi-scheduler 配置)都发生在单个调度器内部,而不是新增进程。
单调度器内部也可以多线程
注意「单调度器」不等于「单线程」。kube-scheduler 内部用多线程并发调度多个 Pod:一个 worker 池从队列取 Pod 并行跑 Filter/Score(第 4.3 节)。并发带来的资源超售风险由节点预扣锁处理——调度器在本地快照上对节点加锁,避免两个 worker 同时把 Pod 绑到同一个节点。lab 的 queue 包为简单是单线程的,但第 4.3 节的并行评分会展示多线程版本的评分合并。
多调度器的一致性边界
把多调度器的语义压缩成一句话:调度决策的『谁的』是分布式的(按名字分片),『是否唯一』是集中的(apiserver 保证)。
这个拆分值得记住,它是分布式系统设计里「分布式工作 + 集中式判重」的典型样本。类似的样本在卷三里还会出现:节点伸缩时多个 autoscaler 候选实例(第 14 章)、抢占时多个候选受害者(第 5 章)——都是「谁来做」可以并行,「做了只有一次有效」必须由存储裁决。
多调度器的一致性负担
1.3 节说多调度器「不用互相通信」——但这不等于没有负担。每多一个调度器,集群就多一份一致性成本:
| 成本 | 说明 |
|---|---|
| 视图重复 | 每个调度器各维护一份 Node/Pod informer 缓存,内存与 watch 流量翻倍 |
| 决策分散 | 全局最优变成「各调度器局部最优的并集」——总负载分布可能劣于单调度器 |
| 排障复杂 | 「为什么这个 Pod 调度到这台」要对应到具体调度器的配置与日志 |
| 绑定竞争 | 若两个调度器的 schedulerName 规则写错(都匹配同一个 Pod),靠 apiserver 兜底但产生重试 |
所以多调度器的收益(策略隔离)是有代价的(一致性负担)。部署多调度器前先确认:这个策略差异是否大到值得承担多份缓存与分散决策? 多数时候,单调度器 + 调度框架插件(第 7 章)就够表达差异。
调度器作为「策略容器」的演进
理解单/多调度器之争,要看 K8s 的演进方向:策略表达的重心从「多进程」转向「单进程内的插件」。
- 早期:想要不同策略 → 部署第二个调度器(多进程)。
- 现在:默认调度器内装插件框架,策略 = 插件配置(Filter/Score 插件、权重、扩展点)→ 单进程内表达。
调度框架(第 7 章)把「换策略」从「部署新进程」降级成「改配置」——这让单调度器成为默认,多调度器成为「需要彻底隔离运行时」时的显式选择。判断未来方向:先看调度框架能不能表达你的策略,能则别上多调度器。
调度器的崩溃恢复与无状态性
调度器能「多副本高可用」「故障后重启」,底层原因是它无状态:
| 状态 | 存在哪 | 崩溃后 |
|---|---|---|
| 待调度 Pod | apiserver(nodeName=="") | 重启后重新 watch 到 |
| 节点视图 | 本地缓存(可重建) | relist 重建 |
| 已绑定记录 | apiserver | 不丢 |
崩溃恢复流程:调度器进程退出 → leader lease 过期 → 新 leader 接管 → list-watch 重建缓存 → 未绑定 Pod 重新入队。没有任何状态需要持久化到本地磁盘——调度器的「记忆」全在 apiserver 里。
这与卷二第 14 章的控制面无状态原则一脉相承:决策组件不持有状态,状态属于存储。调度器崩溃只是「决策中断」,不是「数据丢失」。这也是为什么调度器可以用 Deployment 部署(副本重启无压力),而不需要像 etcd 那样谨慎。
三个常见误解
- 「多调度器需要互相通信来避免冲突」——错误。它们靠
schedulerName字段分片、靠 apiserver 的乐观并发防重,两者之间零通信。 - 「自定义调度器要自己实现 list-watch、缓存、绑定」——部分错误。绑定协议是公开的(写
spec.nodeName),但大多数自定义调度器基于调度框架扩展默认调度器,而不是从零写。 - 「调度器越多调度越快」——错误。决策瓶颈通常在视图滞后与绑定写放大;多调度器解决的是「不同策略共存」,不是吞吐。吞吐靠单调度器内部的并行 worker。
从单到多的演进口径
给读者一个判断基准:先单调度器,用调度框架扩展(第 7 章),确认单进程策略满足不了(需要多套策略同时生效)再上多调度器。多数集群一辈子用不到第二个调度器。第 7 章会详细展开「在单个调度器里扩展」的插件机制——那是 K8s 推荐的扩展路径,多调度器只是它的显式替代方案。
一句话总结本节
单调度器 vs 多调度器的取舍,收成三个要点:
- 单调度器的价值:全局视图一致、行为可预测、扩展点清晰;无状态使高可用成为副本问题而非状态问题。
- 多调度器的分工:
schedulerName是分片键,各调度器管自己的 Pod,零通信、零协商。 - 唯一性保证:一个 Pod 只被绑定一次由 apiserver 的乐观并发兜底,而非调度器之间约好——分布式决策 + 集中判重。
演进方向是「策略表达从多进程走向单进程内插件」(第 7 章)。下一节进入调度循环内部:informer→队列→选择→绑定四步。
选型决策树
判断要不要部署第二个调度器,走这条决策树:
- 现有调度策略满足需求吗?满足 → 单调度器,结束。
- 需要不同策略,但能在默认调度器里用插件表达吗(第 7 章)?能 → 单调度器 + 插件,结束。
- 需要彻底隔离的独立调度(不同代码、不同发布节奏、独立故障域)?是 → 多调度器。
- 部署多调度器前,确认 schedulerName 分片规则与高可用方案——这是额外的一致性负担。
多数集群停在第 2 步。多调度器是『隔离需求』的答案,不是『策略需求』的答案——策略需求用插件,隔离需求才用进程。
调度器部署清单
无论单还是多调度器,部署都要确认四件事:
- 高可用:多副本 + Leader Election,leader 挂了能接管。
- 配置文件:
scheduler-config.yaml声明插件与权重,启动参数指向它。 - schedulerName 匹配:默认
kube-scheduler认领未声明名字的 Pod;自定义名字要写进 Pod 模板。 - 监控与排障:指标暴露 + 日志可查——调度器无状态好恢复,但排障需要证据。
四件事齐了,调度器才是一个「可运维的控制面组件」,而不是一个裸进程。反过来,这四件事也是评估「是否值得多部署一个调度器」的成本清单——每多一个进程,四件事都要再配一遍。
本节 lab
本节不引入新代码,lab 用 queue 包展示「按名字分片」的语义:两个调度器实例各自持有一个队列与节点快照,Pod 按 schedulerName 进入对应实例的队列,各实例独立绑定互不干扰:
cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v
TestScheduleLoopBind 展示单实例依次调度两个 Pod。把同一份测试改成两个 Scheduler 实例、各入一个 Pod,就得到「两个调度器各干各的」的多调度器语义——它们的共同点正是:都不需要知道对方存在,正确性由绑定写回的唯一性兜底。
一句话记忆:调度决策可分工(按名字分片),绑定唯一性不可分工(由存储兜底)。多调度器是「隔离需求」的答案,策略需求优先用单调度器内的插件。
本章的三节一起回答了「谁来做调度决策」:形式化给出问题(1.1)、交互给出机制(1.2)、单/多给出拓扑选择(1.3)。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。