7.1 Scheduler Framework 扩展点
第 1~6 章讲的是调度器「内置做什么」,本节讲「怎么扩展它」。Scheduler Framework 是 K8s 调度器的扩展机制,把一次调度周期拆成一组可插拔的扩展点,让换策略 = 改配置,而不是改源码。这也是调度器从「一个整体程序」走向「一组插件的编排」的关键一步——第 7.2、7.3 节会在同一框架上分别讲异步门控与插件开发。
调度框架要解决的扩展问题
Framework 出现之前,调度器的扩展手段是 scheduler extender:一个外部 HTTP 服务,提供 /filter、/prioritize、/bind 三个端点,调度器在每次调度时调用它。extender 的痛点是结构性的:
- 一次一请求:每个候选节点一次 HTTP 往返,节点多时延迟与吞吐都是瓶颈。
- 无状态:每次调用都要重新计算,无法复用调度器缓存、无法做跨请求的共享状态。
- 扩展点太少:只有过滤、打分、绑定三个阶段,粒度太粗。
- 无法组合:extender 是「一个外部服务」,不能像插件一样多个叠加、加权。
Framework 的答案:把调度拆成十二个扩展点,每个点可以注册多个进程内插件,插件按注册顺序执行、可共享状态、可加权组合。
扩展点全景:十二个点各一句定位
从「Pod 排队」到「绑定落定」,一次调度的生命周期对应十二个扩展点:
| 扩展点 | 一句话定位 |
|---|---|
| QueueSort | 给等待调度的 Pod 排序,决定调度顺序 |
| PreFilter | 调度周期开始前预处理,计算共享状态,失败则整个周期终止 |
| Filter | 硬约束,逐个过滤不可行节点,短路 |
| PostFilter | 所有节点都过滤失败时的兜底,默认是抢占 |
| PreScore | 打分前准备,供 Score 复用的预计算 |
| Score | 给可行节点打分(0-100),软偏好 |
| NormalizeScore | 对 Score 结果归一化/修正,保证跨插件分数同尺度 |
| Reserve | 预扣资源与状态,失败触发 Unreserve 回滚 |
| Permit | 准入门控:批准、拒绝或等待(异步) |
| PreBind | 绑定前动作,如挂载卷、准备数据 |
| Bind | 写 spec.nodeName 完成绑定,默认 DefaultBinder |
| PostBind | 绑定后通知,如更新缓存、发指标 |
每个扩展点是「策略的可替换部件」:想改调度顺序改 QueueSort 插件,想加硬约束加一个 Filter 插件,想异步审批加一个 Permit 插件。
插件执行顺序与短路语义
扩展点定义了「在哪扩展」,插件执行顺序则定义了「多个插件怎么协作」:
- Filter 短路:按注册顺序执行,第一个返回拒绝原因的立即停下,后续 Filter 不再调用。这是性能关键——节点被拒得越早,后面昂贵的检查越少跑。
- Score 不短路:所有可行节点都要打分,然后按分排序;多个 Score 插件的结果加权合并。
- NormalizeScore 在全部 Score 之后批量执行,对每个节点的组合分做修正。
- Reserve 失败:触发
Unreserve,把本轮已预扣的状态全部回滚——保证「要么全部提交,要么全部撤销」。 - Bind 出错即停:按顺序执行,第一个返回 error 的立即中断,后续 Bind 不再执行。
- Permit 等待:可以返回「等待」状态,调度周期挂起,由外部异步放行(第 7.2 节展开)。
一句话:过滤阶段尽早拒绝,打分阶段全部评估,预留与绑定阶段出错即停。三种语义各管一类资源代价。
Filter → Score → Bind 的完整周期
把扩展点拼成一个调度周期(对应调度循环里「选择节点」这一步):
- QueueSort 从等待队列取出下一个 Pod。
- PreFilter 预处理,构造共享状态(资源请求、亲和、拓扑计数快照)。
- 对每个候选节点跑 Filter 链——通过全部 Filter 的节点才进入下一步。
- 没有节点通过时,进 PostFilter(默认抢占),然后重试。
- 对可行节点跑 PreScore → Score → NormalizeScore,得组合分。
- 选最高分节点,进入 Reserve 预扣。
- Permit 检查(等待或批准)。
- PreBind 准备 → Bind 写 nodeName → PostBind 通知。
其中第 3 步短路、第 5 步不短路、第 6~8 步失败回滚,构成一次调度的完整骨架。lab 的 Schedule 就是这条链的最小实现:RunFilters → RunScores → RunBinds。
失败路径要分清:Filter 全拒是「节点不足」(走 PostFilter/抢占),PreFilter 失败是「周期级错误」(立即重试),Bind 失败是「绑定冲突」(Pod 回队列、抢占的受害者可能被复原)。同一个『失败』在不同扩展点语义完全不同——这也是框架把失败分散到各扩展点处理的原因。
换策略 = 改配置
Framework 把「策略」变成了 KubeSchedulerConfiguration 里的一份配置,不需要重编译、不需要换二进制:
apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
plugins:
score:
enabled:
- name: ImageLocality
weight: 2
disabled:
- name: NodeResourcesBalancedAllocation
- profiles:每个 profile 是一套完整的插件组合,可绑定不同 schedulerName。Pod 通过
spec.schedulerName选择走哪个 profile——同一调度器可以并行跑多套策略。 - plugins.enabled/disabled:启用、关闭插件,Score 插件还能配 weight。
- 内置插件全部由配置驱动;第三方插件注册进 registry 后,同样用配置启用。
这就是「策略即配置」:换调度策略 = 编辑配置 + 重载调度器,而不是改 Go 源码重新构建。
扩展点 → 调度阶段 → 典型插件
把十二个扩展点对应到调度阶段和 K8s 内置的典型插件:
| 扩展点 | 调度阶段 | 典型插件 |
|---|---|---|
| QueueSort | 排序 | PrioritySort |
| PreFilter | 预处理 | NodeResourcesFit、PodTopologySpread、InterPodAffinity |
| Filter | 过滤 | NodeResourcesFit、NodeName、TaintToleration、PodTopologySpread |
| PostFilter | 兜底 | DefaultPreemption |
| PreScore | 打分前 | 各 Score 插件的预计算 |
| Score | 打分 | NodeResourcesFit(LeastRequested)、ImageLocality、SelectorSpread |
| NormalizeScore | 归一化 | RequestedToCapacityRatio 等自定义归一 |
| Reserve | 预扣 | 资源预留、卷预留 |
| Permit | 准入 | 自定义门控、跨调度器协调 |
| PreBind | 绑定前 | VolumeBinding |
| Bind | 绑定 | DefaultBinder |
| PostBind | 绑定后 | 通知、审计、指标 |
读这张表的要点:Filter 与 Score 是重头戏(第 3、4 章讲的就是它们的默认插件),PostFilter/Reserve/Permit 是框架区别于 extender 的精细化扩展点——这些正是第 7.2、7.3 节展开的内容。
插件的注册与生命周期
插件不是写死在调度器里的,而是「注册 → 实例化 → 参与调度」:
- 注册:插件构造器放进全局 registry:
plugins["MyPlugin"] = func(_ runtime.Object, h framework.Handle) (framework.Plugin, error) { return &MyPlugin{handle: h}, nil }。调度器 import 插件包触发注册。 - 实例化:调度器启动时按配置读取
plugins.enabled,为每个 profile 构造需要的插件实例。 - 参与调度:插件实例通过
Handle访问共享快照(SharedLister,含节点与 Pod 缓存)、client-go 客户端等基础设施。
生命周期要点:插件实例是进程级单例,会参与无数次调度周期;而调度周期是并发的。所以插件内部的字段是「进程级状态」,要小心并发写;「周期级状态」必须走 CycleState(下一节)。
状态共享:CycleState 与 PreFilter 缓存
扩展点之间需要传数据,Framework 用 CycleState 解决——一个调度周期内的共享状态桶:
- PreFilter 写:比如 PodTopologySpread 在 PreFilter 里算好每个域的计数快照,放进 CycleState。
- Filter/Score 读:同一个周期的 Filter、Score 从 CycleState 取快照,不再重复扫描全部 Pod。
- 隔离:每个调度周期有独立的 CycleState,并发调度互不污染;周期结束后释放。
这就是 6.2 节「计数只算一次、多处复用」的实现基础。判断数据放哪的规则很简单:与单个调度周期绑定 → CycleState;跨周期复用 → 插件字段。规则破坏的典型症状是「调度结果抖动」——上一次周期的残留状态影响了这一次的决策。
三个常见误解
- 「每个扩展点在每次调度都会执行」——错误。QueueSort 每轮调度队列取件只执行一次;PostFilter 只在所有节点都失败时执行;NormalizeScore 只在有 Score 插件时才跑。扩展点是「能力位」,不是「必经位」。
- 「Score 插件出错就是给低分」——错误。Score 插件返回 status error 会让整个调度周期失败,Pod 回队列重试,而不是「将就着打个低分」。
- 「NormalizeScore 可有可无」——错误。多个 Score 插件加权组合时,若各插件分数尺度不一致(有的 0-100、有的 0-10000),权重会失真;归一化是「把分数拉回同一尺度」的必要步骤。
一句话总结本节
Framework 把调度拆成十二个可插拔扩展点,收成三个要点:
- 扩展点 = 策略的可替换部件:排序、过滤、打分、预留、绑定各管一段,换策略改配置不改源码。
- 执行语义按代价设计:Filter 短路省检查、Score 全量评估、Reserve/Bind 出错即停并回滚。
- profile = 多策略并行:一个调度器可同时跑多套插件组合,Pod 用 schedulerName 选择。
下一节用 SchedulingGates 展示框架里最特殊的一类扩展:它不在 Filter 里做同步拒绝,而是把「条件不满足」改造成「挂起等待」。
本节 lab
本节把扩展点链落到 framework 包:FilterPlugin/ScorePlugin/BindPlugin 三种插件类型、RunFilters/RunScores/RunBinds 三个执行入口,以及 Schedule 完整周期:
cd private/labs/k8s-sched-lab
go test ./framework -run 'TestFilterShortCircuit|TestBindChainOrder' -v
framework 包共 6 个用例,这里跑其中两个(共 4 个断言):TestFilterShortCircuit(2 个断言)验证第一个 Filter 拒绝后第二个不再被调用——正是「Filter 短路」;TestBindChainOrder(2 个断言)验证 validate → commit 两个 Bind 插件按注册顺序执行——正是「Bind 链有序」。两个用例合起来,覆盖本节最核心的两条执行语义。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。