1.2 调度器与 API Server 的交互
调度器是控制面里唯一「先看全、再决定、再写回」的组件。它和 apiserver 之间的交互分成两条方向相反的通道:观察通道(apiserver → 调度器,list-watch 增量事件)和写入通道(调度器 → apiserver,绑定写请求)。两条通道都用卷二讲过的原语,但组合方式很特殊:调度器既是最下游的观察者,也是最上游的写入者之一。
本节把这两条通道拆开,标出各自的协议、一致性承诺与滞后边界。理解交互,是理解第 2 章调度循环的前提——调度循环的每一步都在这两条通道上。
观察通道:list-watch 建立全局视图
调度器启动时对 apiserver 建立多个 informer:
| Informer | 观察对象 | 用途 |
|---|---|---|
| NodeInformer | 全部节点 | 候选集合 N、容量、标签、污点、负载 |
| PodInformer | 全部 Pod | 待调度集合、已绑定 Pod 的资源占用 |
| PVC / PV informer | 存储卷 | 卷挂载约束(第 3.3 节) |
| PriorityClass informer | 优先级类 | 优先级解析(第 5.2 节) |
这是卷二第 3 章 Reflector 的标准结构:先 List 全量(/api/v1/nodes),再 Watch 增量(/api/v1/watch/nodes),事件进各自的 informer 缓存。调度器维护的是 Node/Pod 的本地快照,它永远不直接问 apiserver「现在节点有哪些」——它信任自己的缓存。
观察通道的滞后:决策基于「缓存视图」
调度的正确性依赖视图的新鲜度,但视图必然是滞后的:
- watch 事件传播需要毫秒到百毫秒。
- informer 缓存是异步更新的,调度器读的是缓存快照,不是实时状态。
- 节点刚被绑定一个 Pod,另一个调度线程可能还看到「节点有空位」——两个 Pod 被派到同一节点,正是视图滞后导致的资源超售。
K8s 用两个手段缓解而不是消除这个滞后:一是 kubelet 会把节点上的实际资源占用上报到 Node 状态(allocatable 会扣减),二是调度器内部对「已绑定但还未上报」的 Pod 在本地快照里预扣资源。预扣是调度器自己的一致性机制:它在自己缓存里模拟「这些 Pod 已经占用了这些资源」,避免把两个 Pod 派到同一个小节点上。lab 的 queue/scheduler.go 里 best.UsedCPU += p.CPU 就是这个预扣——绑定一发生,节点快照立刻扣减。
写入通道:绑定如何持久化
决策落地不是直接调 kubelet,而是写一个绑定。历史上用 /api/v1/namespaces/<ns>/pods/<name>/binding 子资源 POST,现在更常见的是直接更新 Pod 的 spec.nodeName(也走同一个子资源的语义):
POST /api/v1/namespaces/default/pods/p1/binding
{ "target": { "apiVersion": "v1", "kind": "Node", "name": "n1" } }
绑定的语义要点:
- 写入走 apiserver 的写路径:认证、准入、乐观并发、写 etcd(卷二第 1 章链路)。
- 绑定成功后,Pod 的
spec.nodeName非空且持久化——kubelet 通过自己的 Pod informer 看到这个变化,才去拉镜像启动容器。 - 绑定是一次 乐观并发写:apiserver 用 resourceVersion 检查 Pod 未被并发修改(卷二第 2 章),冲突返回 409,调度器重试。
所以调度器落地决策的方式,和控制器调谐完全相同:写 apiserver,让下游通过 watch 感知。调度器与 kubelet 之间没有任何直连——中间永远是状态存储。
观察者与写入者的时间差:绑定如何被看到
从绑定写入到 kubelet 拉镜像,中间隔着两级 watch:
| 环节 | 通道 | 滞后量级 |
|---|---|---|
| 调度器写绑定到 etcd | apiserver 写路径 | 线性一致提交 |
| kubelet 的 Pod informer 收到事件 | apiserver → kubelet watch | 毫秒~百毫秒 |
| kubelet 开始拉镜像/启动 | 本地执行 | 秒级(镜像决定) |
调度器「观察→决策→写入」之后,kubelet 还有自己的「观察→执行」循环。整条链是两级观察者:调度器观察节点,kubelet 观察绑定。谁都不直接指挥谁,都是读状态、按状态行动。
交互中的一致性问题:读偏旧、写要新
调度器与 apiserver 交互天然存在一个不对称:读可以旧,写必须过最新检查。
- 读(观察通道):滞后有界即可,调度器靠事件驱动的重试兜底——绑到刚消失的节点失败后会重新入队。
- 写(写入通道):绑定的 target 节点名是调度器从自己视图里选的,但 apiserver 不校验「这个节点现在还活着」——节点在调度器写绑定时刚宕机,绑定也会成功写入,kubelet 无法启动,Pod 卡在 Pending。这是分布式系统的现实:决策基于旧视图,执行面对新现实。
缓解机制是事件驱动重试(第 2.3 节):Pod 因节点故障未启动,会重新进入待调度集合。一致性的最终保证不在调度器,而在「失败后能重来」。
调度器的读放大:为什么要有自己的缓存
调度器若每个 Pod 都实时问 apiserver「节点列表 + 负载」,apiserver 会被读放大打爆。list-watch + 本地缓存把实时查询变成订阅增量:只有变化才产生网络流量。这与卷二第 3.3 节「缓存滞后、relist 退避」同一套设计。调度器甚至比控制器更依赖缓存——它每个 Pod 决策要扫一遍所有节点,若全部走实时读,一次调度就是 N 次 RPC。
lab 里这个设计对应得很直白:Scheduler.Nodes 是内存里的节点快照,调度循环只读快照、不改 apiserver。视图更新靠 HandleNodeAdd/HandlePodDelete 这类事件方法,而不是每次决策都重新拉取。
调度器的多实例与高可用
调度器是控制面组件,控制面组件默认高可用(卷二第 14 章)。但调度器与 controller-manager 的高可用方式不同:
- controller-manager 用 Leader Election:同一时刻只有一个实例在干活,leader 挂了再换(卷二第 4 章)。
- kube-scheduler 默认也是 Leader Election:多副本里只有 leader 真正调度,非 leader 待命。
为什么调度器不用「多实例同时干活」?因为两个调度器同时处理同一个 Pod 会产生竞争绑定——虽然 apiserver 的乐观并发能保证只绑定一次(1.3 节),但竞争会造成无谓的重试与不可预测的调度结果。调度决策需要『单决策者』语义,即使物理上多副本,逻辑上仍是一次只有一个。
注意这里的「多实例高可用」与 1.3 节「多调度器(schedulerName)」是两回事:前者是同一套逻辑的高可用副本(leader/follower),后者是不同逻辑的并存(各管各的 Pod)。别混淆。
调度器与控制器:观察-决策模式的统一
把 1.2 节的「观察者 + 写入者」与卷二的控制组件对比,会发现它们是同一个模式:
| 角色 | 观察什么 | 写什么 |
|---|---|---|
| Deployment 控制器 | Deployment/RS | ReplicaSet/Pod 的数量字段 |
| HPA 控制器 | 指标 | Deployment 的副本数 |
| 调度器 | Node/Pod | Pod 的 nodeName |
三者都是「订阅增量事件 → 本地决策 → 写 apiserver → 下游 watch 感知」。调度器独特的只是:它的决策要扫全局(所有节点),而控制器只需看自己管辖的对象。这个「全局 vs 局部」的差异,决定了调度器比其他控制组件更依赖缓存与并行(1.2 节读放大、4.3 节并行评分)。
理解这个统一模式,就理解卷三整卷的组织方式:调度、伸缩、节点管理都是同一个控制回路在扮演不同角色——第 15 章回顾时会把它们拼成一张图。
绑定子资源的历史:nodeName 直写与 binding
绑定曾有两种实现方式,了解历史有助于理解「写绑定」的设计取舍:
| 方式 | 路径 | 现状 |
|---|---|---|
| binding 子资源 | POST /api/v1/namespaces/ns/pods/name/binding | 旧式,仍支持 |
| nodeName 直写 | PATCH /api/v1/namespaces/ns/pods/name(改 spec.nodeName) | 推荐,更幂等 |
两者的本质相同——都在写 Pod 的 spec.nodeName。差异在语义:
- binding 子资源是「一次性绑定动作」,历史语义,校验简单。
- nodeName 直写是「声明式更新」,与 SSA(server-side apply)统一——重试更安全(同样的 nodeName 反复 PATCH 无害)。
这个历史揭示一个趋势:K8s 把『特殊动作』(binding、hijack)收敛成『普通字段更新』。调度器绑定从「专用子资源」演进到「声明式字段写」,正是卷二 2.3 节三种 Patch 语义的调度侧应用。写绑定越「普通」,越容易与其他写路径统一处理(准入、审计、乐观并发)。
三个常见误解
- 「调度器直接通知 kubelet 去启动 Pod」——错误。调度器只写 apiserver 的绑定子资源;kubelet 通过自己的 watch 看到绑定后才执行。决策与执行之间永远隔着状态存储。
- 「调度器读到的一定是最新节点状态」——错误。它读的是 informer 缓存,天然滞后;滞后靠事件重试与预扣资源缓解,不是消除。
- 「绑定是命令式指令,kubelet 必须服从」——错误。绑定只是把
spec.nodeName写进对象;kubelet 是独立观察者,它启动失败(镜像拉取、探针失败)时 Pod 状态由 kubelet 自己上报,调度器不背锅也不兜底。
交互的三条协议边界
把两条通道的一致性承诺总结成一张对照表,是理解本节最浓缩的坐标:
| 通道 | 方向 | 协议 | 一致性 | 滞后 |
|---|---|---|---|---|
| 观察 | apiserver → 调度器 | list-watch 增量 | 有界滞后 | 毫秒~秒 |
| 写入 | 调度器 → apiserver | 绑定子资源 POST | 线性一致提交 | 决策即提交 |
| 反馈 | kubelet → apiserver | 状态上报 | 最终一致 | 秒级 |
「观察滞后、写要一致、反馈异步」,调度器就活在这个三角里。第 2 章的队列与重试,本质都是为这个三角的每个角做的补偿设计。
一句话总结本节
调度器与 apiserver 的交互是「观察 + 写入」两条通道的组合,收成三个要点:
- 观察通道:list-watch 建立 Node/Pod 本地缓存,决策基于有界滞后的视图,靠预扣与事件重试补偿滞后。
- 写入通道:绑定子资源把
nodeName持久化,走乐观并发,下游 kubelet 通过自己的 watch 感知。 - 一致性三角:观察滞后、写要线性一致、反馈异步——调度循环的每个设计都在补偿这个三角。
下一节讨论决策者的个数问题:默认单调度器的价值,以及多调度器如何按 schedulerName 分工而不冲突。
一致性承诺速查表
调度器交互涉及的四段一致性,按承诺强度排列:
| 段 | 承诺 | 滞后 |
|---|---|---|
| apiserver 写绑定 | 线性一致提交 | 0 |
| 调度器读 Node/Pod 缓存 | 有界滞后 | 毫秒~秒 |
| kubelet 看绑定 | 有界滞后(watch) | 毫秒~百毫秒 |
| kubelet 状态上报 | 最终一致 | 秒级 |
排障时按「卡在哪段」定位:绑定写失败(第三段之上)、绑定了没运行(第三段到第四段之间)。四段承诺不同,别用同一把尺子量。
本节 lab
本节把「观察 → 决策 → 写入」三段的落地点展示在 queue/scheduler.go:调度器持有一份节点快照(观察),ScheduleOnce 从队列取 Pod、过滤、评分后把节点写进 p.NodeName(决策 + 绑定模拟),并预扣节点资源(best.UsedCPU += p.CPU):
cd private/labs/k8s-sched-lab
go test ./queue -run TestScheduleLoopBind -v
TestScheduleLoopBind 验证两个 Pod 依次绑定且节点快照被正确扣减。这正对应本节「写入即提交 + 本地预扣」的语义——绑定一发生,后续决策立刻看到资源已被占用。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。