《Kubernetes 分布式系统原理深入解析》15.3 卷三回顾:约束满足+评分+抢占+负反馈

卷三收束节把全书知识收敛成四个机制:硬约束(Filter)防不可行、软偏好(Score)优化布局、抢占(Preemption)保优先级、负反馈(伸缩控制回路)保容量,分别对应可用性、效率、优先级、弹性四个目标,并讲清它们的时间尺度差异。lab 用 autoscaler、queue、framework、filter、score、preempt 六个包的完整测试套件验证四类机制的真实行为。

15.3 卷三回顾:约束满足+评分+抢占+负反馈

卷三到这里收束。前 14 章讲了调度队列、硬约束、软偏好、拓扑分布、抢占、调度框架、资源模型、QoS、kubelet 状态机与伸缩控制回路,加上 15.1 的完整状态流与 15.2 的失败与高可用语义,现在可以把它们收敛成一个统一的框架:四个机制,各管一种失衡,共同保证四个目标。 本节做这件事,并给出机制之间的时间尺度差异与一致性边界,最后把视线交棒给卷四。

这个框架的用意不是给卷三贴标签,而是回答一个实践中反复遇到的问题:集群出现某种症状时,应该去调哪个旋钮。 把症状归因到失衡,把失衡对应到机制,把机制对应到章节与具体参数——卷三的零散知识在这张归因图里才真正可用。

四个机制、四个目标

把卷三的全部知识压到一张心智图里,就是四个机制对四个目标:

目标失衡机制章节
可用性节点不可行硬约束(Filter)第 3、6 章
效率布局低效软偏好(Score)第 4、6 章
优先级高优先级被饿死抢占(Preemption)第 5 章
弹性容量不足或过剩负反馈(伸缩控制回路)第 11–14 章

每个机制都是对一类「失衡」的直接反应:不满足硬约束的 Pod 放上去就起不来(不可用);资源全挤在一台节点上(低效);低优先级占着节点让高优先级等不到(饿死);副本数与负载不匹配(容量失衡)。调度系统的全部复杂性,都是这四个失衡的展开。

四个机制不是平行的四个功能,而是有先后次序的一条链:Filter 先筛出可行集,Score 在可行集里选优,Preemption 在「选优也找不到」时强制腾位,伸缩在「腾位也填不满」时改变容量。前一个机制的输出是后一个机制的输入,后一个机制是前一个机制的兜底——这条链就是调度系统的控制流主线。

硬约束(Filter):防不可行

Filter 回答的是「能不能放」:节点选择器、亲和/反亲和、污点容忍、资源可分配、端口与卷冲突、拓扑分布硬约束(第 3、6 章)。它是一票否决制——任一 Filter 拒绝,节点出局,且按第 7 章可短路(前一个失败,后面的不再执行)。

硬约束保护的目标是可用性:把一个不满足约束的 Pod 放上节点,不是在节约资源,而是在制造一个起不来的 Pod。Filter 的可修复性判断(15.2 节)还决定失败进 UnschedulableQ 还是 BackoffQ——硬约束既是安置决策,也是失败分类的依据。

可用性这个目标也解释了为什么 Filter 必须「宁紧勿松」:一个被错误放行的 Pod,代价是整台节点上多一个永远不健康的僵尸,还要占用资源、触发后续驱逐与重建。Filter 的误报(拒绝可行)成本低——Pod 多等一会;漏报(放行不可行)成本高——Pod 永远起不来。 这个不对称决定了硬约束的设计倾向:宁可保守。

Filter 的一个本质特征是它只回答「行不行」,不回答「好不好」。可行节点可能很多,选择哪一个属于下一个机制的事。这个「可行」与「最优」的分离,是调度系统可维护性的基石:约束可以独立增删,不影响评分逻辑。

第 3 章的具体约束各有各的判定难点:亲和性要匹配标签还要区分硬/软两种语义,污点容忍要按效果(NoSchedule/NoExecute)与容忍时长逐条匹配,资源可分配要同时看 requests 与可分配量(第 8 章讲过可分配量要扣掉系统保留),端口冲突要检查宿主机端口占用,卷冲突要检查读写模式与挂载点。每一种 Filter 都是「把不可行从可行里剔除」的专用判据,合在一起才覆盖完整的不可行面。

软偏好(Score):优化布局

Score 回答的是「放哪里更好」:LeastRequested、MostRequested、Balanced、拓扑分布评分(第 4、6 章),按权重加权求和(第 4.2 节),并行计算后排序选优(第 4.3 节)。

软偏好保护的目标是效率:同一个 Pod 放不同节点,长期成本可能差很多——放到接近满载的节点可以提高装箱率(MostRequested),放到空闲节点可以均衡负载(LeastRequested),跨可用区分散可以抗单区故障(第 6 章)。Filter 决定下限(可用),Score 决定上限(高效)。

Score 的分数是相对值而非绝对值:不同评分器权重组合后选最高分,分数本身没有业务语义,只用于排序。这也是为什么评分逻辑可以安全地增删、调权——它只影响「谁更优」,不影响「谁可行」。

几个评分模型的取向可以对照着看:LeastRequested 偏爱空闲节点,适合延迟敏感的服务(分摊负载);MostRequested 偏爱装满节点,适合追求装箱率(降成本);Balanced 偏爱资源利用率均衡的节点,避免出现「CPU 打满内存空闲」的畸形节点。没有绝对正确的评分模型,只有与业务目标匹配的评分模型——第 4.2 节讲权重时强调过,调权的效果要放在具体负载形态里验证,而不是拍脑袋。

第 6 章的拓扑分布把「效率」从单节点扩展到区域:PodTopologySpread 算法按拓扑域(可用区、节点)计数分布,把副本摊开降低单点故障影响,同时也可能压低装箱率。布局优化的对象是「整个副本集的空间形态」,而不只是「单个 Pod 的落点」——这是 Score 与拓扑分布合起来才能表达的目标。

抢占(Preemption):保优先级

抢占回答的是「优先级怎么兑现」:当高优先级 Pod 在所有候选节点上都找不到足够资源时,第 5 章的 Preemption 流程挑选低优先级 Pod 作为受害者、驱逐它们释放资源,让高优先级 Pod 入场。

抢占保护的目标是优先级:队列出队顺序已经让高优先级者先被处理(第 2 章),但如果节点被低优先级 Pod 占满,「先处理」也会变成「无节点可放」。抢占补上这最后一段:队列保证先后,抢占保证让位。

抢占是有代价的机制——被驱逐的 Pod 要重启、可能有 PDB 约束与跨可用区成本(第 5.3 节)。它只在「无可行节点且存在低优先级可牺牲者」时才触发,是硬约束与评分都尽力之后的最后手段。设计取舍非常明确:牺牲一部分低优先级 Pod 的稳定性,换取高优先级工作的确定性。

受害者选择有自己的规则集:优先选优先级更低的(不伤害同级)、同优先级选资源占用量更大的(一次释放更多)、还要尽量把驱逐影响控制在最小集合(第 5.1 节)。凑不够目标资源时宁可放弃抢占,也不做无效驱逐——抢占是精确手术,不是无差别清扫。PDB 把「一次不能打死太多副本」作为边界,防止抢占本身引发新的可用性事故。

负反馈(伸缩控制回路):保容量

前三类机制都在「每次调度决策」的时间尺度上工作;伸缩控制回路则在「持续调谐」的时间尺度上工作。HPA 按目标利用率算期望副本、VPA 按历史百分位推荐资源、KEDA 把事件源指标换算成副本数、Cluster Autoscaler 模拟调度后加/减节点(第 11–14 章)。

伸缩保护的目标是弹性:容量不足时 UnschedulableQ 会堆满资源类失败,容量过剩时节点利用率低下浪费成本。前三类机制在既定容量内优化,伸缩则改变容量本身——它是唯一能「改变问题规模」的机制。

这也是四个机制里最「系统级」的一个:它的输入不来自单个 Pod 的字段,而来自对整个副本集/节点池的聚合测量;它的输出不作用于单个 Pod,而作用于期望副本数与节点池规模。前三个机制优化「怎么放」,伸缩优化「放多少」——两个问题不同,机制自然不同。

负反馈的名称来自控制理论:它测量输出(利用率、队列深度)、与期望值比较(目标利用率、目标每 Pod 吞吐)、计算误差、执行调整,再反复测量。稳定窗口与冷却(第 11.2/14.3 节)抑制振荡,就像比例控制器的阻尼——没有阻尼的伸缩会把集群变成来回震荡的跷跷板。

四种伸缩组件覆盖了不同的「负载信号」:HPA 用资源利用率这类内置指标按比例算副本数,VPA 用历史用量百分位反推合理的 requests 声明,KEDA 把消息队列深度、HTTP 速率等事件源指标换算成副本需求,Cluster Autoscaler 则用「模拟调度」判断装不下的 Pod 该不该加节点、节点利用率太低该不该缩。它们互补而不重复:HPA/VPA 调副本与资源声明,KEDA 把弹性扩展到外部事件源,Cluster Autoscaler 调节点池规模。

伸缩还有个关键约束是执行速率:扩太快伤稳定性、缩太慢伤成本。稳定窗口(决策后冷却几轮)、缩容保护(利用率低于阈值才缩)都是对速率的工程化控制——弹性的质量不在于反应快,而在于反应准。

四个机制对照表

把机制、目标、时间尺度、失败语义、与 15.2 的关联压成一张总表:

机制目标时间尺度触发条件与调度失败的关系
硬约束 Filter可用性每次决策有候选节点即评估拒绝产生失败原因,决定队列去向
软偏好 Score效率每次决策Filter 通过后评估无失败语义,只影响选优
抢占 Preemption优先级每次决策高优先级无可行节点失败前的自救;凑不够仍失败
伸缩负反馈弹性持续调谐指标偏离目标根治资源类失败,改变容量

前三行是「每次调度决策都执行」的同步机制,最后一行是「周期性持续运行」的异步机制。同步机制保证单次决策的正确与高效,异步机制保证长期运行的稳定与弹性——两类机制缺一不可。

表中「触发条件」一列还有一个共性值得注意:前三个机制都在调度主循环里被动响应——有 Pod 出队就评估;伸缩则在时间或指标驱动下主动运行。同步机制是「被请求才工作」,异步机制是「定期自己醒来工作」。这决定了它们的负载特征:同步机制的性能瓶颈在单次调度延迟,异步机制的性能瓶颈在周期扫描的开销与收敛速度。

时间尺度差异:一次决策 vs 持续调谐

这是卷三最重要的一个认知:Filter、Score、Preemption 的时间尺度是「一次调度」,伸缩的时间尺度是「持续运行」。

  • 前三个机制在 Pod 出队到绑定之间的一次性决策中完成,毫秒到秒级,由事件驱动(新 Pod 创建、节点变更)。
  • 伸缩控制回路以秒到分钟为周期反复执行:HPA 同步周期、VPA 重算周期、Cluster Autoscaler 扫描周期。它不针对单个 Pod,而是针对整个副本集/节点池。

从实现看这个差异更直观:调度循环是「来了 Pod 才动」的反应式模型,伸缩是「定时器 + 指标采样」的常驻式模型。前者可以用一个简单循环加事件回调实现(lab 里 ScheduleOnce/ScheduleLoop 就是),后者需要状态积累(平滑指标、冷却计数、历史百分位),两者的工程形态也因此完全不同。

这个差异也解释了为什么两类机制对「错误」的容忍度不同:调度决策错了,靠失败重试与抢占兜底(15.2 节),通常一次或几次循环内修正;伸缩决策错了,靠稳定窗口与冷却抑制振荡,修正要等下一周期。快机制错了代价小但机会多,慢机制错了代价大但可用阻尼控制——两类机制的设计哲学因此不同。

两类机制还有一个配合关系:伸缩的粒度是副本数,调度的粒度是单 Pod 落点。HPA 把期望副本数从 3 改成 5,控制器创建 2 个新 Pod,调度器分别为它们选节点——伸缩「决定总量」,调度「落实每个个体」。总量与落点的解耦,让弹性与布局可以独立演进:扩缩容不用重新设计调度策略,调度调优也不会破坏弹性逻辑。

时间尺度差异带来两个推论。其一,前三个机制是「局部的、即时的」优化,伸缩是「全局的、历时的」优化——调度器不可能预知未来几分钟的负载,只能依据当前快照决策;伸缩则用历史与持续测量弥补这种短视。其二,两者通过 Pod 数量衔接:伸缩改变期望副本数,控制器据此创建或删除 Pod,新 Pod 走一遍前三个机制。伸缩是慢机制,调度是快机制,快机制嵌入在慢机制之内。

这两层尺度也解释了卷三为何没有把「自愈」算成单独机制:节点失联后的 Pod 重建(第 10 章)本质上是「负反馈 + 调度」的合体——失联是测量到的偏差,重建是对偏差的补偿,重建出的新 Pod 再走 Filter/Score。自愈不是第五个机制,而是四个机制的协同反应。

从工程实践看,分清楚时间尺度有实际价值:排查「调度慢」要查快机制(队列、Filter/Score 的耗时),排查「集群长期不稳」要查慢机制(伸缩周期、稳定窗口、缩容阈值)。把两类问题的排查入口分错,会在错误的地方浪费大量时间。

失衡与补偿:机制各自解决什么

把「失衡 → 机制 → 补偿动作」再说透一层:

  • 不可行失衡:候选节点都不满足约束 → Filter 拒绝 → Pod 等待或退避。补偿动作是「不放」,宁可 Pending 也不硬塞。
  • 布局失衡:可行但放得差 → Score 选优 → 从「都行」里挑「最好」。补偿动作是「选择」,把低效留给评分器的权重调优。
  • 优先级失衡:高优先级挤不进去 → Preemption 驱逐 → 释放节点。补偿动作是「让位」,用低优先级 Pod 的牺牲换高优先级确定性。
  • 容量失衡:副本与负载不匹配 → 伸缩增减 → 改变供给。补偿动作是「改变规模」,从根上消除资源类失败。

四类失衡还有一个共同的观察点:它们都可以从 UnschedulableQ 的内容里读出来(15.2 节讲过)。资源类失败堆积指向容量失衡,选择器/亲和类失败指向配置错误,而「高优先级 Pod 频繁抢占」指向优先级失衡。调度系统把失衡暴露在队列里,运维用队列做仪表盘——失衡不是靠猜,而是靠读队列。

把这张「失衡归因图」和卷三各章再对一遍,就能画出一条完整的阅读地图:第 1–2 章是调度主循环与队列(机制的容器),第 3、6 章是硬约束(机制一),第 4、6 章是软偏好(机制二),第 5 章是抢占(机制三),第 7 章是框架(机制的插件化入口),第 8–10 章是资源/QoS/kubelet(机制的物理底座),第 11–14 章是伸缩(机制四)。卷三的全部章节都挂在四个机制的树上。

四个补偿动作合起来是一句可操作的话:不能放的别放,能放的放好,挤不进的让位,不够的补够。 这句话就是调度系统的完整行为纲领。

从运维角度读这句话,每类失衡都有对应的「症状 → 机制 → 旋钮」映射:看到 FailedScheduling 里满是资源不足,旋钮是伸缩与容量规划;看到节点利用率参差,旋钮是评分权重与拓扑分布约束;看到高优先级任务排队饿死,旋钮是 PriorityClass 与抢占开关;看到集群规模失衡,旋钮是 Cluster Autoscaler 的阈值。把失衡症状对应到机制旋钮,是卷三知识的最终落点。

一致性边界:单调度器到多集群

卷三把一致性保证收敛在集群内、单调度决策这个边界内。15.2 节讲过,多副本调度器用 leader 选举保证「同一时刻只有一个决策者」,spec.nodeName 是唯一交接字段,apiserver 是唯一事实源——这些构成了调度一致性的四个支柱:

  1. 唯一决策者(leader 选举)。
  2. 唯一写者(只有活跃调度器写绑定)。
  3. 唯一事实源(apiserver / etcd 保存 Pod 状态)。
  4. 唯一认领者(kubelet 只认 nodeName 匹配的 Pod)。

这四根支柱有一个共同点:它们都在「单集群、单 apiserver」的前提下成立。只要集群还是一个 apiserver + 一群 kubelet,这四个唯一就能被廉价地保证;一旦跨集群,apiserver 不再是唯一事实源,「唯一」二字就要重新定义。

超出这个边界,一致性就要重新谈判:多集群场景下,同一工作负载跨集群分布时,每个集群各自独立调度,没有全局决策者;跨集群流量调度、状态同步、资源池共享都涉及新的一致性协议。这正是卷四《网络、存储、多集群与一致性边界》要展开的内容——卷三的一致性边界止步于单集群调度决策,卷四把这个边界推到网络、存储与多集群之间。

网络与存储还会反过来约束调度:Service 与 EndpointSlice 依赖 Pod 就绪信息(第 10 章探针的消费方),存储卷的挂载区域限制了 Pod 能去的节点,多集群流量切分要求跨集群的调度感知。调度决策的输入不止是节点资源,还包括网络可达与存储归属——这些一致性边界正是卷四的展开空间。卷三收束于此,四卷把它放大到更大的分布式系统图景。

三个常见误解

  • 「调度只关心把 Pod 放上去」——错误。放上去只是 Filter 的及格线,还有 Score 优化布局、Preemption 保优先级、伸缩保容量。四类机制分工不同,少任何一个,集群都会在某类失衡下退化。
  • 「抢占和伸缩是一回事,都是释放资源」——错误。抢占是每次调度决策时的同步让位,牺牲低优先级 Pod 保高优先级;伸缩是持续的负反馈调谐,改变副本与节点规模保容量。一个解决「挤不进去」,一个解决「容量不够」,时间尺度也完全不同。
  • 「调度一致性需要分布式事务」——错误。调度把状态收敛到 apiserver 单一事实源,用唯一决策者、唯一写者、唯一认领者四个支柱保证一致性,避开了分布式事务。超出单集群后才是新的分布式问题。

本节 lab

卷三全部核心包的完整测试套件一次跑完,覆盖四类机制:

cd private/labs/k8s-sched-lab
go test ./autoscaler ./queue ./framework ./filter ./score ./preempt -v

这条命令一次验证四类机制:filter 包验证硬约束(选择器、亲和、污点、资源、端口、卷、链路短路);score 包验证软偏好(LeastRequested/MostRequested/Balanced、权重组合、并行一致性、排序);preempt 包验证抢占(受害者选择、同优先级取大、凑不够不抢、无低优先级可牺牲);queue 与 framework 包验证队列转移与调度框架扩展点;autoscaler 包验证负反馈(HPA 比例控制、稳定窗口、VPA 百分位、KEDA 事件源、Cluster Autoscaler 加/减节点)。全套用例通过,即四个机制的行为都有了可运行的证据。

这套用例与前几节的单条验证是包含关系:15.1 用 TestScheduleLoopBind 看调度段状态流,15.2 用失败退避与无可行节点用例看失败回收;本节把六个包完整跑一遍,是把全卷的算法行为做一次总验收。运行时的包级 ok 输出就是四个机制全部就位的最终证明——卷三的每一个结论,都可以从这套用例里复现。

全卷共 69 个用例分属 queue、filter、score、preempt、topology、framework、resmodel、qos、kubelet、autoscaler 十个包(README 有逐包的章节对照),本节这条命令覆盖其中六个核心包。想验证完整面,可以直接 go test ./... 跑全部包——四个机制之外,资源模型、QoS 驱逐与 kubelet 状态机(第 8–10 章)也在同一条套件里。

一句话总结本节

卷三用四个机制回答调度系统如何同时保证可用性、效率、优先级与弹性:Filter 防不可行、Score 优化布局、Preemption 保优先级、伸缩负反馈保容量;前三者是每次决策的同步机制,伸缩是持续调谐的异步机制。一致性保证收敛在单集群单调度决策边界内,再往外就是卷四的网络、存储与多集群主题。卷三至此收束。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图