四卷规划 · 卷一 共识与存储 · 卷二 控制面与调谐循环 · 卷三 调度与资源 · 卷四 网络、存储、多集群与一致性边界
本卷阅读路径
flowchart LR
Problem["第 1–2 章 · 调度问题与队列"] --> Filter["第 3–4 章 · Filter 硬约束 / Score 软偏好"]
Filter --> Preempt["第 5 章 · 抢占与优先级"]
Filter --> Topo["第 6 章 · 拓扑感知调度"]
Filter --> Framework["第 7 章 · 调度器扩展"]
Filter --> Resource["第 8 章 · 资源模型"]
Resource --> QoS["第 9 章 · QoS 与驱逐"]
QoS --> Kubelet["第 10 章 · Kubelet 状态机"]
Resource --> HPA["第 11–13 章 · HPA / VPA / KEDA"]
HPA --> Scale["第 14 章 · 节点级伸缩"]
Preempt --> Loop["第 15 章 · 一致性闭环"]
Topo --> Loop
Framework --> Loop
Kubelet --> Loop
Scale --> Loop
卷三从「调度问题的形式化」入手:先建立调度循环与三队列的模型,再进入 Filter 硬约束与 Score 软偏好的两级决策,随后展开抢占与优先级、拓扑感知、调度框架扩展,接着把镜头从「决策」转到「资源」——requests/limits、超额分配、QoS 与驱逐、Kubelet 状态机,最后进入弹性伸缩的负反馈回路(HPA/VPA/KEDA/节点级伸缩)并以「从调度到运行的一致性闭环」收口。卷三解决「期望状态如何被放到哪台机器上、资源如何被公平有效地分配、负载变化如何被负反馈吸收」;卷一(共识与存储)、卷二(控制面与调谐循环)提供前提,卷四(网络、存储、多集群与一致性边界)接续。
怎么读这一卷
三条阅读路径
| 路径 | 章节顺序 | 建议周期 | 适合谁 |
|---|---|---|---|
| 决策主线 | 第 1–2 章 → 第 3–5 章 → 第 6–7 章 | 约 4 周 | 先看调度循环,再完整走 Filter/Score/抢占与拓扑、框架扩展。 |
| 资源与运行线 | 第 8–9 章 → 第 10 章 → 第 15 章 | 约 3 周 | 从资源模型与 QoS 出发,看驱逐与 Kubelet 状态机如何落到运行态。 |
| 伸缩主线 | 第 8 章 → 第 11–14 章 | 约 4 周 | 从利用率指标出发,直接走 HPA/VPA/KEDA 与节点级伸缩的控制回路。 |
与站内既有内容的分工
| 书稿 | 负责范围 | 本卷如何处理 |
|---|---|---|
| 卷一 共识与存储:Raft 与 etcd | 状态怎么来的、怎么一致 | 不再讲 etcd/Raft,把「状态」当已就绪前提,讲调度与资源决策 |
| 卷二 控制面与调谐循环 | 声明到收敛的控制回路 | 复用控制器与调谐语义,专注调度器自身的决策与资源伸缩 |
| 《游戏服务端架构》 四卷 | 服务端进程内的核心系统与契约 | 不写业务系统,讲集群层面的调度、资源与伸缩机制 |
| 《移动游戏产品的架构》 | 游戏产品的服务端与客户端架构 | 同为「组件 + 机制」写法,对象换成 K8s 调度器与资源系统 |
十五章依赖关系
| 章 | 标题 | 依赖 |
|---|---|---|
| 1 | 分布式调度问题 | 无 |
| 2 | 调度框架与队列 | 依赖第 1 章的问题形式化 |
| 3 | Filter:硬约束 | 依赖第 2 章的调度循环 |
| 4 | Score:软偏好 | 依赖第 2、3 章(同一调度管线) |
| 5 | 抢占与优先级 | 依赖第 3、4 章 |
| 6 | 拓扑感知调度 | 依赖第 3 章的过滤语义 |
| 7 | 调度器扩展 | 汇总第 2–6 章的框架视角 |
| 8 | 资源模型 | 依赖第 3 章的可用性过滤 |
| 9 | QoS 与驱逐 | 依赖第 8 章的资源模型 |
| 10 | Kubelet 状态机 | 依赖第 1、2 章(调度到运行的落点) |
| 11 | HPA 控制回路 | 依赖第 8、9 章的利用率语义 |
| 12 | VPA 与资源画像 | 依赖第 8、11 章 |
| 13 | KEDA 事件驱动 | 依赖第 11 章 |
| 14 | 节点级伸缩 | 依赖第 3、4、9、11 章 |
| 15 | 调度与资源的一致性闭环 | 汇总第 1–14 章 |
按问题追踪实现
- 从「一个 Pod 如何被安排到某台节点」:沿调度问题的形式化 、调度循环 和Filter 硬约束 阅读。
- 从「调度失败后怎么办」:沿调度事件与重试 、抢占与受害者选择 和节点压力驱逐 阅读。
- 从「负载上涨了怎么扩容」:沿requests/limits 与利用率 、HPA 比例控制 和节点级伸缩 阅读。
每条路径的机制都由 k8s-sched-lab(private/labs/k8s-sched-lab)验证:cd private/labs/k8s-sched-lab && go build ./... && go test ./...,69 用例全过。
逐节索引
第 1 章 分布式调度问题
| 节 | 文章 | 核心内容 |
|---|---|---|
| 1.1 | 1.1 调度问题的形式化与 K8s 定位 | 资源约束满足 + 偏好优化的双目标。 |
| 1.2 | 1.2 调度器与 API Server 的交互 | list-watch 感知与绑定结果写回。 |
| 1.3 | 1.3 单调度器 vs 多调度器 | 单点决策与调度器副本的取舍。 |
第 2 章 调度框架与队列
| 节 | 文章 | 核心内容 |
|---|---|---|
| 2.1 | 2.1 调度循环:informer→队列→选择→绑定 | 调度一个 Pod 的完整往返。 |
| 2.2 | 2.2 ActiveQ/BackoffQ/UnschedulableQ | 三队列与跨队列移动规则。 |
| 2.3 | 2.3 调度事件与重试语义 | 事件驱动重试与退避。 |
第 3 章 Filter:硬约束
| 节 | 文章 | 核心内容 |
|---|---|---|
| 3.1 | 3.1 节点选择器与亲和/反亲和过滤 | 标签匹配与亲和/反亲和语义。 |
| 3.2 | 3.2 污点容忍匹配算法 | taint/toleration 的匹配算法。 |
| 3.3 | 3.3 资源可分配、端口与卷冲突过滤 | 容量、端口与卷冲突检测。 |
第 4 章 Score:软偏好
| 节 | 文章 | 核心内容 |
|---|---|---|
| 4.1 | 4.1 评分模型:LeastRequested/MostRequested/Balanced | 三种经典评分函数。 |
| 4.2 | 4.2 评分权重组合 | 加权归一化与零权处理。 |
| 4.3 | 4.3 并行评分与结果排序 | 并行扇出与确定性排序。 |
第 5 章 抢占与优先级
| 节 | 文章 | 核心内容 |
|---|---|---|
| 5.1 | 5.1 Preemption 流程与受害者选择 | dry-run 调度与受害者挑选。 |
| 5.2 | 5.2 PriorityClass 的分布式协调 | 优先级如何跨调度器/节点/控制器对齐。 |
| 5.3 | 5.3 抢占的代价与可容忍性 | 抢占成本、PDB 与容忍阈值。 |
第 6 章 拓扑感知调度
| 节 | 文章 | 核心内容 |
|---|---|---|
| 6.1 | 6.1 topologySpreadConstraints 与跨故障域 | 跨 zone/节点/机架的分布约束。 |
| 6.2 | 6.2 PodTopologySpread 算法 | 最小倾斜与覆盖域规则。 |
| 6.3 | 6.3 拓扑路由与流量亲和 | 调度与流量就近的联动。 |
第 7 章 调度器扩展
| 节 | 文章 | 核心内容 |
|---|---|---|
| 7.1 | 7.1 Scheduler Framework 扩展点 | 插件化扩展点的编排。 |
| 7.2 | 7.2 SchedulingGates 与异步准入 | 调度前等待外部条件。 |
| 7.3 | 7.3 插件开发与 scheduler extender | 原生插件与 HTTP extender。 |
第 8 章 资源模型
| 节 | 文章 | 核心内容 |
|---|---|---|
| 8.1 | 8.1 requests/limits:CPU 可压缩、内存不可压缩 | 压缩性差异与分配语义。 |
| 8.2 | 8.2 超额分配与装箱效率 | overcommit 与装箱折衷。 |
| 8.3 | 8.3 工程陷阱:cgroup v2、PodOverhead | 实测可分配与开销陷阱。 |
第 9 章 QoS 与驱逐
| 节 | 文章 | 核心内容 |
|---|---|---|
| 9.1 | 9.1 Guaranteed/Burstable/BestEffort 分类 | 三类 QoS 的分类规则。 |
| 9.2 | 9.2 节点压力驱逐排序与阈值 | QoS→优先级→用量的驱逐序。 |
| 9.3 | 9.3 主动驱逐 vs 内核 OOM | 两种回收路径的分工。 |
第 10 章 Kubelet 状态机
| 节 | 文章 | 核心内容 |
|---|---|---|
| 10.1 | 10.1 Pending→Running 的路径(PLEG/CRI) | 调度结果到容器启动的对账。 |
| 10.2 | 10.2 探针与重启策略状态机 | liveness/readiness 与重启决策。 |
| 10.3 | 10.3 节点 Lease 心跳与失联判定 | 心跳续租与失联超时。 |
第 11 章 HPA 控制回路
| 节 | 文章 | 核心内容 |
|---|---|---|
| 11.1 | 11.1 目标利用率比例控制与平滑窗口 | desired = current × util / target。 |
| 11.2 | 11.2 指标来源:metrics-server/自定义/聚合 | 指标管线与可达性。 |
| 11.3 | 11.3 伸缩滞后与振荡:稳定窗口设计 | 冷却与滞后抑制振荡。 |
第 12 章 VPA 与资源画像
| 节 | 文章 | 核心内容 |
|---|---|---|
| 12.1 | 12.1 Recommender/Updater/Admission 三组件 | 三组件职责与数据流。 |
| 12.2 | 12.2 资源画像与百分位聚合 | 历史用量与 P90 推荐。 |
| 12.3 | 12.3 更新模式:recreate/initial/off | 三种更新模式的取舍。 |
第 13 章 KEDA 事件驱动
| 节 | 文章 | 核心内容 |
|---|---|---|
| 13.1 | 13.1 ScaledObject 控制器与事件源抽象 | 外部指标接入 HPA 的桥。 |
| 13.2 | 13.2 外部指标进入 HPA | external metric 管线。 |
| 13.3 | 13.3 队列/流量的驱动适配 | 队列深度与 QPS 缩放。 |
第 14 章 节点级伸缩
| 节 | 文章 | 核心内容 |
|---|---|---|
| 14.1 | 14.1 Cluster Autoscaler:模拟调度与池伸缩 | 模拟调度决定加/减节点。 |
| 14.2 | 14.2 Karpenter 声明式节点生命周期 | 节点模板与快速供应。 |
| 14.3 | 14.3 与调度/驱逐协同、冷启动 | 缩容驱逐与节点冷启动。 |
第 15 章 调度与资源的一致性闭环
| 节 | 文章 | 核心内容 |
|---|---|---|
| 15.1 | 15.1 从调度到运行的完整状态流 | 声明→调度→运行的全链路。 |
| 15.2 | 15.2 调度失败与多副本调度器 | 失败重试与副本扩展。 |
| 15.3 | 15.3 卷三回顾:约束满足+评分+抢占+负反馈 | 四类机制如何构成闭环。 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷一 共识与存储:Raft 与 etcd :控制面的状态与共识,本卷「期望状态」的前提。
- 卷二 控制面与调谐循环 :声明式调谐与控制器模式,本卷「收敛」语义的起点。
- 《游戏服务端架构》 四卷:服务端进程内的调度与资源队列,与本卷集群调度互补。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。