12.2 APF 队列与公平性
12.1 节讲了「请求分优先级」。本节讲优先级内部与之间的公平:请求超配额时进队列等待,队列保证先到先服务;配额隔离保证优先级之间互不饥饿。公平在 APF 里有两层含义。
队列:超配额请求的等待区
请求到达时配额可能已用完。此时请求不是被拒,而是进队列:
请求到达 → 配额够 → 立即放行
→ 配额不够 → 进 PriorityLevel 队列(FIFO)等待
lab 的 Enqueue 把请求排进队列,Dequeue 在配额允许时放行队首:
func (p *PriorityLevel) Enqueue(id string) int {
p.requests = append(p.requests, id)
return len(p.requests) - 1
}
排队是「延迟处理」不是「拒绝」:请求进入等待区,配额补充后按顺序放行。这对应真实 APF 的语义——超配额请求先在队列里等,等太久(超时)才可能被拒。排队给了「突发流量」消化空间:短时超载排队消化,不用立即拒绝。
FIFO:队内的先到先服务
同一优先级队列内部,出队顺序是 FIFO(先到先服务):
队:a(先到), b, c
配额 1 个:a 先出
FIFO 的公平性:同一个优先级的请求,谁先来谁先走——不偏袒任何特定请求。这防止了「后来的请求插队」导致某个客户端永远被饿死。
FIFO 是「优先级的内部公平」:优先级决定了「哪一类请求先」,FIFO 决定了「同一类里谁先」。两层加在一起,才是完整的公平。
公平的两层含义
APF 的公平性是分层的,两层缺一不可:
| 层 | 保证 | 机制 |
|---|---|---|
| 优先级之间 | 高优先级不被低优先级饥饿 | 配额隔离 + 高优先级先放行 |
| 优先级内部 | 同一优先级先到先服务 | FIFO 队列 |
测试 TestAPFPriority 验证第一层(高优先级先出队);FIFO 验证第二层(同优先级按序出队)。
为什么需要两层:只分优先级不管内部顺序,一个优先级的请求可以互相插队——谁抢得快谁先走,弱势客户端被饿死;只管内部顺序不管优先级,普通列表请求可能堵死系统控制面请求。两层结合,既保重要请求,又保同一级别的公平。
配额隔离的极限:高优先级也排队
配额隔离不是「高优先级无限」。高优先级也有自己的配额:
高优先级配额 10/s,来了 15 个请求
→ 10 个立即放行,5 个进高优先级队列
→ 下个周期配额补充,5 个按 FIFO 放行
高优先级排队 ≠ 被饥饿:高优先级队列会自己消化(配额补充后放行),只是「要等一会儿」。它排队时也不会影响低优先级(配额独立)。「排队」与「饥饿」的区别就在配额——有独立配额,排队是暂时的;没有配额,排队可能是永久的。
公平性的可观测性:看队列长度
APF 的健康程度看队列长度:
| 队列长度 | 含义 | 动作 |
|---|---|---|
| 长期 0 | 配额充足,无拥堵 | 无 |
| 偶发 >0 | 短时突发 | 无(排队消化) |
| 持续增长 | 该优先级流量超配额 | 扩容或调整 FlowSchema |
lab 的 QueueLen() 提供了这个观测接口。队列长度是「超载程度」的标尺:它告诉你「哪些优先级在拥堵、堵了多少」。运维据此判断是「该优先级流量真的太大」还是「FlowSchema 分类错了」。
与 6.1 节 workqueue 的呼应:两端的队列
把 6.1 节和本节放一起看,控制面里有两类队列:
| 队列 | 在哪一端 | 排队什么 |
|---|---|---|
| workqueue | 控制器内部 | 控制器要 reconcile 的 key |
| APF 队列 | apiserver 内 | 要处理的外部请求 |
两端的队列方向相反、目的相同:workqueue 缓冲「控制器要干的事」,APF 缓冲「apiserver 要接的请求」;两者都是「让处理方不被淹没」的缓冲。workqueue 的去重/退避是「自我节流」,APF 的队列/配额是「服务端公平」——一套「队列 + 限流 + 退避」的组合拳,同时存在于控制器的两端。
队列深度上限:防「无限排队」
队列不能无限长——每个排队的请求都占内存、都在等待。APF 给队列设了深度上限:
| 队列状态 | 行为 |
|---|---|
| 未满 | 请求进队等待 |
| 已满 | 队首请求被丢弃(替代尾部丢弃的策略) |
为什么丢队首不丢队尾:丢队首是「惩罚最先来的、腾空队列」——已经等的请求作废,新的请求还能进。这是 APF 的「降级」策略:超载时不是无限堆积,而是丢弃最旧的、保持队列流动。
队列上限的意义:把「等待」限制在有界范围。没有上限,超载会让队列无限增长(内存耗尽);有上限,超载表现为「丢弃」而不是「膨胀」——系统超载时的行为是可预测的:排队 → 超限 → 丢弃,而不是无限积压。
公平与突发:队列给突发留的缓冲
12.3 节讲令牌桶容忍突发,队列在突发面前也有角色:
突发 30 个请求(预算 10/s):
前 10 个:令牌够,立即放行
后 20 个:进队列(FIFO)
后续:令牌补充,队列按先来后到消化
队列 + 令牌桶的组合:令牌桶决定「每秒放行几个」,队列决定「放不下的往哪放」。突发被「立即放行一部分 + 排队消化其余」处理——突发被吸收,而不是被硬拒。
这解释了为什么 APF 优于简单的每秒计数器:计数器会拒掉突发中的大部分;APF 让突发「排着队慢慢进」,只要队列不爆,突发最终都被处理。对真实工作负载(有突发),「排队 + 有界丢弃」比「硬限」公平得多。
公平的可配置性:FlowSchema 里的配额即公平
公平不全是「系统自动的」——它很大程度是配置出来的:
| 配置 | 控制的公平维度 |
|---|---|
| 每个 PriorityLevel 的配额 | 优先级之间的公平分配 |
| 每个 FlowSchema 的匹配 | 哪些请求进哪个优先级 |
| 队列深度上限 | 可容忍的等待量 |
「公平」在 APF 里不是一个抽象概念,而是一组可调的数字:给 system 级高配额就是「控制面优先」,给 workload 级中配额就是「业务公平」。运维调的是数字,表达的是「在这个集群里,谁多重要」。这与 12.1 节「公平是分配」是同一个思想——公平 = 配额的刻意安排。
真实 APF 的队列参数:一组可调数字
lab 把队列简化为一个切片,真实 APF 的队列配置是一组数字:
| 参数 | 含义 |
|---|---|
queues | 每个 PriorityLevel 有几个队列 |
handSize | 请求散列到队列时参考几个队列(防热点) |
queueLengthLimit | 队列长度上限(丢队首的阈值) |
队列是「多队列 + 散列」而不是单队列:请求按特征散列到不同队列,避免「同类请求全挤一个队列」。这比 lab 的单队列更公平——多队列让不同客户端并行消化,单个客户端打爆只影响它所在的队列。
APF 的公平性不是「一个配置」,而是「一组配置的组合」:FlowSchema 定分类、PriorityLevel 定配额、queues/handSize/queueLengthLimit 定队列结构。真实排障 APF 就是调这组数字——和 12.3 节「调数字即调公平」一致。
三个常见误解
- 「APF 超配额就拒绝」——不准确。先排队,排队消化;只有等太久才拒绝。
- 「高优先级不排队」——错误。高优先级也排队,但有独立配额、不会被低优先级饿死。
- 「公平就是人人一样」——错误。公平是「按优先级 + 按先来后到」——重要请求优先,同级别先到先服务。
本节 lab
本节验证优先级间的公平与队内 FIFO:
cd private/labs/k8s-ctrl-lab
go test ./admission -run 'TestAPFPriority' -v
TestAPFPriority:低优先级先排队,高优先级后到仍先出队——「优先级之间不饥饿」。TestAPFTokenBucket的队列部分:预算内先到先出,预算外排队等待——「优先级内部 FIFO」的节奏。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。