《Kubernetes 分布式系统原理深入解析》12.1 APF:FlowSchema 与优先级

第 6 章讲控制器自我节流,第 12 章讲服务端限流:APF(API Priority and Fairness)保护 apiserver 不被超载。APF 先把请求按 FlowSchema 归入优先级(PriorityLevel),再按优先级分配配额——高优先级(如 kube-controller-manager 的系统请求)不被低优先级(如非列表请求)饥饿。本节解剖 FlowSchema 分流与优先级分配。lab 用 admission/apf.go 验证高优先级优先放行。

12.1 APF:FlowSchema 与优先级

第 6 章讲了控制器侧的自限流。本节换到服务端:APF(API Priority and Fairness)——apiserver 自带的限流器,保护它不被超载。它的第一步是「把请求分门别类」,由 FlowSchema 完成。本节解剖分流与优先级。

APF 要解决什么:公平地拒

6.3 节说客户端要自我节流。但客户端不可能永远靠谱——总会有人写坏循环、发超量请求。APF 是 apiserver 的最后防线:

问题APF 的答案
apiserver 被打爆限流:超配额请求排队/拒绝
系统请求被饿死公平:高优先级先走
谁占用了配额可观测:FlowSchema 统计

APF 的目标不是「拒绝一切超额」而是「公平地分配」:当 apiserver 满负荷时,保证重要的请求(控制面内部、系统组件)优先,次要的请求(大列表、非关键写)被降级。降级优于崩溃——6.3 节的分工在这里落地。

FlowSchema:请求的分类器

APF 的第一件事是把每个请求归入某个优先级。分类由 FlowSchema 完成:

请求(用户、动词、资源、namespace、label)
  → 匹配某个 FlowSchema(用 label 选择器匹配请求属性)
  → 归入对应的 PriorityLevel(优先级)

FlowSchema 的关键属性:

属性含义
matchingPrecedence多个 FlowSchema 都匹配时,谁优先(数字小优先)
match匹配请求的规则(动词、资源、label)
priorityLevel匹配后归入哪个优先级

FlowSchema 是「请求 → 优先级」的映射规则。真实 K8s 里预置了几条:system(system:nodes 等系统请求)、workload-high、workload-low、global-default、catch-all(兜底)。它把「请求混在一起」变成「请求分优先级」——这是公平限流的第一步。

优先级:配额按级分配

请求归入优先级(PriorityLevel)后,每个优先级有自己的配额(budget)。lab 的 PriorityLevel:

type PriorityLevel struct {
    Name         string
    BudgetPerSec float64 // 每秒配额(个请求)
    requests     []string // FIFO 队列
}

优先级的意义:

  1. 配额隔离:一个优先级用完自己的配额,不影响其他优先级。
  2. 内部公平:同一优先级内的请求 FIFO 排队,先到先服务。
  3. 高低有别:系统优先级配额高、重要请求不被次要请求挤掉。

配额是「按级隔离」的:低优先级再拥堵,也不能耗尽高优先级的配额。这正是「公平」的实现机制——不是全局一个池子抢,而是每级一个池子各管各的。

Serve:从高优先级开始放行

APF 每轮 Serve 从高优先级开始逐个放行:

func (a *APF) Serve(now time.Time) []string {
    served := []string{}
    for _, lv := range a.Levels {
        for {
            id := lv.Dequeue(now)
            if id == "" {
                break
            }
            served = append(served, id)
        }
    }
    return served
}

轮次顺序固定:高优先级先拿令牌。测试 TestAPFPriority 验证的正是这个:先让低优先级排两个请求,再放一个系统请求——Serve 后系统请求先出队。

low 队:low-1, low-2
sys 队:sys-1
Serve 后:sys-1 先出队(高优先级优先),然后 low-1, low-2

高优先级不饥饿:即使低优先级排队排到满,高优先级请求一到就能插队(它有自己的配额与优先服务权)。

为什么「优先级」不是「全局配额」:看一次打爆

假设 apiserver 每秒只能处理 100 个请求,现在来了 80 个普通列表 + 30 个系统控制面请求:

限流方式结果
全局 100 配额混合处理,可能 80 普通占满,控制面被挤
APF 分级配额系统优先级配额独立,控制面请求总能进去

APF 的价值在于「让重要请求不被淹没」。控制器(第 7-10 章的 RS/Deployment/Job 控制器)发的是系统级请求,它们在 APF 里有自己的优先级——即使业务流量打爆了 apiserver,控制器的调谐请求仍然能进去,集群不会「连收敛都做不到」。

APF 与 6.3 节的关系:防线分层

把两节拼起来看完整的限流分层:

层机制谁实现
客户端缓存/退避/worker 上限控制器(6.3 节)
服务端APF 分级限流apiserver(本节)

客户端自限流减少「请求产生」,APF 限流管理「请求分配」。前者治本(少产生),后者兜底(超载时保重要请求)。生产健康时靠前者,异常时靠后者——APF 是「即使客户端全部失控,系统请求也不饿死」的保证。

内置 FlowSchema:系统怎么给自己留路

K8s 预置了一组 FlowSchema,保证「系统请求总有路」。常见的内置:

FlowSchema匹配的请求优先级
system-nodes节点上报(kubelet)system(最高)
system控制器、kube-scheduler 的系统请求system
workload-high普通写(高价值工作负载)workload-high
workload-low普通读/列表workload-low
global-default未匹配的默认global-default
catch-all兜底(不该出现)catch-all

内置的意图:节点、控制器的请求归到 system(高配额),业务列表归到 workload-*(中),即使业务打爆,system 的配额独立、控制面请求永远能进(12.1 节的核心)。catch-all 的存在是为了暴露「分类漏洞」——正常情况不该有请求落到它,落到了说明某个 FlowSchema 没定义好。

内置 FlowSchema 是「平台的自我保护」:不是给业务分优先级,而是保证「控制面自己的请求不被业务挤死」。这和第 14 章选主一样,是控制面「自保」的一种机制。

请求分类的细节:一个请求只能进一个优先级

FlowSchema 匹配有几个边界语义:

语义含义
最多一个一个请求最多匹配一个 FlowSchema(matchingPrecedence 决定)
精确优先precedence 数字小的先匹配
默认兜底都不匹配则进 global-default/catch-all

一个请求不能被「多个 FlowSchema 都处理」——否则它会被归入多个优先级、算多份配额。matchingPrecedence 在多个 FlowSchema 都匹配时仲裁出唯一一个。

分类的确定性:同一请求每次匹配结果必须一样——如果 FlowSchema 的匹配顺序不稳定,请求会在不同优先级间漂移,配额统计失真、公平性被破坏。FlowSchema 的配置是「分类规则」,必须精确、确定、可观测——这正是它和限流算法的其他部分同样重要的原因。

APF 的默认行为:不配置也可用

APF 开箱即用,即使你没创建任何 FlowSchema:

场景行为
没有任何 FlowSchema所有请求进默认优先级
有默认内置系统请求进 system、业务进 workload-*
自定义 FlowSchema与内置按 matchingPrecedence 排序

APF 的默认策略是「保守」的:不配置时,请求全进默认优先级、统一限流——至少保证「比不限流更安全」的兜底。配置是「精细化的默认」:默认已经公平地防打爆,配置让「谁更重要」显式化。

这和第 7 章 Deployment 默认策略是同构的:K8s 的机制大多「默认可用、允许渐进配置」。APF 不需要你先设计好全部 FlowSchema 才安全——它是「默认可用、按需调优」的限流。理解默认行为,才知道你改的是「默认之上的哪一层」。

三个常见误解

  • 「APF 是全局限流」——不准确。是分级配额 + 分级公平,不是一刀切的总量限制。
  • 「限流就是拒绝请求」——部分是。超配额先排队(等待配额),不是立即拒;排队超时才是拒绝。
  • 「高优先级配额无限」——错误。高优先级也有配额,只是更高、且不受低优先级挤占。

本节 lab

本节验证高优先级优先放行:

cd private/labs/k8s-ctrl-lab
go test ./admission -run 'TestAPFPriority' -v
  • TestAPFPriority:低优先级先排队,高优先级请求后到,Serve 后高优先级先出队——「高优先级不饥饿」的公平语义。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图