《Kubernetes 分布式系统原理深入解析》10.3 联邦调度的最终一致性

联邦调度用可插拔偏好(容量/区域)选择目标集群,调谐循环一遍遍把现状推向目标,未就绪集群被标记为待处理等待恢复。本节剖析选择、调谐、待处理记账与最终一致收敛四件事,并对比为什么联邦选最终一致而非强一致。lab 用 federation 包的 TestSchedulerChooseByPreference 与 TestReconcileEventualConsistency 验证按偏好选目标与调谐收敛。

10.3 联邦调度的最终一致性

10.1 节给了拓扑与总表,10.2 节给了分发与记账。这两节各自独立,但它们必须在同一个循环里协同,否则会出现「总表说该发、分发不执行」的空档。本节把调度器、分发、待处理追踪缝合成一个调谐循环,并回答一个根本问题:为什么联邦选择「最终一致」而不是「强一致」。读完后你应当能回答:调度凭什么选集群、调谐怎么处理失败、为什么不用跨集群锁。

调度输入:总表 + 策略

调度的输入有两路。一路是 10.1 节的总表——「谁可用、哪个 region 还有容量」,它回答「候选有哪些」;另一路是策略——「这份资源该优先放哪、最多放几个集群」,它回答「偏好是什么」。lab 的 Scheduler 把两路都收敛到一个 Prefer 函数里:Prefer(a, b) 的返回值表达「a 是否优于 b」,调用方负责把所有维度(容量、区域、成本)压进这一个比较。真实 Karmada 里这个函数被拆成一堆打分器(scorer),每个打分器算一个维度,最后加权求和——但语义相同:调度是「候选 × 偏好」的排序,不是拍脑袋。

Choose 只做排序与截断,不做健康判断,这一点在接口设计上刻意保持:把「选谁」与「能不能发」分开。选谁由策略决定,能不能发由 Reconcile 在分发前检查 Ready——两件事耦合在一起就会把「策略」与「现实」混为一谈,调度器就说不清「是我没选它,还是它不行」。

总表与策略的分工也决定了改动的边界:换调度策略不用动总表逻辑,改聚合粒度不用动调度器。总表是「事实」,策略是「偏好」,联邦把两者拆开,各自独立演化——这是联邦调度最值得借鉴的接口设计。

按偏好选目标:容量、区域与自定义打分

分发给「所有就绪集群」在多集群场景里常常不是想要的语义——你可能只想把资源放到 us 区域,或者优先放进容量更空的那一档。调度器负责从成员里挑出目标集合。lab 的 Scheduler 把选择标准抽象成可插拔的 Prefer 函数:

s := NewScheduler(m, func(a, b *Cluster) bool {
	return a.Name == "c2" && b.Name != "c2" // c2 优先(如容量更大)
})

Choose(maxN) 用选择排序按 Prefer 把优的排前面,取前 maxN 个作为目标。真实 Karmada 的调度器也是一套打分机制,只是维度更多:集群亲和、污点与容忍、副本分布约束、region 就近、剩余容量。Prefer 是「偏好模型」的最小形态——把调度语义从「全发」变成「按规则选」,规则由策略注入,调度器本身不做业务判断。

这段代码里 NewScheduler 只存了模型与偏好函数,没有任何「业务」——这正是可插拔设计的全部:调度器是骨架,偏好是血肉。想按区域就近,换一个比较 region 的 Prefer;想按剩余容量,换成比较容量的。策略与机制分离,是联邦调度能复用的关键。

偏好函数的维度可以很具体。以「就近优先 + 容量兜底」为例,Prefer(a, b) 可以这样写:先比 region 是否与资源声明的 region 一致,一致的排前面;同 region 内再比剩余容量,容量大的排前面。写成打分就是「region 匹配 +50 分,容量每 10% +1 分」。偏好函数的职责是定义「更好」,调谐循环的职责是执行「追求更好」,二者分工清晰。

注意 Choose 故意不筛 Ready:选目标与查健康是两件事。目标可能此刻未就绪,但调度器仍要知道「它被选中了」,这样调谐循环才能把它标记为待处理而不是当成「未被选中」漏掉。

调谐循环:一遍遍把现状推向目标

单次分发是一次动作,联邦需要的是持续收敛。Reconcile 把「选目标、查就绪、下发或标记」缝合成一轮:

func (s *Scheduler) Reconcile(r Resource, maxN int) int {
	targets := s.Choose(maxN)
	pending := 0
	for _, c := range s.Model.Clusters {
		wanted := false
		for _, t := range targets {
			if t == c {
				wanted = true
			}
		}
		if wanted {
			if c.Ready {
				c.Applied[r.Key()] = r.RV
			} else {
				pending++
			}
		}
	}
	return pending
}

这一轮的执行策略是声明式的:目标状态是「所有被选中的集群都应用了最新 RV」,调谐循环反复检查现状、做最小的推动。真实 Karmada 的 controller 也是这个模式——work 控制器定期比较集群内对象与联邦声明的差异,差异即待办。

用一个四轮的时间线看收敛:c1 就绪、c2 断网,资源从 v1 升到 v2。

  • 第 1 轮:Reconcile(v2) 选 c1/c2,c1 应用 v2,c2 未就绪记待处理 1;
  • 第 2 轮:c2 仍断网,结果同上,待处理 1;
  • 第 3 轮:c2 恢复,Reconcile(v2) 把 v2 写入 c2,待处理 0;
  • 第 4 轮:目标已全部对齐,Reconcile 无事可做,进入稳定态。

四轮时间线也展示了调谐的另一面:收敛时间取决于「成员恢复的速度」与「调谐周期的长度」,两者取慢者。要加速收敛可以缩短调谐周期,但要以控制面与成员的负载为代价——这就是后面「节流」小节要权衡的。

前两轮看似「重复失败」,但没有产生任何副作用——因为 Reconcile 每一轮都从现状重算,c1 已经是 v2,不会被重复写。调谐的重复是「检查」,不是「重放」,这是它与消息队列重试的本质区别:队列重试会把同一条消息再次消费,调谐只把「现状与目标的差距」再缩小一点。

调谐的威力在于它不依赖「上一次是否成功」:每轮都从现状重新计算。上一轮失败没关系,这一轮把未就绪的标成待处理,下一轮它恢复了就自然被补上。没有重试队列、没有失败计数,收敛是靠「周期性重算」而不是「重放历史」达成的。

Reconcile 循环体里对就绪成员做的动作是「写入 Applied = RV」,它等价于一次幂等 apply:同一版本重复写结果不变。这就是为什么多轮重复无害——调谐的每一轮都在做「如果已经到位,就不动;如果没到位,就补上」。这种「幂等补差」模式是最终一致循环的通用写法,也出现在单集群的 Deployment 控制器、StatefulSet 控制器里;联邦只是把「目标」从「节点上的副本数」换成了「多个集群里的版本对齐」。

未就绪标记待处理:失败也进账

Reconcile 的返回值是待处理集群数,它把「被选中但未就绪」的集群明确记账。这个设计有三个好处:

好处说明
可观测待处理是状态不是错误,能从总数看出「有多少目标还没就绪」
可恢复待处理集群恢复后,下一轮调谐自动把它从待处理变成已下发
可驱动运维能把待处理数当健康指标,高水位意味着区域性问题

回到 10.2 节的场景:c3 未就绪,Dispatch 跳过它,此时若没有待处理记账,控制面会以为「分发完成了」——但实际上 3 个目标只到位 2 个。Reconcile 的返回把这种「假完成」变成「真账目」:待处理 1 明明白白告诉上层「还有欠账」。跳过是动作上的克制,记账是语义上的诚实——两者必须同时成立,最终一致才不会滑向「假装一致」。

待处理标记是 10.2 节「跳过」的补丁:分发跳过未就绪集群,调度器负责「记住它本该收到」——跳过不丢目标,靠记账记住欠账。这正是「部分成功 + 最终收敛」的配合:任何一轮都可能不完整,但每一轮都让状态更接近目标。

「待处理」这个词容易让人联想到 Pod 的 Pending,但语义不同。Pod Pending 表示「还没被调度到节点上」;联邦的待处理表示「已被选中作为目标、但因成员不健康暂时无法下发」。前者是「还没决定放哪」,后者是「决定好了但对方没接住」。一个是决策前,一个是决策后,混用会造成排障时看错阶段。

最终一致性:没有全局锁的收敛

为什么联邦不选强一致?把「所有集群同时看到同一个版本」做成强一致,需要跨集群分布式事务——每个成员都要参与二阶段提交,任一分区就要阻塞全局。这对跨地域、跨网络的联邦是不可承受的。

「为什么不用分布式锁」值得多说一句。跨集群锁的前提是有一个所有成员都能访问的共识服务——但成员往往隔着不可靠的网络,为一次资源分发引入 2PC 或租约锁,复杂度远超收益。联邦把「并发写者」压缩成「控制面一个写者」,锁就变得多余:唯一写者 + 幂等 apply + 周期调谐,三个条件叠加,最终一致就足够安全。

维度强一致分发最终一致调谐
提交协议需要跨集群 2PC / 分布式锁无,单控制面串行调谐
部分失败全局阻塞或回滚部分成功,其余待处理
收敛保证提交即一致反复调谐直到版本对齐
可用性任一成员不可用影响全局不可用成员被跳过,其余照常
观察时机查询到即是最新有延迟,需以版本记录为准

最终一致不是「放弃正确性」,而是把正确性从「时刻」换成「收敛」:控制面是唯一写者,它维护的目标状态是单调的,调谐循环保证「只要给足时间,所有就绪成员都会应用最新版本」。lab 的 Reconcile 收敛判据就是 Applied[r.Key()] == r.RV——当不再有待处理集群、所有目标都对齐最新版本,联邦进入稳定态。

再放大到 4 个集群验证「收敛」的语义:目标 4 个集群,第 1 轮 3 个到位、1 个待处理;第 2 轮恢复后 4 个全部到位。这个过程中没有任何一个时刻是「瞬间全一致」的,但最终所有成员对齐了 RV。最终一致的可验证判据不是「某一刻的状态」,而是「不再变化的稳定态」:当连续若干轮调谐后 Applied 全部等于最新 RV、待处理数为 0,联邦就算收敛了。lab 里 Reconcile 返回 0 就是这个稳定态的判据。

代价是读侧要带版本意识:查询结果可能是旧视图,判断「最新状态」必须以版本记录为准,这正是 10.2 节记账的价值。

「最终一致」对联邦的写入方还有一个特别的保证:谁提交意图,谁最终能看到它生效。这不是「读到自己的写」,而是「自己的写一定会收敛到目标」——提交方读到的可能是旧视图,但它知道调谐循环正在把意图推向每个就绪成员。这个确定性(convergence guarantee)把最终一致与「不可靠的尽力而为」区分开:收敛是承诺,延迟是可承受。

调谐循环的工程清单

把 Reconcile 落地成生产实现时,有几件事容易漏,逐个核对:

检查项为什么要做漏掉的后果
每轮从现状重算,不记忆上一轮结果状态会随时变化,记忆会过期拿着旧结果重复下发或漏发
连续 N 轮无变化才算稳定单轮无变化可能是瞬时抖动把抖动误判成收敛,过早停止
对未就绪集群只记账不重试避免给故障集群加压网络风暴,故障放大
记录已应用版本并做差异比对增量收敛的前提只能全量重推,收敛慢且写放大
给调谐设置节流与退避保护控制面与成员两侧负载高频轮询打垮 apiserver

这张清单对应 10.2 节的版本记账、本节的待处理记账与「从现状重算」,以及最终的稳定态判据。调谐循环的正确性不在任何一轮,而在「每一轮都不说谎 + 轮与轮之间可重入」——这正是分布式系统最终一致性的工程本质。

调谐的节流与幂等

调谐循环不能无限快转。真实联邦会给控制器设置每轮之间的间隔与退避,避免「成员还没反应过来,下一轮又来了」。幂等是这里的地基:因为重复 apply 同一版本无害(10.2 节),调谐才能放心地慢——慢一点只影响收敛时间,不影响正确性。节流牺牲的是收敛速度,保住的是控制面与成员两侧的负载;分布式系统的这个交换在联邦里体现得最典型。

节流的下界也不是越小越好。调谐周期短到与成员心跳同量级,就会出现「成员刚上报恢复,下一轮调谐立刻下发,紧接着又一轮检查」的忙乱。实践上通常把调谐周期设为心跳周期的数倍,让恢复先被总表确认,再进入分发。顺序很重要:先确认就绪,再决定下发,调谐与心跳必须错开节奏。

三个常见误解

  • 「最终一致就是不管正确性,坏了也照样发」——错误。最终一致收敛到「所有就绪成员应用最新版本」这一明确目标,正确性由单调调谐与幂等记账保证。
  • 「未就绪集群应该立刻重试到成功,才算调度完成」——错误。调度器把它标为待处理,不反复冲击;恢复由后续调谐轮次接管,避免故障放大。
  • 「联邦需要跨集群分布式锁才能保证不重复下发」——错误。控制面单写者 + 版本记账已保证幂等,跨集群锁的成本远高于收益。

一句话总结本节

联邦调度用可插拔偏好从成员中选目标,调谐循环一遍遍把现状推向「目标集群都应用最新版本」,未就绪目标被明确记账为待处理。联邦以「控制面单写者 + 周期调谐 + 版本对齐」换取最终一致,用收敛代替了强一致所需的跨集群事务。

至此卷四从 Pod 网络、服务网格一路讲到多集群联邦:从单集群的数据平面,到联邦控制面的最终一致。联邦这一层真正的工程重心不在调度算法,而在「把版本账记清楚、让调谐循环永不停止」——这始终是分布式系统收敛的本质。

本节 lab

本节的两个测试落在 federation 包的 Scheduler.Choose 与 Scheduler.Reconcile 上:

cd private/labs/k8s-net-lab
go test ./federation -run TestSchedulerChooseByPreference -v
go test ./federation -run TestReconcileEventualConsistency -v
  • TestSchedulerChooseByPreference:建 c1、c2 两个成员,注入「c2 优先」的偏好函数,断言 Choose(1) 选出 c2——1 条复合断言,对应「按偏好而非顺序选目标」。
  • TestReconcileEventualConsistency:单成员 c1 全就绪时调谐,断言无待处理、c1 已应用 v1;再把 c1 置为未就绪并调谐到 v2,断言待处理数 1——共 3 条断言,对应「就绪即下发、未就绪记待处理、恢复后由调谐收敛」。

两个测试跑完见 ok k8s-net-lab/federation。这就是「偏好选择 + 调谐收敛 + 待处理记账」的最终一致最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图