《Kubernetes 分布式系统原理深入解析》3.2 拓扑感知路由与端点感知

把流量尽量留在同一拓扑域(zone/节点)能显著降低跨区成本与延迟,拓扑感知路由靠端点分片的拓扑键就近选后端,本地无端点时回退全局。本节讲拓扑键如何来自端点切片、与调度侧 topologySpreadConstraints 如何一个管放置一个管转发,lab 用 TopologyRouting.Pick 验证就近选择与回退。

3.2 拓扑感知路由与端点感知

上一节的外部流量策略回答「哪个节点收包」,这一节回答一个更广的问题:流量能不能尽量留在同一个地理/拓扑区域。跨可用区(zone)的流量不只是延迟高一点点——跨 zone 的带宽计费、跨 zone 的链路抖动、跨 zone 的故障爆炸半径,都是成本。把一个「看起来在集群内部」的转发决策变得拓扑感知,是云原生网络里最值钱的优化之一。

K8s 给这个问题的答案是拓扑感知路由(topology-aware routing)。它不是简单地「把请求发给最近的 Pod」,而是由两条独立机制配合:数据面的端点感知路由负责「就近转发」,调度侧的拓扑分布约束负责「把 Pod 放得分散又就近」。本节先讲数据面,再讲它和调度面怎么咬合。

为什么「就近」值得做:跨区成本结构

先量化「跨区」到底贵在哪。假设集群横跨 3 个可用区,每个区 2 个节点:

成本项区内(同一 zone)跨区(不同 zone)
往返延迟0.1-0.3 ms(同机房)1-5 ms(云厂商互联)
带宽计费通常免费按 GB 计费
链路故障影响面单机可能整条区域链路
故障爆炸半径一个节点两个 zone 之间

对延迟敏感的服务(实时同步、游戏对战),多出来的 1-5 ms 是肉眼可见的劣化;对数据量大的服务(日志、批处理),跨区带宽是一张长期账单。把流量留在区内,等于同时优化延迟、成本与可靠性——这就是拓扑感知路由的目标函数。

端点感知路由:从「端点分片」读拓扑键

拓扑感知路由的输入是端点分片(EndpointSlice)。卷二第 2.3 节讲过端点分片把 Service 的端点按拓扑键切成若干片,每片带着 topology.kubernetes.io/zone 这类标签。路由决策的输入就是「请求来自哪个拓扑域 + 每个分片的拓扑键」:

输入来源例子
请求来源拓扑域客户端所在 zone(从请求入口推断)zone-b
分片拓扑键EndpointSlice 的 addressType 与拓扑标签zone-a / zone-b
端点就绪状态端点切片里的 ready 条件ready=true

决策逻辑只有三条规则,优先级从上到下:

  1. 本地优先:来源 zone 有就绪端点,只在本分片内选——不跨区。
  2. 回退全局:本地无端点,退到任意非空分片——可用性优先于拓扑。
  3. 全空则失败:所有分片都空,返回无端点。

lab 里 TopologyRouting.Pick(fromZone) 就是这个逻辑的最小实现:先在 Slices 里找 Key == fromZone 且有端点的分片,找不到再扫第一个非空分片。注意回退是有意为之——宁可跨区,也不因为「想省钱」而让请求失败。

与调度侧拓扑分布约束的配合

拓扑感知路由只解决「转发时就近」,但「每个区有没有可用的 Pod」取决于调度时怎么放。这需要把卷三的 topologySpreadConstraints(调度侧)搬出来和它配对:

机制作用阶段回答的问题章节
topologySpreadConstraintsPod 调度时Pod 要不要分散到多个 zone卷三第 6.1 节
拓扑感知路由请求转发时请求要发给哪个 zone 的端点本节

两者的关系是先有鸡蛋还是先有鸡:路由只能在「已经存在的端点」里就近,如果调度把所有 Pod 塞进一个 zone,路由的「就近」就退化成「没得选」。反过来,如果调度把 Pod 均匀铺开,路由就有了真正可选的本地端点。生产上常见的组合是:

  • 调度侧用 topologySpreadConstraints 把无状态副本均匀分布到各 zone(卷三),保证每个区都有本地端点。
  • 数据面开 Service 的 topologyKeys(旧版)或 trafficDistribution/服务网格的拓扑路由,让请求就近。
  • 两者都失效的 zone(节点故障),路由自动回退全局,可用性兜底。

调度保证「有的选」,路由保证「选得近」——这是拓扑感知在 K8s 里的完整闭环。

API 形态:从 topologyKeys 到 trafficDistribution

拓扑感知路由在 K8s 里有两个阶段的 API,理解差异有助于读懂老文档与新配置:

阶段API行为
旧版Service 的 topologyKeys(已弃用)按用户写的拓扑键顺序贪心选择
新版trafficDistribution 与服务网格拓扑路由以端点切片拓扑标签为准,支持比例溢出

topologyKeys 的问题是键写死在 Service 上、行为太「要么全要要么全无」,社区转向让端点切片的拓扑标签驱动决策,并支持把部分流量溢出到非本地域以缓解热点。演进方向是数据驱动替代配置驱动——拓扑信息来自端点自身携带的标签,而不是 Service 上写死的键列表。新配置落地下优先按新版语义理解:就近是默认行为,溢出是可选增强。

与 Service 其它策略的组合矩阵

拓扑感知路由与本章其它策略不是互斥,而是叠加。一张组合矩阵看清优先级:

组合行为适用
拓扑就近 + Cluster 策略就近选择,无本地端点可跨节点无状态、多区、要成本优化
拓扑就近 + Local 策略就近 + 不 SNAT,范围进一步收窄要源地址又要就近
拓扑就近 + 粘滞就近选完再粘滞,TTL 内不再重选会话 + 成本都敏感
粘滞 + 全局均衡粘滞优先,TTL 到期后才均衡会话敏感、成本不敏感

优先级的一般规律:粘滞 > 拓扑 > 全局均衡。会话连续性是一票否决(断了就出错),拓扑是成本优化(错了只是贵),全局均衡是兜底(保证可用)。设计路由策略时按这个优先级叠加字段,字段之间不会自相矛盾——这也解释了 3.3 节为什么说粘滞要让拓扑让位。

拓扑感知路由的启用判定清单

要不要给某个 Service 开拓扑感知路由,先回答四个问题:

  1. 跨区成本可量化吗:延迟/带宽账单是否明确?——成本不明就不值得为优化买单。
  2. 每个区都有端点吗:调度侧的 spread 约束是否把副本铺开?——没端点只能回退,开了也白开。
  3. 会话需要连续吗:有状态服务优先粘滞,拓扑让位——粘滞与就近冲突时先保会话。
  4. 语义要「正确区」吗:数据地域分片的服务不能贪近——就近不等于正确。

四问全过,拓扑感知路由才值得开;任何一个不满足,开了也是名义上的「就近」、实际上的全局回退。判定清单比配置本身更重要——多数拓扑感知「没效果」的案例,根因都是第一问没做(成本不明)或第二问没做(端点没铺开),而不是路由实现有问题。

有状态服务的例外:粘滞与地域分片

拓扑感知路由不是所有服务的正确解。有状态服务对「就近」的态度要谨慎得多:

场景拓扑感知是否适用原因
无状态、可任意重试是就近免费,回退无害
有状态、会话在内存部分会话粘滞(3.3 节)优先,拓扑让位
数据按地域分片否必须路由到持有数据的 region,而非最近 region

最后一种最反直觉:数据地域分片(如「欧洲用户的数据在欧洲」)要求的是『正确区』,不是『最近区』。拓扑感知路由按延迟选区会选错——它优化了成本却破坏了数据主权。这类系统需要的是基于请求属性的路由(按用户所在区域查表定位分片),而不是基于来源拓扑域的贪心就近。区分「就近」和「正确」是设计这类路由的第一课。

拓扑键怎么来:三处来源

「拓扑域」本身从哪来?不同层级的拓扑键来源不同:

拓扑层级键来源常见值
节点topology.kubernetes.io/hostnameip-10-0-1-12
可用区topology.kubernetes.io/zoneus-east-1a
地域topology.kubernetes.io/regionus-east-1

EndpointSlice 的每个端点会携带其节点所属的拓扑标签,路由时直接读。拓扑感知的粒度取决于标签的粒度——如果你想按 zone 就近,就保证所有节点都有 zone 标签;标签缺失的节点会被当作「无拓扑信息」处理,通常退回到全局选择。标签治理是拓扑感知路由能生效的前提,这一点容易在生产中被忽视。

拓扑感知路由的代价:均衡性变差

任何「就近」都是对「均衡」的让渡。全局轮询能让每个后端负载均匀;就近选择会让某些 zone 的后端被本地流量打满、另一些空闲:

维度全局均衡拓扑就近
端点负载大致均匀本地流量集中,可能倾斜
流量成本跨区成本高区内成本低
故障影响均衡分散某区故障影响该区流量
典型适用低成本机房、单区多区生产、延迟敏感

所以拓扑感知路由通常配一个兜底阈值:本地分片端点过少(比如只剩 1 个)时,允许把一部分流量溢出到全局,避免本地热点。lab 的简化模型只实现了「有就回退无」,没有做比例溢出——真实实现里还会考虑端点数量与容量,本卷 lab 把「就近 vs 均衡」的张力量化成最少必要逻辑。

三个常见误解

  • 「开了拓扑感知路由,流量就永远不会跨区」——错误。它是「优先」而非「保证」:本地无端点时必然回退全局,可用性优先于拓扑。
  • 「只要数据面就近,Pod 放哪个区都行」——错误。就近路由没有本地端点可选时只能回退;必须先靠调度把端点铺到各区,路由才有得选。
  • 「就近就是正确,距离最近的一定对」——错误。数据按地域分片的服务必须路由到持有数据的区,延迟最近反而错误;「就近」优化的是成本,「正确」满足的是语义。

拓扑感知路由的运维观测点

路由是否真的「就近」了,用三个指标观测:

指标怎么观测正常表现
跨区流量比例网络监控按 zone 维度拆分本地命中率高,跨区占比低
本地端点就绪率各 zone 的 EndpointSlice 状态各 zone 都有就绪端点
回退频率路由日志与追踪回退只出现在故障时

跨区流量比例是最直接的判据:拓扑感知生效时,来自 zone-a 的请求绝大多数落在 zone-a 端点;比例异常升高说明「本地没端点、大量回退」,该查调度侧的 spread 约束了。运维观测围绕「本地命中率」展开,而不是看配置开关是否打开——开关开了,命中率上不去,等于没开。

一句话总结本节

拓扑感知路由把「请求发给谁」从「全局均衡」升级为「本地优先、全局兜底」:

  • 输入:EndpointSlice 按拓扑键分片,端点携带 zone/region 标签;路由读来源拓扑域。
  • 决策:来源域有就绪端点就只在本地选,无则回退任意非空分片,全空才失败。
  • 闭环:调度侧 topologySpreadConstraints 保证各 zone 都有端点(有的选),数据面拓扑路由保证请求就近(选得近),故障时全局回退兜底。

「就近」不是免费午餐,它让渡了均衡性并可能违背地域语义——是否启用、按什么键切分,取决于服务是延迟敏感、成本敏感还是数据语义敏感。下一节讨论流量「粘滞」:当服务状态在内存里,就近与均衡都要给会话连续性让路。

本节 lab

本节用 endpoint 包的 TopologyRouting.Pick 验证两条路由规则:来源域内有端点时就近选择,来源域内无端点时回退全局:

cd private/labs/k8s-net-lab
go test ./endpoint -run TestTopologyPreferLocal -v
go test ./endpoint -run TestTopologyFallback -v

TestTopologyPreferLocal 断言来自 zone-b 的请求选中 zone-b 的端点 10.0.0.2——「本地优先」成立;TestTopologyFallback 断言来自 zone-c(没有对应分片)的请求回退到 zone-a 的端点 10.0.0.1——「全局兜底」成立。两个测试加起来 2 个断言,正好覆盖本节决策逻辑的两条路径,也印证了「就近是优先、不是保证」:没有本地端点时,路由宁可跨区也不失败。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图