《Kubernetes 分布式系统原理深入解析》6.3 拓扑路由与流量亲和

调度把副本分散到各域之后,流量仍可能跨域:默认负载均衡对端点一视同仁。TopologyAwareHints 在端点切片上打 zone 提示,kube-proxy 与服务网格消费提示、优先把流量发给与来源同域的副本,域内无健康端点时回退。本节量化跨域流量计费与延迟,给出『调度分散 × 路由就近』的配合关系与启用决策清单。lab 用 topology 的 Score 验证『已有多副本的域得分低』——调度分散偏好的镜像,反过来就是流量亲和的就近偏好。

6.3 拓扑路由与流量亲和

前两节解决「副本往哪放」:按故障域分散。本节解决「流量往哪走」:客户端请求到达后,转发逻辑是否也按域就近。分散解决的是『可用性』,就近解决的是『成本与延迟』,两者是一枚硬币的两面,且都建立在同一份「域分布」信息上。

分散之后,流量仍可能跨域

假设把 4 个 API 副本均衡放到 z1、z2 两个可用区。调度是「均衡」的,但默认的 Service 负载均衡并不感知拓扑——kube-proxy 对端点做轮询(round robin),对来自 z1 的客户端,一半请求被轮询到 z2 的副本。

后果有两层:

  • 成本:云厂商对跨可用区流量单独计费,而区内流量通常不计费。
  • 延迟:可用区间往返增加毫秒级延迟;跨城/跨地域部署时差距更明显。

调度分散 ≠ 流量就近。副本分布是「供给侧」均衡,流量路由是「需求侧」选择,两者需要同一个拓扑信息在两端各用一次。

TopologyAwareHints 机制

K8s 的解法是在端点切片上打「拓扑提示」。机制分三段:

  1. 服务注解:给 Service 加 service.kubernetes.io/topology-aware-hints: Auto(较新版本演进为 service.kubernetes.io/topology-mode: Auto,内核一致)。
  2. 控制器计算:EndpointSlice controller 为每个端点计算它所在的 zone,并按「每个 zone 至少保留一个可用端点」的原则写入提示:
    addresses: ["10.0.0.11"]
    hints:
      forZones:
      - name: zone-a     # 建议优先服务 zone-a 的流量
    
    提示的含义是「该端点优先服务哪个 zone」。zone-a 没有可用端点时,提示会被清空——表示「任何 zone 都可以用它」。
  3. 消费方读取:负载均衡组件在转发时按提示就近选择。

关键性质:提示是尽力而为(best-effort),不是硬约束。它只是「建议优先」,域内没有健康端点时必须回退,否则可用性优先于局部性。

消费方:kube-proxy 与服务网格

  • kube-proxy:endpoints 逻辑读取端点切片的 hints,优先选取「提示 zone = 客户端所在 zone」的端点;该 zone 没有健康端点时,回退到全部端点。这是内核默认路径,不需要额外组件。
  • 云 LB / 服务网格:Envoy、Istio 等可以把端点切片 hints 翻译成 zone-aware 路由规则,实现「跨 zone 兜底」与「zone 内优先」的组合。
  • 自研网关:凡是消费 EndpointSlice 的负载均衡器,都能复用同一份 hints——这就是把拓扑信息下沉到数据面的好处:提示是一次性计算的,消费方按自己的需要解读。

对 kube-proxy 来说,判断「客户端 zone」用的是节点 label topology.kubernetes.io/zone;流量从哪个节点进来,就算哪个 zone 的流量。服务网格同理,把「来源」与「提示」匹配。

调度分散 × 路由亲和的配合

两个机制必须配合,缺一不可:

组合结果
只分散、不就近副本铺满各域,但流量仍可能跨域,成本与延迟问题依旧
只就近、不分散某域没有副本,该域流量必然跨域回退,就近等于空转
分散 + 就近每域都有副本,每域流量留在域内,成本与延迟最优

调度把副本铺到各域(第 6.1/6.2 节),保证「每个域至少一个健康副本」;路由把流量留在域内(本节),保证「不跨域」。缺了前者,就近无副本可用;缺了后者,分散白铺。运维上要同时检查两端:副本数 ≥ 域数、每域健康副本 ≥1,以及 Service 的 topology 注解已开启。

成本账:跨区域流量计费与延迟

「就近」到底省多少,用数字说话:

  • 跨可用区流量:云厂商对 AZ 间出流量按 GB 计费,而区内流量不计费。一个每天跨区 100 GB 的服务,如果全部就近,每月能省下一笔数量级可观的账单。
  • 延迟:同区 RTT 通常亚毫秒到 1 毫秒;跨可用区约 1-3 毫秒;跨地域(同城不同可用区有时也算跨域)会更高。对延迟敏感的服务,这个差值直接影响用户体验。
  • 副本与流量分布错位:如果客户端主要集中在一个区,而副本在另一个区,成本与延迟的双重损失会同时出现——这正是「调度分散 + 路由就近」要避免的最坏情况。

注意:就近省的是「转发路径」上的跨域流量,调度分散本身不产生跨域流量(Pod 间通讯不计 Service 转发)。成本账要算的是「客户端 → 端点」这一段。

顺带一提:hints 只看「端点所在 zone」,不感知端点的资源水位与负载。若某 zone 的副本负载已高,就近仍会优先选它,直到其端点不健康才回退——所以「就近」要和水平扩容/限流配合,而不是替代它们。

何时值得启用、何时不值得

启用决策清单:

条件结论
多可用区部署、跨区流量计费显著值得,先开启 hints 再观察跨区字节数
每域健康副本 ≥ 2值得,就近有冗余,回退概率低
客户端分布与域分布大致匹配值得,就近效果明显
单域集群不值得,hints 无意义
每域只有 1 个副本谨慎,端点抖动会让回退频繁,优先加副本
客户端分布未知/聚合层集中不值得,就近收益被回退抵消
强一致性、只读副本可用的架构需先评估只读副本的 zone 分布

原则:hints 的价值依赖『每域都有足够健康副本』这个前提。副本稀疏时,先补副本再开 hints,而不是反过来。

与调度 Score 的镜像关系

本节与 6.2 节共用同一份「域计数」,但用途方向相反:

  • 调度 Score:给「已有多副本的域」低分——鼓励把新副本放到更空的域(分散)。
  • 路由偏好:给「与流量来源同域的副本」偏好——鼓励把流量留在来源域(就近)。

同一个「域计数」信息,放置时反向用(避开已饱和的域),转发时正向用(贴近流量来源的域)。这就是为什么把拓扑信息做成数据面的共享提示(hints),而不是各组件各算一份——两侧看到的是同一份「域分布」事实。

这个镜像关系在排障时很好用:发现「副本很分散但流量还在跨域」,问题多半在路由侧(hints 未开或回退频繁);发现「流量不跨域但副本挤在少数域」,问题在调度侧(spread 约束缺失或副本不足)。

提示的写入、回退与启用观测

控制器写提示时,遵循三条规则:

  • 本地优先:每个 zone 尽量用自己的端点打自己的提示——zone-a 的端点建议服务 zone-a。
  • 跨域借用:某 zone 没有本地端点时,从其他 zone 借用端点,借来的端点被打上目标 zone 的提示。借用的范围受控,避免把提示散布到太多 zone 造成回退成本上升。
  • 端点不足清空:某 zone 的健康端点数量不足时,清空该 zone 相关端点的提示——表示「不挑 zone,谁都能用」。

回退语义由此而来:

  • 提示为空的端点可被任何 zone 使用;
  • kube-proxy 先按「客户端 zone ↔ 端点提示」匹配,匹配不到才回退到全部端点;
  • 可用性永远优先于局部性——提示只是建议,绝不拦截流量。

实践中,多数 Service 开启后都能看到 hints;看不到 hints 的常见原因是端点不足、或端点分布已经天然均匀——控制器判断「没有就近优化空间」就不会写提示。

启用流程与观测:从一个 Service 开始启用,推荐四步走:

  1. 给 Service 加 service.kubernetes.io/topology-aware-hints: Auto 注解(或较新版本用 topology-mode: Auto)。
  2. 观察端点切片是否出现 hints:kubectl get endpointslices -o yaml | grep -A4 hints——没有 hints 说明控制器判断「不值得」或端点不足。
  3. 对照云厂商账单/网络指标,观察跨区字节是否下降。
  4. 效果不符预期时,删掉注解即恢复默认轮询——这个机制可逆,适合灰度启用。

注意 hints 与调度分散要一起验证:先确认 kubectl get nodes --show-labels 里每个域都有健康副本,再看 hints 是否生效。hints 不生产副本,只优化转发。

客户端分布与就近的作用域

就近的收益与客户端分布强相关:

  • 客户端均匀分布在各域:每域流量都有本地副本承接,收益最大。
  • 客户端集中在一个域:即使副本分散,该域的流量全部本地承接,但其他域的副本主要承担「备用」角色——分散仍是高可用需要,就近收益集中在那一个域。
  • 客户端在集群外(入口网关):就近要看入口网关所在的域——流量从网关节点进入集群,再从网关按 hints 转发到与网关同域的副本。

这引出一个关键结论:就近的起点是「流量进入集群的节点」,不是「真正的用户」。外部用户先打到一个入口网关(通常跨域部署多副本),网关再按 zone 匹配端点。入口网关自身的拓扑分布,决定了下游就近是否成立。因此改造「就近」时,先确认入口网关的副本分布,再谈下游端点。

与多集群、跨地域的边界:topology-aware hints 的作用域是单个集群内的可用区/机架。跨集群、跨地域的流量就近属于多集群 Ingress、全局负载均衡的范畴:

  • 单集群 hints 解决 AZ 间的成本与延迟。
  • 多集群全局负载均衡解决「用户离哪个集群近」。
  • 两者叠加才是完整的「用户 → 最近副本」链路。

不要把 hints 当作跨集群路由方案——它在 EndpointSlice 层面工作,端点在同一个集群内。跨集群方案要考虑的是集群间的流量成本与一致性,与本节的机制正交。

三个常见误解

  • 「开启 topology-aware hints 就保证流量不出域」——错误。提示是尽力而为,域内没有健康端点时会回退到全部端点;可用性永远优先于局部性。
  • 「hints 是调度约束,能影响 Pod 放置」——错误。hints 只影响转发偏好,不影响调度;调度分散由 topologySpreadConstraints 负责,两者是两条独立路径。
  • 「只有服务网格才能消费 hints」——错误。kube-proxy 原生消费端点切片 hints,云 LB 与自研网关也可以,消费方是开放的。

一句话总结本节

把本节收成三个要点:

  • 调度分散管可用性,路由就近管成本与延迟——只做一边都到不了最优。
  • hints 是尽力而为的转发建议:本域无健康端点时回退,绝不牺牲可用性。
  • 就近的起点是流量进入集群的节点:入口网关自身的拓扑分布,决定下游就近收益是否成立。

本节 lab

本节与 6.2 共用 topology 包:Score 给「已有多副本的域」低分,正是调度分散的偏好在单个函数里的体现:

cd private/labs/k8s-sched-lab
go test ./topology -run TestScorePrefersEmpty -v

TestScorePrefersEmpty(1 个断言)验证 z1=5、z2=0 时,空域 z2 的得分严格高于 z1——「已有多副本的域低分」。把这个函数的结果反过来读,就是流量亲和的偏好:转发时优先选「与流量来源同域」的副本。调度分散与路由就近,是同一份域计数在两个方向上的应用。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图