6.3 拓扑路由与流量亲和
前两节解决「副本往哪放」:按故障域分散。本节解决「流量往哪走」:客户端请求到达后,转发逻辑是否也按域就近。分散解决的是『可用性』,就近解决的是『成本与延迟』,两者是一枚硬币的两面,且都建立在同一份「域分布」信息上。
分散之后,流量仍可能跨域
假设把 4 个 API 副本均衡放到 z1、z2 两个可用区。调度是「均衡」的,但默认的 Service 负载均衡并不感知拓扑——kube-proxy 对端点做轮询(round robin),对来自 z1 的客户端,一半请求被轮询到 z2 的副本。
后果有两层:
- 成本:云厂商对跨可用区流量单独计费,而区内流量通常不计费。
- 延迟:可用区间往返增加毫秒级延迟;跨城/跨地域部署时差距更明显。
调度分散 ≠ 流量就近。副本分布是「供给侧」均衡,流量路由是「需求侧」选择,两者需要同一个拓扑信息在两端各用一次。
TopologyAwareHints 机制
K8s 的解法是在端点切片上打「拓扑提示」。机制分三段:
- 服务注解:给 Service 加
service.kubernetes.io/topology-aware-hints: Auto(较新版本演进为service.kubernetes.io/topology-mode: Auto,内核一致)。 - 控制器计算:EndpointSlice controller 为每个端点计算它所在的 zone,并按「每个 zone 至少保留一个可用端点」的原则写入提示:提示的含义是「该端点优先服务哪个 zone」。zone-a 没有可用端点时,提示会被清空——表示「任何 zone 都可以用它」。
addresses: ["10.0.0.11"] hints: forZones: - name: zone-a # 建议优先服务 zone-a 的流量 - 消费方读取:负载均衡组件在转发时按提示就近选择。
关键性质:提示是尽力而为(best-effort),不是硬约束。它只是「建议优先」,域内没有健康端点时必须回退,否则可用性优先于局部性。
消费方:kube-proxy 与服务网格
- kube-proxy:
endpoints逻辑读取端点切片的 hints,优先选取「提示 zone = 客户端所在 zone」的端点;该 zone 没有健康端点时,回退到全部端点。这是内核默认路径,不需要额外组件。 - 云 LB / 服务网格:Envoy、Istio 等可以把端点切片 hints 翻译成 zone-aware 路由规则,实现「跨 zone 兜底」与「zone 内优先」的组合。
- 自研网关:凡是消费 EndpointSlice 的负载均衡器,都能复用同一份 hints——这就是把拓扑信息下沉到数据面的好处:提示是一次性计算的,消费方按自己的需要解读。
对 kube-proxy 来说,判断「客户端 zone」用的是节点 label topology.kubernetes.io/zone;流量从哪个节点进来,就算哪个 zone 的流量。服务网格同理,把「来源」与「提示」匹配。
调度分散 × 路由亲和的配合
两个机制必须配合,缺一不可:
| 组合 | 结果 |
|---|---|
| 只分散、不就近 | 副本铺满各域,但流量仍可能跨域,成本与延迟问题依旧 |
| 只就近、不分散 | 某域没有副本,该域流量必然跨域回退,就近等于空转 |
| 分散 + 就近 | 每域都有副本,每域流量留在域内,成本与延迟最优 |
调度把副本铺到各域(第 6.1/6.2 节),保证「每个域至少一个健康副本」;路由把流量留在域内(本节),保证「不跨域」。缺了前者,就近无副本可用;缺了后者,分散白铺。运维上要同时检查两端:副本数 ≥ 域数、每域健康副本 ≥1,以及 Service 的 topology 注解已开启。
成本账:跨区域流量计费与延迟
「就近」到底省多少,用数字说话:
- 跨可用区流量:云厂商对 AZ 间出流量按 GB 计费,而区内流量不计费。一个每天跨区 100 GB 的服务,如果全部就近,每月能省下一笔数量级可观的账单。
- 延迟:同区 RTT 通常亚毫秒到 1 毫秒;跨可用区约 1-3 毫秒;跨地域(同城不同可用区有时也算跨域)会更高。对延迟敏感的服务,这个差值直接影响用户体验。
- 副本与流量分布错位:如果客户端主要集中在一个区,而副本在另一个区,成本与延迟的双重损失会同时出现——这正是「调度分散 + 路由就近」要避免的最坏情况。
注意:就近省的是「转发路径」上的跨域流量,调度分散本身不产生跨域流量(Pod 间通讯不计 Service 转发)。成本账要算的是「客户端 → 端点」这一段。
顺带一提:hints 只看「端点所在 zone」,不感知端点的资源水位与负载。若某 zone 的副本负载已高,就近仍会优先选它,直到其端点不健康才回退——所以「就近」要和水平扩容/限流配合,而不是替代它们。
何时值得启用、何时不值得
启用决策清单:
| 条件 | 结论 |
|---|---|
| 多可用区部署、跨区流量计费显著 | 值得,先开启 hints 再观察跨区字节数 |
| 每域健康副本 ≥ 2 | 值得,就近有冗余,回退概率低 |
| 客户端分布与域分布大致匹配 | 值得,就近效果明显 |
| 单域集群 | 不值得,hints 无意义 |
| 每域只有 1 个副本 | 谨慎,端点抖动会让回退频繁,优先加副本 |
| 客户端分布未知/聚合层集中 | 不值得,就近收益被回退抵消 |
| 强一致性、只读副本可用的架构 | 需先评估只读副本的 zone 分布 |
原则:hints 的价值依赖『每域都有足够健康副本』这个前提。副本稀疏时,先补副本再开 hints,而不是反过来。
与调度 Score 的镜像关系
本节与 6.2 节共用同一份「域计数」,但用途方向相反:
- 调度 Score:给「已有多副本的域」低分——鼓励把新副本放到更空的域(分散)。
- 路由偏好:给「与流量来源同域的副本」偏好——鼓励把流量留在来源域(就近)。
同一个「域计数」信息,放置时反向用(避开已饱和的域),转发时正向用(贴近流量来源的域)。这就是为什么把拓扑信息做成数据面的共享提示(hints),而不是各组件各算一份——两侧看到的是同一份「域分布」事实。
这个镜像关系在排障时很好用:发现「副本很分散但流量还在跨域」,问题多半在路由侧(hints 未开或回退频繁);发现「流量不跨域但副本挤在少数域」,问题在调度侧(spread 约束缺失或副本不足)。
提示的写入、回退与启用观测
控制器写提示时,遵循三条规则:
- 本地优先:每个 zone 尽量用自己的端点打自己的提示——zone-a 的端点建议服务 zone-a。
- 跨域借用:某 zone 没有本地端点时,从其他 zone 借用端点,借来的端点被打上目标 zone 的提示。借用的范围受控,避免把提示散布到太多 zone 造成回退成本上升。
- 端点不足清空:某 zone 的健康端点数量不足时,清空该 zone 相关端点的提示——表示「不挑 zone,谁都能用」。
回退语义由此而来:
- 提示为空的端点可被任何 zone 使用;
- kube-proxy 先按「客户端 zone ↔ 端点提示」匹配,匹配不到才回退到全部端点;
- 可用性永远优先于局部性——提示只是建议,绝不拦截流量。
实践中,多数 Service 开启后都能看到 hints;看不到 hints 的常见原因是端点不足、或端点分布已经天然均匀——控制器判断「没有就近优化空间」就不会写提示。
启用流程与观测:从一个 Service 开始启用,推荐四步走:
- 给 Service 加
service.kubernetes.io/topology-aware-hints: Auto注解(或较新版本用topology-mode: Auto)。 - 观察端点切片是否出现 hints:
kubectl get endpointslices -o yaml | grep -A4 hints——没有 hints 说明控制器判断「不值得」或端点不足。 - 对照云厂商账单/网络指标,观察跨区字节是否下降。
- 效果不符预期时,删掉注解即恢复默认轮询——这个机制可逆,适合灰度启用。
注意 hints 与调度分散要一起验证:先确认 kubectl get nodes --show-labels 里每个域都有健康副本,再看 hints 是否生效。hints 不生产副本,只优化转发。
客户端分布与就近的作用域
就近的收益与客户端分布强相关:
- 客户端均匀分布在各域:每域流量都有本地副本承接,收益最大。
- 客户端集中在一个域:即使副本分散,该域的流量全部本地承接,但其他域的副本主要承担「备用」角色——分散仍是高可用需要,就近收益集中在那一个域。
- 客户端在集群外(入口网关):就近要看入口网关所在的域——流量从网关节点进入集群,再从网关按 hints 转发到与网关同域的副本。
这引出一个关键结论:就近的起点是「流量进入集群的节点」,不是「真正的用户」。外部用户先打到一个入口网关(通常跨域部署多副本),网关再按 zone 匹配端点。入口网关自身的拓扑分布,决定了下游就近是否成立。因此改造「就近」时,先确认入口网关的副本分布,再谈下游端点。
与多集群、跨地域的边界:topology-aware hints 的作用域是单个集群内的可用区/机架。跨集群、跨地域的流量就近属于多集群 Ingress、全局负载均衡的范畴:
- 单集群 hints 解决 AZ 间的成本与延迟。
- 多集群全局负载均衡解决「用户离哪个集群近」。
- 两者叠加才是完整的「用户 → 最近副本」链路。
不要把 hints 当作跨集群路由方案——它在 EndpointSlice 层面工作,端点在同一个集群内。跨集群方案要考虑的是集群间的流量成本与一致性,与本节的机制正交。
三个常见误解
- 「开启 topology-aware hints 就保证流量不出域」——错误。提示是尽力而为,域内没有健康端点时会回退到全部端点;可用性永远优先于局部性。
- 「hints 是调度约束,能影响 Pod 放置」——错误。hints 只影响转发偏好,不影响调度;调度分散由 topologySpreadConstraints 负责,两者是两条独立路径。
- 「只有服务网格才能消费 hints」——错误。kube-proxy 原生消费端点切片 hints,云 LB 与自研网关也可以,消费方是开放的。
一句话总结本节
把本节收成三个要点:
- 调度分散管可用性,路由就近管成本与延迟——只做一边都到不了最优。
- hints 是尽力而为的转发建议:本域无健康端点时回退,绝不牺牲可用性。
- 就近的起点是流量进入集群的节点:入口网关自身的拓扑分布,决定下游就近收益是否成立。
本节 lab
本节与 6.2 共用 topology 包:Score 给「已有多副本的域」低分,正是调度分散的偏好在单个函数里的体现:
cd private/labs/k8s-sched-lab
go test ./topology -run TestScorePrefersEmpty -v
TestScorePrefersEmpty(1 个断言)验证 z1=5、z2=0 时,空域 z2 的得分严格高于 z1——「已有多副本的域低分」。把这个函数的结果反过来读,就是流量亲和的偏好:转发时优先选「与流量来源同域」的副本。调度分散与路由就近,是同一份域计数在两个方向上的应用。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。