5.3 多集群 Ingress 与服务网格
前两节的 Ingress 与 Gateway API 都在回答「一个集群的入口怎么路由」。但分布式系统的入口很少只有一个集群:多地域部署、容量拆分、故障隔离,都要求入口把流量跨集群分发。同时,七层流量治理并不只发生在入口——集群内部的边车代理也在做路由、加密与分割,这就是服务网格。
本节把视野从「集群内」拉到「集群间」:多集群入口靠什么决策把请求送到哪个集群;服务网格在七层流量里扮演什么角色;以及跨集群时最容易被忽略的——一致性边界。lab 用 gateway.go 的多集群分发器验证就近与故障转移。
单集群入口的边界:决策只看到本集群
5.1/5.2 节的入口控制器,决策范围是一个集群:请求到达入口,从本集群的 Service/EndpointSlice 里选后端。它的局限在两点:
| 局限 | 后果 |
|---|---|
| 后端集合是本集群的 | 无法利用其他集群的容量 |
| 健康状态是本集群上报的 | 无法感知其他地域的故障 |
多集群入口要做的,就是把「后端集合」与「健康状态」都扩展到多个集群——于是「选哪个集群」成了一个独立决策层,通常在入口控制器之上再加一个全局决策者(如 DNS 层面的 GSLB、或聚合多个集群状态的控制面)。
多集群拓扑:Hub 与 Spoke、全互联
「集群之间怎么组织」决定了入口分发的形态。两种常见拓扑:
| 拓扑 | 形态 | 入口分发方式 |
|---|---|---|
| Hub-Spoke | 一个中心集群 + 多个边缘集群 | 中心聚合路由,边缘就近接入后回源 |
| 全互联 | 集群两两互通 | 每个集群的入口独立决策,DNS 全局分流 |
本节 lab 的多集群分发器是一种无固定拓扑的简化模型:它只维护集群的 region/健康/容量,不假设集群间怎么连接——分发决策与拓扑解耦,这是本卷 lab 的简化假设。真实系统里 Hub-Spoke 还会多一层「边缘到中心的回源链路」,回源链路本身的健康也参与决策,复杂度高一个数量级。
跨集群分发的四个输入
多集群入口选目标集群,由四个输入共同决定。本节 lab 的 MultiClusterGateway.Pick 用前三个做决策、第四个做兜底:
| 输入 | 含义 | 本卷 lab 字段 | 优先级 |
|---|---|---|---|
| 地域就近 | 优先本区域集群,降延迟 | Region | 最高 |
| 健康探测 | 只选健康集群 | Healthy | 前提 |
| 容量 | 有余量的集群 | Capacity / Used | 前提 |
| 故障转移 | 本区域不可用时转到其他区域 | 兜底遍历 | 最低 |
决策语义(lab 的实现):先在同 region 的健康且有余量集群里就近选;没有则退到任意健康且有余量集群;全部不可达返回空。这条链路对应真实多集群入口的常见策略:就近是优化目标,健康与容量是硬约束,故障转移是兜底。
| 场景 | 目标集群 | 原因 |
|---|---|---|
| 请求来自 eu,eu 集群健康有空余 | eu 集群 | 就近 |
| 请求来自 eu,eu 集群满负载 | 任意健康集群 | 容量约束 |
| eu 集群挂掉 | 其他区域健康集群 | 故障转移 |
| 所有集群都挂 | 无(返回空) | 拒绝服务 |
容量与健康的区别值得单独强调:健康是二值(可用/不可用),容量是连续量(还剩多少余量)。lab 用 Used < Capacity 表达「有余量」,是简化模型——真实系统里 Capacity 来自节点可分配资源或配额预估,Used 来自当前负载,两者本身也带陈旧性。把容量当作硬约束而非软偏好,意味着满负载集群即使健康也不收新流量,避免「健康但过载」的集群被流量打死。
故障转移的触发与回切
故障转移不是「一次性的」:集群恢复后,流量还要从其他区域回切到本区域。触发与回切由同一组信号驱动:
| 阶段 | 信号 | 行为 |
|---|---|---|
| 触发转移 | 健康探测失败 / 容量耗尽 | 改选其他健康集群 |
| 回切 | 本区域集群恢复健康且有余量 | 重新按就近原则选它 |
注意回切不是「立即把 100% 流量转回」——真实系统常做渐进回切,先放少量流量验证新起的集群稳定,再逐步加大(这就是 5.2 节权重分发的用处)。lab 的简化模型里回切等价于把 Healthy 置回 true、Used 降下来,Pick 会自动重新就近——决策只依赖输入状态,不做记忆,这是本卷 lab 与真实系统的又一处简化:真实入口会记录「最近一次转移」,避免集群抖动时流量来回摆动。
健康状态从哪来:聚合与陈旧
健康探测是分发的命门——但「健康」在多集群环境里是一个被传播的状态,不是本地事实。每个集群的数据面知道自己的后端是否健康,但入口的全局决策者只能通过控制面拿到聚合后的视图。这条传播链决定了健康信息的陈旧程度:
| 环节 | 延迟来源 | 典型量级 |
|---|---|---|
| 本集群探测 | 健康检查周期 | 秒级 |
| 上报聚合 | 控制面同步周期 | 秒级到分钟级 |
| 入口决策 | 本地缓存/路由表刷新 | 秒级 |
所以「健康状态陈旧」不是 bug,而是分布式系统的固有边界:入口决策用的健康视图,永远比现实晚一拍。故障转移发生时,总有窗口期流量继续打向已挂的集群,直到健康视图更新。多集群入口的设计目标不是消除这个窗口,而是把它压到可接受范围。
服务网格:七层流量里的另一条治理线
多集群入口解决的是「北向流量(外部 → 集群)」的跨集群分发;集群内部服务之间的「东西向流量(服务 → 服务)」由服务网格治理。两者的对比:
| 维度 | 入口控制器 | 服务网格 |
|---|---|---|
| 流量方向 | 北向(外部进入) | 东西向(服务互访) |
| 代理位置 | 集群边缘 | 每个 Pod 旁边(边车) |
| 核心能力 | host+path 路由 | 路由 + mTLS + 可观测性 |
| 代表实现 | Envoy Gateway / Contour | Istio / Linkerd |
服务网格在七层流量里的三个角色,用真实机制表述:
- 边车:每个 Pod 注入一个代理(Istio 用 Envoy),进出该 Pod 的流量都过边车,绕过了传统上「只能靠 Service 负载均衡」的限制。
- mTLS:边车之间用双向 TLS 加密并认证身份(服务身份而非节点身份),解决「集群内明文传输」的默认问题。
- 流量分割:与 5.2 节 Gateway API 的权重语义同源,把服务间流量按权重在版本间分配,用于金丝雀与多版本共存。
注意分工:入口控制器管「外部怎么进集群」,服务网格管「内部服务之间怎么通信」。多集群场景里两者还可能叠加——外部流量先进某个集群的入口,再靠网格在集群内部路由。理解这条分界线,就不会把入口控制器和服务网格混为一谈。
入口 + 网格叠加的完整流量路径
多集群 + 网格的场景下,一个请求的完整路径是分段的:
客户端 → GeoDNS 选集群入口
→ 集群入口(Gateway/Ingress)路由到本地 Service
→ 边车代理(网格)按版本权重转发到具体 Pod
→ Pod
每一段的决策独立:GeoDNS 决策「去哪个集群」、入口决策「去哪个 Service」、网格决策「去哪个版本」。三段叠加后的端到端延迟与失败概率是连乘的,而每段都有自己的健康视图与陈旧窗口——这就是多集群架构排障要一段一段拆开看的原因,不能用一个全局状态解释全部现象。哪个阶段的故障,就要在哪个阶段查它的健康与路由视图,而不是在入口一个点排查到底。
多集群入口的一致性边界
把前几节的一致性视角用到多集群,会看到三条明确的边界:
| 边界 | 具体表现 | 后果 |
|---|---|---|
| DNS 滞后 | GeoDNS 的 TTL 让客户端缓存旧地址 | 故障转移后,旧集群仍被流量击中 |
| 路由表滞后 | 控制面把「哪个集群健康」同步到入口有延迟 | 决策用的视图旧于现实 |
| 健康状态陈旧 | 探活周期 + 上报周期叠加 | 总有一段窗口流量打到坏后端 |
这三条的本质相同:跨集群的任何决策都基于一份异步传播的视图。DNS 的 TTL 是客户端侧的陈旧,路由表是控制面侧的陈旧,健康状态是两者叠加。多集群入口的工程工作,大部分不是「做出正确的路由决策」,而是「在陈旧的视图下仍然做出可接受的决策」——这正是 lab 把健康与容量做成决策前提、把就近做成偏好的原因。
一致性边界的工程缓解
既然陈旧不可避免,工程上怎么缓解?三条路各有代价:
| 手段 | 做法 | 缓解的边界 | 代价 |
|---|---|---|---|
| 缩短 TTL | GeoDNS 记录 TTL 调到 30s | DNS 滞后 | DNS 查询放大 |
| 缩短探活周期 | 健康检查间隔 1-5s,上报尽快 | 健康陈旧 | 控制面压力增大 |
| 客户端侧重试 | 请求失败时换区域重试 | 路由表滞后 | 要求幂等设计 |
缓解是权衡不是免费:TTL 太短放大查询,探活太频繁压垮控制面,客户端重试要求业务幂等。所以多集群入口的最终形态,是「决策时容忍陈旧 + 执行时快速兜底」的组合——决策层接受一个可能旧几秒的视图,执行层在真失败时用重试/回切救回来,而不是追求一个永远准确的全局状态。这与卷二「最终一致」的模型一脉相承:一致性边界不是要消除,而是要被工程手段约束在可接受范围。
三个常见误解
- 「多集群入口会立即感知集群故障并切换」——错误。健康状态经探活与上报两级传播,切换总在陈旧窗口之后;设计目标是压小窗口,不是消灭它。
- 「服务网格和入口控制器做同一件事」——错误。入口管北向(外部进集群),网格管东西向(服务互访),两者治理不同的流量段。
- 「跨集群分发只看地域就近就行」——错误。就近是优化目标,健康与容量是硬约束;只就近不看健康会持续把流量打向坏集群。
- 「健康检查通过就一定能转发成功」——错误。健康通过只代表控制面认为集群活着,到真正转发成功还有连接建立、容量、网络链路等因素;lab 里健康通过也可能因
Used < Capacity不满足而返回空。
一句话总结本节
多集群入口把「选后端」扩展成「选集群」:就近是偏好、健康与容量是约束、故障转移是兜底,而这一切都受一致性边界约束。收成三个要点:
- 决策四输入:地域就近、健康探测、容量、故障转移按「偏好 + 约束 + 兜底」分层组合,lab 用四个字段精确表达。
- 网格分工:边车、mTLS、流量分割治理东西向流量,与治理北向流量的入口控制器互补。
- 一致性边界:DNS/路由表滞后与健康状态陈旧是固有属性,工程目标是压缩窗口而非消除。
本节结束卷四第 5 章,入口从单集群声明式路由走到多集群分发与网格治理,下一章转入存储。
本节 lab
本节把「多集群分发」落到 gateway.go 的 MultiClusterGateway.Pick:
cd private/labs/k8s-net-lab
go test ./gateway -run TestMultiClusterRegionalPreference -v
go test ./gateway -run TestMultiClusterFailover -v
TestMultiClusterRegionalPreference 验证 eu/us 请求各自就近命中本区域集群;TestMultiClusterFailover 验证本区域满负载时转到其他区域、全部标记不健康后返回空。这正是本节分发语义的最小落地:就近优先、容量兜底、健康是硬前提、全部不可达拒绝服务——决策逻辑简单,真正难的是第五节展开的一致性边界。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。