《Kubernetes 分布式系统原理深入解析》3.1 externalTrafficPolicy 与源地址保留

外部流量进入集群要穿过 NodePort 与 kube-proxy,externalTrafficPolicy 决定这条路径上源地址是否被 SNAT 改写:Cluster 策略换可达性、Local 策略换源地址保留,代价是无本地端点时不可达。本节给出两种策略的取舍与健康检查端口的配合,lab 用 endpoint.go 的 ExternalTraffic 函数验证『Local+本地端点保留源地址、Cluster 改写源地址』。

3.1 externalTrafficPolicy 与源地址保留

第三章讨论「外部流量如何到达 Pod」。卷一讲过容器网络是单机内部的命名空间与 veth,卷二讲过 apiserver 是集群的控制通道——但集群边界上的流量入口(NodePort、LoadBalancer)还没有被问过。本节回答一个看似简单的问题:集群外的客户端连上 Service 后,Pod 里看到的客户端源地址到底是什么?

答案不是「就是客户端的 IP」。是否保留源地址,取决于 Service 上 externalTrafficPolicy 这一个字段,而它背后是一次「可达性 vs 源地址保留」的取舍。理解这个取舍,是理解 kube-proxy 数据面如何工作的第一步。

外部流量进集群的三条路径

先定位「外部流量」落在哪里。集群外流量进入集群,通常走三条路径:

入口典型形态落地组件本章位置
NodePort每个节点监听固定端口 30000-32767kube-proxy 规则本节
LoadBalancer云厂商 LB 把流量转发到节点 NodePort云控制器 + kube-proxy本节
Ingress / GatewayL7 路由到集群内 ServiceIngress 控制器卷四后续

无论走哪条,最终都在节点上结束:要么是 NodePort 端口本身,要么是 LB 把包直接发到节点的对应端口。从节点到 Pod 这一段,由 kube-proxy 写入的 iptables/IPVS 规则完成 DNAT(目标地址从节点端口改写为后端 Pod IP)。外部流量的最后一跳总是发生在某个节点的网络命名空间里——这正是源地址问题的发源地。

转发发生在「某个」节点上:SNAT 的因果

为什么 Pod 会看不到真实源 IP?关键在转发路径上的中间节点:

  • 请求到达节点 A 的 NodePort 端口。
  • kube-proxy 的规则把目标改写为某个后端 Pod 的 IP。这个 Pod 可能在节点 A,也可能在节点 B。
  • 如果后端在另一个节点 B,节点 A 必须把包转发出去。为了让回包能正确回到客户端,节点 A 会对包做 SNAT:把源地址改写为节点 A 的 IP。

于是后端 Pod 看到的源地址是「节点 A 的 IP」而不是客户端的真实 IP。SNAT 不是安全设计,而是跨节点转发的回程保障——没有它,回包会带着后端 Pod 的 IP 直接发给客户端,客户端根本不认识它。

Cluster vs Local:一张表看懂

externalTrafficPolicy 有两个值,对应两条完全不同的转发哲学:

维度Cluster(默认)Local
可达的后端范围集群内任意节点上的任意 Pod仅本节点上的 Pod
转发路径可能跨节点(A 收包 B 处理)永远不跨节点(谁收包谁处理)
是否 SNAT跨节点时改写源地址不改写,保留真实源 IP
无本地端点时其他节点仍有端点,依然可达本节点丢弃,外部需重试他节点
负载均衡粒度全集群所有端点仅当前节点端点
外部 LB 依赖不需要健康检查即可转发必须靠健康检查挑有端点的节点
典型场景追求可用性与均衡需要真实 IP 做日志/风控/限流

一句话总结这张表:Cluster 优先「总能通」,Local 优先「看清是谁」。Local 的「看清是谁」不是免费的——它要求外部负载均衡器先知道哪个节点有端点。

Local 为什么要求外部先做「节点亲和」

这是理解 Local 最反直觉的一点:策略写在 Service 上,但真正挑节点的不是集群,而是外部的负载均衡器。

  • 外部 LB 把请求发给节点 A;节点 A 上没有本地端点(Pod 都在节点 B)。
  • kube-proxy 在节点 A 上的规则是「无本地端点即丢弃」——因为 Local 模式下禁止跨节点转发。
  • 请求直接失败,客户端重试也没用,除非重试打到节点 B。

所以 Local 策略能工作的前提是:外部 LB 只把流量发给「有本地端点」的节点。它怎么知道?靠 kube-proxy 在每个节点上额外暴露的健康检查端口。

字段含义取值
spec.healthCheckNodePortLocal 策略时每个节点上的健康检查端口自动分配 30000-32767,可手动指定
健康检查结果有本地端点则 200,否则连接失败外部 LB 据此选节点

云厂商 LB 就是轮询这个健康检查端口,把「没有本地端点」的节点摘出转发池。节点亲和是外部负载均衡器做的,健康检查端口是集群提供的——两者拼起来,Local 策略才闭环。手动验证也成立:curl 无端点节点的 NodePort 会超时,有端点节点的 NodePort 会返回且 X-Forwarded-For/源地址真实。

数据面一致性:端点变化如何影响 Local

Local 策略对「端点视图」更敏感,因为它依赖每个节点上的本地端点快照:

  • 节点 B 上最后一个 Pod 被删除 → 节点 B 的健康检查端口立即失败 → 外部 LB 停止向节点 B 转发。
  • 中间有一段时间,健康检查还没更新而流量仍在到达 → 连接被丢弃 → 客户端重试被路由到其他节点。

这引出一个分布式系统里常见的现实:数据面(转发)总是比控制面(端点状态)滞后一拍。Cluster 策略用「任意节点都能转发」吸收了滞后;Local 策略把滞后直接暴露成「丢弃 + 重试」。所以生产上用 Local 的 Service,通常配合每节点至少一个 Pod 的拓扑分布(第 3.2 节)来缩小滞后窗口。

iptables 与 IPVS 两种数据面

externalTrafficPolicy 的语义最终由 kube-proxy 的数据面落地。kube-proxy 支持两种代理模式,它们对 Local 策略的处理略有差异:

维度iptables 模式(默认)IPVS 模式
规则形态链式 NAT 规则,逐个匹配内核虚拟服务器表,哈希查找
大量 Service 时规则线性增长,更新要重写规则集表项独立,增量更新
Local 策略通过 --masquerade-bit 区分是否做伪装通过调度器与 masquerade 配合
启用方式发行版默认需显式 --proxy-mode=ipvs

无论哪种模式,「Cluster 跨节点转发要 SNAT、Local 只在本地转发」的语义一致,差异主要在规则规模与性能。IPVS 在大量端点下表现更好,这也是大型集群常切换 IPVS 的原因。排障源地址问题时不必先怀疑模式,先按策略语义排查。

externalTrafficPolicy 与 internalTrafficPolicy 的对照

「外部流量要不要保留源地址」在集群内还有一个孪生问题:集群内部流量(Pod 访问 Service ClusterIP)。K8s 用 internalTrafficPolicy 字段管它,取值与语义和 external 版本同构:

字段管什么流量取值语义
externalTrafficPolicy集群外进来的流量Cluster / Local外部门户策略
internalTrafficPolicy集群内 Pod 之间的流量Cluster / Local内部流量是否只走本节点

internalTrafficPolicy: Local 时,集群内的请求也只转发到本节点上的端点——适合把内部流量也锁在节点内、避免二次跨节点转发。两者共享同一套「本地优先」哲学,但管的是不同的流量边界:external 管集群边界,internal 管节点边界。配置时容易混淆,记住一个助记:external 面向「外部是谁」,internal 面向「内部在哪」。

排障 externalTrafficPolicy 的命令清单

把「源地址不对」的排障收敛成四条命令,按顺序执行:

# 1. 确认 Service 当前策略(Cluster 还是 Local)
kubectl get svc <name> -o jsonpath='{.spec.externalTrafficPolicy}'
# 2. 看健康检查端口(Local 模式自动分配,可手动指定)
kubectl get svc <name> -o jsonpath='{.spec.healthCheckNodePort}'
# 3. 逐节点验证健康检查是否通过(外部 LB 据此选节点)
curl http://<node-ip>:<healthCheckNodePort>/healthz
# 4. 进 Pod 看实际收到的源地址
kubectl exec -it <pod> -- ss -tn

按序排查:先确认策略(不是 Local 就没必要查节点亲和),再确认外部 LB 是否只转发到健康检查通过的节点,最后进 Pod 看真实源地址。四步走完,「源地址不对」通常归因到外部 LB 的 NAT,而不是集群内策略——这是最容易被忽略的一层。

三种「源地址消失」的路径对比

「看不到真实源 IP」不是只有 SNAT 一种来源,排障时先分清在哪一段丢失:

丢失段机制谁能看到真实源 IP
外部 LB 到节点云 LB 自身 NAT只有 LB 配 preserve_client_ip 才保留
节点跨节点转发kube-proxy SNAT改成 Local 策略
节点到 Pod容器网络(通常保留)已是节点内转发

很多「源地址不对」的故障,根因其实在第一段(云 LB 的 NAT),而不是集群内的 kube-proxy。调 externalTrafficPolicy 之前先确认:流量到达节点端口时,源地址是否已经是节点地址。集群只能控制自己那一段的 SNAT,外部 LB 的行为不在 Service 的控制范围内。

三个常见误解

  • 「externalTrafficPolicy=Local 能提升所有服务的源地址可见性」——错误。Local 只保留「节点到 Pod」这一段的源地址;如果外部 LB 已经做了 NAT,节点上看到的源地址照样不是真实客户端 IP。
  • 「Local 会丢流量,Cluster 不会」——错误。Local 在「无本地端点」时丢弃是本意(强制外部重试他节点);Cluster 在端点全部消失时同样不可达。区别不是丢不丢,而是丢在哪一层。
  • 「设置 Local 后就不需要管外部负载均衡器了」——错误。Local 恰恰要求外部 LB 做节点亲和(靠健康检查端口挑节点);外部 LB 不理解健康检查,Local 就无法工作。

选择 externalTrafficPolicy 的判断清单

给 Service 选 Cluster 还是 Local,回答四个问题:

  1. 服务需要真实客户端源地址吗(日志审计、风控限流、按 IP 灰度)?——需要则 Local,否则 Cluster。
  2. 外部负载均衡器支持按健康检查挑节点吗?——不支持则 Local 无法闭环,只能 Cluster。
  3. 端点是否分散在多个节点?——单节点集中时 Local 的「只转本地」没有意义,Cluster 也没差。
  4. 可用性与源地址哪个优先?——追求「总能通」选 Cluster,追求「看清是谁」选 Local。

四问的交集就是答案:需要源地址 + LB 支持 + 端点分散,才选 Local;任一条件不满足,Local 都是「名义开启、实际退化为 Cluster 或丢流量」。判断清单先于配置——先想清楚要什么,再写字段。

一句话总结本节

外部流量进入集群的最后一跳发生在某个节点的网络命名空间里,externalTrafficPolicy 决定这一跳的行为:

  • Cluster(默认):任意节点都能转发、全集群均衡,代价是跨节点 SNAT 改写源地址——换可达性。
  • Local:只转发本节点端点、不 SNAT、保留真实源 IP,代价是无本地端点时不可达——换源地址。
  • 配套机制:Local 依赖 healthCheckNodePort 让外部 LB 做节点亲和,端点变化带来的滞后窗口靠「丢弃 + 重试」吸收。

选择哪个策略不是「安全」问题,而是服务能不能接受源地址被改写的问题:日志审计、风控限流、按 IP 灰度这类服务要 Local;追求极致可用性、端点多而分散的服务保持 Cluster。下一节把「就近」从节点粒度放大到拓扑域(zone)粒度,讨论拓扑感知路由如何让流量尽量留在同一区域。

本节 lab

本节用 endpoint 包的 ExternalTraffic 函数验证两种策略的语义:Local + 本地端点 → 保留源地址且可达;Local + 无本地端点 → 保留源地址但不可达(外部需重试他节点);Cluster → 可达但源地址被改写。

cd private/labs/k8s-net-lab
go test ./endpoint -run TestExternalTrafficLocalSourceIP -v

TestExternalTrafficLocalSourceIP 跑通 3 个断言,现象与本节结论一一对应:可达性与源地址保留是一对不可兼得的维度——PolicyLocal 返回 (true, hasLocalEndpoint),PolicyCluster 固定返回 (false, true)。这正是表格里「Cluster 换可达性、Local 换源地址」的最小实现,lab 之外的真实集群还多了健康检查端口与外部 LB 节点亲和这两段,本卷 lab 用简化模型只保留策略决策本身。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图