1.3 从容器网络到节点路由
1.2 节把 Pod 接进了节点的网络:一个 veth,一端在 Pod 的 NETNS 里,一端挂在节点的 bridge 上。到此为止,跨节点还走不通——Pod A 的 10.244.1.5 怎么把包送到节点 B 上的 10.244.2.8?答案藏在节点的路由表里。
本节把网络从「单节点」推进到「多节点」:每节点子网怎么变成路由、网关下一跳怎么把流量导向目的节点、查表语义怎么决定「直达、转发还是不可达」。
从单节点到多节点:缺口在「怎么跨节点」
把 1.2 节的成果画出来:节点 n1 上,Pod 10.244.1.5 的包先到达节点上的 bridge,然后……就没有然后了。bridge 只管二层转发,遇到一个目的地址不在自己网段内的包,它必须交给三层的路由表决定下一步。
这就是从容器网络到节点路由的转换点:Pod 的包在节点内是二层的,一出节点就是三层的。而「路由表」正是节点上决定「这个三层目的地址往哪送」的机关。
每节点子网 + 网关下一跳:路由表的最小模型
路由表的基本单元是「目标网段 → 下一跳」。有了 1.1 节的每节点子网,路由可以做得极其规整——每个节点一个子网,每条跨节点路由的目标就是某个节点的子网,下一跳就是那个节点的网关地址。本卷 lab 的 Route{Dest, Via} 就是这个模型的直接映射:
| 节点 | 拥有的 Pod 子网 | 其他节点看到的路由 |
|---|---|---|
| n1 | 10.244.1.0/24 | 10.244.1.0/24 via <n1 网关> |
| n2 | 10.244.2.0/24 | 10.244.2.0/24 via <n2 网关> |
路由表里存的是汇总后的子网路由,而不是每个 Pod 一条——这是「每节点子网」的威力:路由条数 = 节点数,而不是 Pod 数。一个 1000 节点的集群,每个节点维护约 1000 条子网路由,而不是几十万条 Pod 路由。
网关下一跳是谁?在典型 bridge 方案里,每节点子网的网关就是节点本身(节点的内网 IP)。跨节点的包到达目的节点后,由目的节点再按本机路由表二层转发给具体 Pod。lab 里 n1.AddRoute("10.244.2", "10.244.0.2") 表示「去 10.244.2.x 的包,先发给网关 10.244.0.2」。
一张真实节点路由表长什么样
把模型落到真实 ip route 输出,核心路由就是「本机子网 + 每条远端子网」:
default via 172.16.0.1 dev eth0 # 节点默认出口
10.244.1.0/24 dev cni0 proto kernel scope link # 本节点 Pod 子网,直接可达
10.244.2.0/24 via 172.16.0.2 dev eth0 # 节点 n2 的 Pod 子网,经 n2 网关
10.244.3.0/24 via 172.16.0.3 dev eth0 # 节点 n3 的 Pod 子网,经 n3 网关
对照三条语义看这张表:
| 目的地址 | 命中哪条 | 语义 |
|---|---|---|
10.244.1.5(本节点 Pod) | 10.244.1.0/24 dev cni0 | 本机网段,直接进 bridge |
10.244.2.8(远端 Pod) | 10.244.2.0/24 via 172.16.0.2 | 跨节点,交给下一跳 |
8.8.8.8(外网) | default via 172.16.0.1 | 非 Pod 网段,走默认出口 |
注意 proto kernel scope link:这条路由由内核在接口配好地址时自动生成,不需要手工写——节点上的 bridge(cni0)拿到 10.244.1.1 地址后,10.244.1.0/24 直达路由就出现了。手工要维护的只有「远端子网」那一批。
路由查表语义:直达、下一跳、不可达
路由表怎么处理一个包,归纳成三条语义,也是本卷 lab Lookup 的三条分支:
- 同网段直达:目的 IP 落在本节点子网内 → 直接交付(本节点二层可达),不需要路由项。lab 里
hasPrefix(ip, n.CIDR)命中即返回ip本身。 - 跨网段走 next hop:目的 IP 落在某条路由的
Dest里 → 把包交给该路由的Via。lab 里遍历Routes找到前缀匹配返回r.Via。 - 未命中不可达:目的 IP 既不在本网段、也不在任何路由目标内 → 没有出口,返回空。真实内核会走默认路由或直接丢弃,lab 返回
""表示「不可达」。
注意第三条的意义:未命中即不可达,是路由表的一种主动保护。如果节点盲目把所有未命中的包都丢给默认路由,Pod 流量可能被发到错误的地方(比如经节点出口 NAT 出去,破坏扁平模型)。K8s 网络方案通过保证「每个节点子网都有明确路由」,让 Pod 网段内的流量永不落入默认路由。
节点内转发路径:从 Pod 到出接口
路由查表只是转发的一个环节。一个包从 Pod 发出到离开节点,走的完整路径是:
- Pod 的
eth0发出,进入 veth 对端的节点侧接口。 - 进入节点 bridge(cni0),被二层转发到 bridge 的上联口。
- 在节点三层查路由表:本网段直达或交给下一跳。
- 按查表结果从对应出接口发出(本网段回 bridge,跨节点走 eth0)。
| 路径段 | 负责的机制 | 决定什么 |
|---|---|---|
| Pod eth0 → veth | 虚拟以太网对 | 把 Pod 的包送进节点网络栈 |
| bridge 二层转发 | 内核 bridge | 本网段内的包直接转给目标 Pod |
| 路由查表 | 内核 fib | 决定包出哪个接口、下一跳是谁 |
对照这四步,1.2 节的 CNI 负责第 1、2 段(建 veth、挂 bridge),本节的路由负责第 3 段(决定去向),第 4 段由内核按查表结果执行。CNI 与路由的分工是清晰的:前者建「路」,后者选「路」。排查跨节点不通时,沿着这条路径逐段验证——接口在不在(ip link)、bridge 通不通(brctl show)、路由对不对(ip route)、包到没到(tcpdump -i eth0),每一段都能定位问题。
对称路由:回包怎么走回来
分布式系统里路由还有一个容易被忽略的问题:回包。Pod A 发往 Pod B 的包走「A 节点 → 网关 → B 节点」,Pod B 的应答包要走「B 节点 → 网关 → A 节点」——这条路径叫反向路由。它必须存在且正确:
| 方向 | 路径 | 依赖的路由 |
|---|---|---|
| 出站 | A 节点 → B 节点网关 → B 节点 | A 节点的 10.244.2.0/24 via B 网关 |
| 回包 | B 节点 → A 节点网关 → A 节点 | B 节点的 10.244.1.0/24 via A 网关 |
K8s 网络方案在设计上保证对称:每个节点既有「去其他子网」的出站路由,也有「其他子网回来」的对应路由。路由不对称会带来隐蔽故障——包能出去、应答回不来,表现为「Pod 之间 ping 通但 TCP 建连失败」。排查这类问题时,第一件事是同时看两端节点的路由表是否互为镜像。
验证对称的实操做法:在两端节点分别 ip route 并对照,或直接查「对端子网 → 本节点网关」这条路由是否存在。多数网络方案的对称由「每节点子网全局唯一 + 双向注入」自动保证,但手动加路由、防火墙改写源地址(SNAT)都可能破坏它——凡是绕过标准方案的手工改动,都是对称路由的头号嫌疑人。
故障转移:路由没更新时会怎样
路由表描述的是一幅「节点健康」时的静态地图。节点真出故障时,路由表并不会自己变:
| 故障场景 | 路由表现 | 流量去向 |
|---|---|---|
| 目标节点宕机 | 路由仍指向它的网关 | 黑洞:包被网关丢弃或转发失败 |
| 目标节点网络中断 | 路由仍在 | 出包失败,TCP 重试直到超时 |
| 节点重新加入 | 路由重新生效 | 取决于网络层收敛速度 |
这就是「路由表是最终一致性系统」的体现:它只反映『曾经正确』的拓扑,收敛靠外部机制。K8s 里补救分两层:控制面把 NotReady 节点上的 Pod 摘出端点(第 2.3 节,数据面因此不再把新流量发过去);网络层则靠 BGP 收敛或云 VPC 路由更新来修正「子网在哪个节点」这张地图。两层速度不同,窗口期内总有一批流量会被导到已经死了的节点——应用层的重试与容错就是为这个窗口准备的。
BGP 方案(calico)的收敛速度取决于 BGP 探测间隔(默认秒级到几十秒);云 VPC 路由更新受云 API 调用延迟影响。路由层的收敛速度,决定了『节点故障后流量多久不再撞墙』的下限——比端点摘除慢的那段,就靠数据面摘除先挡住。这也解释了为什么「摘除端点」和「修正路由」是两件必须分开做的事:前者是毫秒到秒级的对象事件,后者是秒到分钟级的网络收敛。
排查顺序:跨节点不通时先看哪
「Pod 之间跨节点 ping 不通」是最常见的网络排障起点,按本节的分层逐段排查:
- 本机子网路由在不在:
ip route | grep 10.244.1.0/24——不在说明 CNI 或网段配置没建好。 - 目标子网路由对不对:
ip route | grep 10.244.2.0/24——下一跳是否是目标节点网关。 - 远端子网是否可达:ping 目标节点网关 IP——网关不通则问题在物理层。
- 两端路由是否对称:对照两端节点的路由表是否互为镜像。
- 从节点内抓包:
tcpdump -i eth0 host 10.244.2.8——看包是否真的出了节点。
每一步都对应本节的一个概念:第 1 步对应「同网段直达」、第 2 步对应「跨网段 next hop」、第 4 步对应「对称路由」。排障路径就是本节概念的反向走一遍——概念越清楚,排查越不会乱猜。这也是把「路由表」从内核细节提升为可推演模型的价值:知道有哪几条语义,就知道该查哪几个点。
还有一类「能通但慢」的隐蔽问题:当子网路由被意外掩掉(如误删、被云路由覆盖)时,流量会落入默认路由走节点出口,表现为「通,但延迟异常高」。排查慢而不通的情况,要对比 ip route 的实际输出与预期子网路由,而不是只看连通性——延迟异常往往是『路由退化到默认路径』的信号。
路由表从哪里来:静态注入与动态交换
路由表不是凭空出现的。不同方案填路由表的方式完全不同:
| 方案 | 路由来源 | 规模特征 |
|---|---|---|
| bridge + 节点路由 | 云环境自动注入(每节点一条 /24 路由) | 依赖底层网络支持 |
| flannel(VXLAN) | 节点本地生成,封装进隧道 | 无需云路由参与 |
| calico | BGP 在节点间交换路由 | 大规模时靠 BGP 收敛 |
| 云 VPC 路由表 | 云厂商 API 写入 VPC 路由 | 节点增删自动同步,但受配额限制 |
不管来源是什么,数据的形状都一样:每个节点知道「每个子网在哪个下一跳」。calico 等方案的 BGP 只是「如何高效地把这张表传播到每个节点」的机制,表本身的结构就是「子网 → 下一跳」。
云环境的做法值得单独注意:云厂商(AWS VPC、GCP VPC)支持「每节点一个子网、VPC 路由表自动注入」,这是托管集群默认的 underlay 方案——节点加入时,云 API 自动加一条 10.244.x.0/24 → 节点 IP 的路由,节点移除时自动删。它的边界是路由表配额(VPC 路由条目上限),节点数逼近配额时就要切换 overlay(flannel)或 BGP(calico)。托管集群的路由注入通常不可见也不可手动改,节点数增长时要提前把配额纳入容量模型——配额告警往往就是「该换数据面」的信号。
路由还有一个现实问题:表会「变旧」。节点增删、网段调整后,如果路由没有同步更新,就会出现「表里有路由但下一跳已不存在」的死路由——排障时看到路由项存在但流量不通,先怀疑它是不是过期。
三个常见误解
- 「每个 Pod 一条路由,Pod 多了路由表就爆炸」——错误。路由按子网汇总,条数 = 节点数,不随 Pod 数增长;这正是每节点子网设计的目的。
- 「跨节点包要经过多次 NAT 转换才能到达」——错误。跨节点转发是纯路由转发(改下一跳、不改目的地址),源地址保持 Pod IP,对端看到的还是发起的 Pod。
- 「未命中路由的包会发到默认网关,总是能到」——错误。未命中即不可达是刻意的设计;K8s 网络靠「子网路由全覆盖」让 Pod 流量不落默认路由,乱丢默认网关会破坏扁平模型。
一句话总结本节
从容器网络到节点路由的跨越,靠的是「每节点子网 → 路由表 → 网关下一跳」:包在节点内二层直达,跨节点由路由表按「同网段直达 / 跨网段走 next hop / 未命中不可达」三条语义决定去向。路由按子网汇总使表大小只随节点数增长,查表语义保证了 Pod 流量端到端不被改写,对称路由保证了应答能原路返回。
下一章开始第二层抽象:从「Pod 之间的路由」升级到「一组 Pod 背后的稳定入口」——Service 的虚拟 IP 是怎么被分配、又被数据面变成真实转发规则的。
本节 lab
本节的转发语义由 cni 包的 Node.Lookup 实现,TestNodeLookupRemote 验证跨节点路径:
cd private/labs/k8s-net-lab
go test ./cni -run TestNodeLookupRemote -v
TestNodeLookupRemote 构造节点 n1(子网 10.244.1)与远端节点 n2(子网 10.244.2),给 n1 加一条路由 10.244.2 → 10.244.0.2,然后断言:
Lookup("10.244.2.8")返回10.244.0.2——跨节点走网关下一跳;Lookup("10.244.9.1")返回空——未知网段不可达。
两条断言对应本节「跨网段走 next hop」与「未命中不可达」两条查表语义。结合 1.2 节的 TestNodeLookupLocal(本网段直达),三个分支合成一张完整的最小路由表:本机直达、跨节点转发、未知拒绝。跑完见 ok k8s-net-lab/cni。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。