《Kubernetes 分布式系统原理深入解析》1.1 扁平 Pod 网络与 IP 分配

Pod 网络模型承诺每个 Pod 一个集群内唯一、可直接互访、不经 NAT 的 IP;地址来自集群网段切出的每节点子网。本节剖析 IPAM 分配器的顺序分配、冲突跳过、释放复用与耗尽报错四个语义,并用 host-local 的本地持久化说明它为什么适合单节点单写者。lab 用 cni 包的 IPAM 验证顺序分配、耗尽报错与释放复用三条语义。

1.1 扁平 Pod 网络与 IP 分配

卷三把 Pod 送上了节点。现在这个 Pod 需要一个「网络身份」:一个别的 Pod 能直接访问、能回包、能区分你我他的地址。K8s 网络模型对它的承诺是一句话——每个 Pod 拥有一个集群内唯一、可直接互访、不经过 NAT 的 IP。这个承诺写进 CNI 规范,也是本书卷四所有网络章节的出发点。

本节先讲清网络模型本身,再回答「这个 IP 从哪来」:集群网段怎么切、每节点子网怎么分、IPAM 分配器用什么语义把地址稳定地发出去再收回来。

扁平模型:无 NAT、唯一、全互达

CNI 规范把 Pod 网络模型固定在三个性质上:

性质含义违反它会发生什么
唯一地址每个 Pod 一个唯一 IP两个 Pod 同 IP,连接串线
全互达任意两个 Pod 可直接通信需要经中间层转发,破坏端到端
身份一致数据包源地址就是 Pod 自己的 IPSNAT 改写后对端无法识别来源

「无 NAT」是第三个性质的直接推论。NAT 意味着「网络身份被改写」:出口处把一堆内网地址折叠成一个出口地址,回包再翻译回去。这在传统虚拟化时代很常见,但破坏分布式系统的可观测性——你无法从数据包里知道「到底是谁在说话」。K8s 选择扁平模型,换来的是网络语义简单:Pod 之间像同一台机器上的进程一样互相寻址。

这个模型也划清了职责边界:K8s 不负责实现网络(那是 CNI 插件的事),只负责维护「每个 Pod 必须有一个唯一 IP」这个不变量。唯一性的保证机制,就是本节的主角 IPAM。

IP 地址从哪来:集群网段切到每节点子网

「唯一 IP」需要一个唯一的地址来源。K8s 的做法是两级分配:

  • 集群网段(cluster CIDR):整个集群共享一个大网段,例如 --cluster-cidr=10.244.0.0/16,由 kube-controller-manager 配置。这是 Pod 地址的「总池子」。
  • 每节点子网(node CIDR):每个节点从集群网段里切走一个不重叠的子网,例如节点 A 拿到 10.244.1.0/24、节点 B 拿到 10.244.2.0/24。节点本地的 IPAM 只在这块子网内工作。

两级切分是核心设计:IP 分配发生在节点本地,但「哪个节点用哪块子网」由控制面统一决定。kube-controller-manager 开启 --allocate-node-cidrs 后,会为每个注册节点从 cluster CIDR 顺序切出 --node-cidr-mask-size-ipv4(默认 24 位)的子网,并写进 Node 对象的 spec.podCIDR 字段。

这个「每节点子网」让路由变得极简单(第 1.3 节讲):集群网络层只要知道「10.244.1.0/24 在节点 A」这一条路由,就能把所有落在该子网的 Pod 流量都导向节点 A。

网段规划:位数决定规模上限

两级网段的位数选择就是容量规划。以最常见的 IPv4 组合为例:

配置含义推算
--cluster-cidr=10.244.0.0/16总池子 65536 个地址可供拆分的空间
--node-cidr-mask-size-ipv4=24每节点子网 256 个地址每节点最多 254 个 Pod 地址
节点数上限/16 切成 /24 子网2^(24−16) = 256 个子网,约 256 个节点

两组数字互相挤压:节点数上限由「总网段位数 − 节点子网位数」决定,单节点 Pod 数由节点子网位数决定。要容纳更多节点就把 cluster CIDR 放大(--cluster-cidr=10.244.0.0/14);要单节点挂更多 Pod 就把节点子网放大(--node-cidr-mask-size-ipv4=22,每节点 1022 个地址),但节点上限相应缩水。

规划前先算这道算术,能避免两种尴尬:子网太少导致节点加不进来(Node 报 Failed to create pod CIDR),或节点子网太小导致单机 Pod 密度上不去。kubeadm 默认的 10.244.0.0/16 配 /24 是「256 节点 × 254 Pod」的平衡点,适合起步,规模预测要在部署前重算。

地址消耗模型:谁在占用节点子网

规划节点子网大小时,最容易漏掉的点是「Pod 地址的消费者不止业务副本」。一个节点上同时占着多个地址来源:

地址消费者例子是否可控
业务副本Deployment/StatefulSet 的 Pod随副本数伸缩
系统 DaemonSetkube-proxy、CNI 代理、日志采集每节点固定 1 个,不可缩
临时构建/任务Job、Init 容器运行前的 sandbox短生命周期,占用量波动
静态 Pod / 预留控制面组件、预留空间固定,但常被遗忘

设计节点子网时的实用判据是:单节点峰值 Pod 数 × 节点数 ≤ 集群网段可用地址数,其中「单节点峰值」要计入 DaemonSet 与系统 Pod,而不是只看业务副本。一个每节点跑 50 个业务副本 + 8 个系统 DaemonSet 的节点,峰值 58 个地址——用 /24 的 254 位绰绰有余,但若规划成 /28(14 位)就会在业务扩容前先耗尽。

这道算术也解释了为什么「服务网段」和「Pod 网段」必须独立规划:服务网段只装 ClusterIP(第 2.1 节),大小只随 Service 数量增长,与 Pod 密度无关;混在一起会让「哪个网段不够了」变得无法定位。

从子网到具体地址:CNI 插件触发 IPAM

节点拿到子网只是「分到一块地」。具体某个 Pod 分到子网里的哪个 IP,由节点上的 CNI 插件在创建 Pod 网络命名空间时调用 IPAM 分配器完成。以 host-local 为例,一次完整链路是:

  1. kubelet 为 Pod 创建 sandbox,拿到该 Pod 的网络命名空间(NETNS),请求 CNI 插件执行 ADD。
  2. 主插件(如 bridge)读配置文件里的 ipam 段,得知使用 host-local 类型、范围是节点子网(如 10.244.1.0/24)。
  3. host-local 在节点本地为 Pod 挑一个未占用 IP,写持久化记录。
  4. 主插件用这个 IP 配置 Pod 的 veth 接口与网关。

分配器只回答「从子网里挑哪个 IP」,不负责路由、不负责接线——它是最纯粹的「地址记账」组件。

IPAM 分配器的四个语义

一个分配器要成为「可靠的地址账本」,必须处理四个语义。它们也是本卷 lab 里 IPAM 类型直接模拟的:

语义分配器的行为本卷 lab 对应
顺序分配从起始主机号开始逐位分配TestIPAMAllocateSequential
冲突跳过已占用的地址被跳过,不重复给第二个 Pod同测试内连续分配
释放复用释放的地址回到池中,下一次优先复用TestIPAMReleaseReusesHole
耗尽报错子网无空位时返回明确错误,不静默乱给TestIPAMExhausted

lab 里 NewIPAM("10.244.0", 2, 254) 表示在 10.244.0.2–10.244.0.254 之间分配:2 是起始主机号(跳过网段号 .1,保留给网关),254 是最大主机号。Allocate 从 next 指针开始探测,遇到已占用就线性跳过,绕完整圈仍无空位才返回 ipam exhausted 错误——这个「绕一圈」的探测保证了不会因为某个地址被占用就误报耗尽。

Release 的细节值得注意:释放时会回落 next 指针到被释放的地址。这使「空位」尽快被复用,保持地址空间的紧凑性。释放是分配器最容易出错的地方——漏释放会逐步蚕食地址空间(泄漏),提前释放会造成冲突(两个 Pod 抢同一地址)。

host-local:本地持久化的「单写者账本」

host-local 是最常用的 IPAM 插件(bridge、flannel 的默认选择之一),它的实现朴素但值得拆解:

  • 存储位置:每个网络一个目录,例如 /var/lib/cni/networks/<网络名>/。
  • 记录形式:目录下每个以 IP 为文件名的空文件就是「这个地址已被占用」的标记,文件内容写容器 ID。
  • 分配:扫描目录找空位;Allocate 等价于「创建 10.244.1.5 这个文件」。
  • 释放:DEL 时删掉对应文件;文件消失即地址归还。

这套设计的代价与收益要看清:

维度host-localDHCP IPAM
地址记录本地文件DHCP 服务器数据库
租期无(文件存在即占用)有 TTL,需续租
故障恢复重启后文件仍在,账本不丢依赖 DHCP 服务器可用性
一致性模型单节点单写者,无需锁服务器端串行分配
典型场景节点本地地址池与现有 DHCP 基础设施打通

host-local 能省掉分布式锁,是因为它的前提是**「一个节点只由本地 kubelet/CNI 写」**——每节点子网保证了地址空间不跨节点共享,本地文件就天然不会并发写冲突。这是「每节点子网」带来的又一个红利:它把「全集群唯一的地址空间」拆成了「每个节点自己的一亩三分地」,使一致性从分布式问题降级为单机问题。

如果跳过节点子网、让所有节点共享一个大池,host-local 立刻失效——两个节点可能同时把同一个 IP 分配给不同 Pod,冲突概率随节点数上升。这正是集群网段必须按节点切分的根本原因。

顺序分配与碎片:为什么「尽量紧凑」有意义

顺序分配 + 释放复用让地址空间尽量紧凑。反过来想:如果分配器「只从头往后发、发了不退」,释放的地址就永远闲置,子网迟早耗尽——即使实际并发 Pod 远小于子网容量。不同策略的空闲地址管理差异很大:

分配策略空闲地址管理长期表现
线性递增、不复用释放的地址永久闲置地址空间「只增不减」,迟早耗尽
顺序 + 回落复用(host-local)释放后指针回落,空位最终再被填紧凑,深层释放留下零星空洞
随机分配用集合管理全部空闲位无偏但碎片分布随机

host-local 的「回落 next 指针」属于第二种:它不承诺零碎片(释放中间地址后,下一次分配从指针起探测,可能不立即补上中间空洞),但保证释放的地址最终会被复用,地址空间不会「只增不减」。对「Pod 频繁更替、节点长期运行」的集群,这个性质决定了节点子网能否撑住——它把「并发上限」从「历史累计分配数」变成「同时存活数」,这才是地址空间的真实容量。

IPAM 失败恢复:账本丢了会怎样

host-local 的账本是本地文件,可靠性完全跟随节点生命周期:

场景账本状态后果与恢复
节点正常重启文件仍在账本不丢,重启后继续按原样分配
节点重装 / 磁盘重建文件丢失已分配 Pod 可能被重复分配,造成地址冲突;需先清空节点再放新 Pod
DEL 失败(CNI 调用异常)文件残留地址泄漏;靠 kubelet 重试 DEL 或人工删文件回收

教训很直接:host-local 的可靠性边界是「节点本身」——节点死了,账本跟着一起消失。这正是它不能用于「跨节点共享地址池」的原因,也解释了为什么需要集群级 IPAM(如 calico 把地址记账放进 etcd)的场景要引入分布式存储。选 IPAM 的本质是选「把账本放在哪」:放在节点本地,就接受节点生命周期与地址生命周期绑定的代价;放在集群存储,就要为它付出分布式一致性成本。

三个常见误解

  • 「Pod IP 是网络地址转换出来的,出口 IP 就是 Pod IP」——错误。扁平模型的核心就是无 NAT;Pod 的源地址就是它自己的 IP,对端看到的就是它。
  • 「IP 分配是全集群一个全局账本,所有节点共享同一个池」——错误。分配发生在节点本地(host-local 文件账本),全集群统一的是「子网划分」而非「地址分配」。
  • 「释放地址就是把记账删掉,顺序无所谓」——错误。释放必须把空位交回分配器(回落 next),否则地址要么泄漏要么被白白跳过;漏释放是地址空间收缩的头号元凶。

一句话总结本节

Pod 网络模型承诺「唯一、无 NAT、全互达」;实现它的地址体系是两级结构——控制面把集群网段切成每节点子网,节点本地 IPAM 在子网内做顺序分配、冲突跳过、释放复用与耗尽报错。切分把全局一致性问题降级为每节点的单写者问题,IPAM 则把这个单写者做成可靠账本。

下一节把视线从「地址」移到「接线」:CNI 插件如何在 Pod 网络命名空间与节点之间架起通道,ADD/DEL/CHECK 又是怎样一个生命周期。

本节 lab

本节的三个测试直接落在 cni 包的 IPAM 类型上,验证「顺序分配、耗尽报错、释放复用」三条语义:

cd private/labs/k8s-net-lab
go test ./cni -run TestIPAMAllocateSequential -v
go test ./cni -run TestIPAMExhausted -v
go test ./cni -run TestIPAMReleaseReusesHole -v
  • TestIPAMAllocateSequential:断言首个分配是 10.244.0.2、第二个是 10.244.0.3、已分配数 2——对应「顺序分配 + 冲突跳过」。
  • TestIPAMExhausted:用只有 2 个可分配位的子网(base 2、max 3)验证第三次分配返回错误——对应「耗尽报错」。
  • TestIPAMReleaseReusesHole:分配 a/b/c、释放 b,再分配 d,断言 d 复用到 10.244.0.3——对应「释放复用」。

三个测试各 2–4 个断言,跑完见 ok k8s-net-lab/cni。这就是本节把「每个 Pod 一个唯一 IP」落地为可验证账本的最小闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图