1.1 扁平 Pod 网络与 IP 分配
卷三把 Pod 送上了节点。现在这个 Pod 需要一个「网络身份」:一个别的 Pod 能直接访问、能回包、能区分你我他的地址。K8s 网络模型对它的承诺是一句话——每个 Pod 拥有一个集群内唯一、可直接互访、不经过 NAT 的 IP。这个承诺写进 CNI 规范,也是本书卷四所有网络章节的出发点。
本节先讲清网络模型本身,再回答「这个 IP 从哪来」:集群网段怎么切、每节点子网怎么分、IPAM 分配器用什么语义把地址稳定地发出去再收回来。
扁平模型:无 NAT、唯一、全互达
CNI 规范把 Pod 网络模型固定在三个性质上:
| 性质 | 含义 | 违反它会发生什么 |
|---|---|---|
| 唯一地址 | 每个 Pod 一个唯一 IP | 两个 Pod 同 IP,连接串线 |
| 全互达 | 任意两个 Pod 可直接通信 | 需要经中间层转发,破坏端到端 |
| 身份一致 | 数据包源地址就是 Pod 自己的 IP | SNAT 改写后对端无法识别来源 |
「无 NAT」是第三个性质的直接推论。NAT 意味着「网络身份被改写」:出口处把一堆内网地址折叠成一个出口地址,回包再翻译回去。这在传统虚拟化时代很常见,但破坏分布式系统的可观测性——你无法从数据包里知道「到底是谁在说话」。K8s 选择扁平模型,换来的是网络语义简单:Pod 之间像同一台机器上的进程一样互相寻址。
这个模型也划清了职责边界:K8s 不负责实现网络(那是 CNI 插件的事),只负责维护「每个 Pod 必须有一个唯一 IP」这个不变量。唯一性的保证机制,就是本节的主角 IPAM。
IP 地址从哪来:集群网段切到每节点子网
「唯一 IP」需要一个唯一的地址来源。K8s 的做法是两级分配:
- 集群网段(cluster CIDR):整个集群共享一个大网段,例如
--cluster-cidr=10.244.0.0/16,由 kube-controller-manager 配置。这是 Pod 地址的「总池子」。 - 每节点子网(node CIDR):每个节点从集群网段里切走一个不重叠的子网,例如节点 A 拿到
10.244.1.0/24、节点 B 拿到10.244.2.0/24。节点本地的 IPAM 只在这块子网内工作。
两级切分是核心设计:IP 分配发生在节点本地,但「哪个节点用哪块子网」由控制面统一决定。kube-controller-manager 开启 --allocate-node-cidrs 后,会为每个注册节点从 cluster CIDR 顺序切出 --node-cidr-mask-size-ipv4(默认 24 位)的子网,并写进 Node 对象的 spec.podCIDR 字段。
这个「每节点子网」让路由变得极简单(第 1.3 节讲):集群网络层只要知道「10.244.1.0/24 在节点 A」这一条路由,就能把所有落在该子网的 Pod 流量都导向节点 A。
网段规划:位数决定规模上限
两级网段的位数选择就是容量规划。以最常见的 IPv4 组合为例:
| 配置 | 含义 | 推算 |
|---|---|---|
--cluster-cidr=10.244.0.0/16 | 总池子 65536 个地址 | 可供拆分的空间 |
--node-cidr-mask-size-ipv4=24 | 每节点子网 256 个地址 | 每节点最多 254 个 Pod 地址 |
| 节点数上限 | /16 切成 /24 子网 | 2^(24−16) = 256 个子网,约 256 个节点 |
两组数字互相挤压:节点数上限由「总网段位数 − 节点子网位数」决定,单节点 Pod 数由节点子网位数决定。要容纳更多节点就把 cluster CIDR 放大(--cluster-cidr=10.244.0.0/14);要单节点挂更多 Pod 就把节点子网放大(--node-cidr-mask-size-ipv4=22,每节点 1022 个地址),但节点上限相应缩水。
规划前先算这道算术,能避免两种尴尬:子网太少导致节点加不进来(Node 报 Failed to create pod CIDR),或节点子网太小导致单机 Pod 密度上不去。kubeadm 默认的 10.244.0.0/16 配 /24 是「256 节点 × 254 Pod」的平衡点,适合起步,规模预测要在部署前重算。
地址消耗模型:谁在占用节点子网
规划节点子网大小时,最容易漏掉的点是「Pod 地址的消费者不止业务副本」。一个节点上同时占着多个地址来源:
| 地址消费者 | 例子 | 是否可控 |
|---|---|---|
| 业务副本 | Deployment/StatefulSet 的 Pod | 随副本数伸缩 |
| 系统 DaemonSet | kube-proxy、CNI 代理、日志采集 | 每节点固定 1 个,不可缩 |
| 临时构建/任务 | Job、Init 容器运行前的 sandbox | 短生命周期,占用量波动 |
| 静态 Pod / 预留 | 控制面组件、预留空间 | 固定,但常被遗忘 |
设计节点子网时的实用判据是:单节点峰值 Pod 数 × 节点数 ≤ 集群网段可用地址数,其中「单节点峰值」要计入 DaemonSet 与系统 Pod,而不是只看业务副本。一个每节点跑 50 个业务副本 + 8 个系统 DaemonSet 的节点,峰值 58 个地址——用 /24 的 254 位绰绰有余,但若规划成 /28(14 位)就会在业务扩容前先耗尽。
这道算术也解释了为什么「服务网段」和「Pod 网段」必须独立规划:服务网段只装 ClusterIP(第 2.1 节),大小只随 Service 数量增长,与 Pod 密度无关;混在一起会让「哪个网段不够了」变得无法定位。
从子网到具体地址:CNI 插件触发 IPAM
节点拿到子网只是「分到一块地」。具体某个 Pod 分到子网里的哪个 IP,由节点上的 CNI 插件在创建 Pod 网络命名空间时调用 IPAM 分配器完成。以 host-local 为例,一次完整链路是:
- kubelet 为 Pod 创建 sandbox,拿到该 Pod 的网络命名空间(NETNS),请求 CNI 插件执行 ADD。
- 主插件(如 bridge)读配置文件里的
ipam段,得知使用host-local类型、范围是节点子网(如10.244.1.0/24)。 - host-local 在节点本地为 Pod 挑一个未占用 IP,写持久化记录。
- 主插件用这个 IP 配置 Pod 的 veth 接口与网关。
分配器只回答「从子网里挑哪个 IP」,不负责路由、不负责接线——它是最纯粹的「地址记账」组件。
IPAM 分配器的四个语义
一个分配器要成为「可靠的地址账本」,必须处理四个语义。它们也是本卷 lab 里 IPAM 类型直接模拟的:
| 语义 | 分配器的行为 | 本卷 lab 对应 |
|---|---|---|
| 顺序分配 | 从起始主机号开始逐位分配 | TestIPAMAllocateSequential |
| 冲突跳过 | 已占用的地址被跳过,不重复给第二个 Pod | 同测试内连续分配 |
| 释放复用 | 释放的地址回到池中,下一次优先复用 | TestIPAMReleaseReusesHole |
| 耗尽报错 | 子网无空位时返回明确错误,不静默乱给 | TestIPAMExhausted |
lab 里 NewIPAM("10.244.0", 2, 254) 表示在 10.244.0.2–10.244.0.254 之间分配:2 是起始主机号(跳过网段号 .1,保留给网关),254 是最大主机号。Allocate 从 next 指针开始探测,遇到已占用就线性跳过,绕完整圈仍无空位才返回 ipam exhausted 错误——这个「绕一圈」的探测保证了不会因为某个地址被占用就误报耗尽。
Release 的细节值得注意:释放时会回落 next 指针到被释放的地址。这使「空位」尽快被复用,保持地址空间的紧凑性。释放是分配器最容易出错的地方——漏释放会逐步蚕食地址空间(泄漏),提前释放会造成冲突(两个 Pod 抢同一地址)。
host-local:本地持久化的「单写者账本」
host-local 是最常用的 IPAM 插件(bridge、flannel 的默认选择之一),它的实现朴素但值得拆解:
- 存储位置:每个网络一个目录,例如
/var/lib/cni/networks/<网络名>/。 - 记录形式:目录下每个以 IP 为文件名的空文件就是「这个地址已被占用」的标记,文件内容写容器 ID。
- 分配:扫描目录找空位;
Allocate等价于「创建10.244.1.5这个文件」。 - 释放:
DEL时删掉对应文件;文件消失即地址归还。
这套设计的代价与收益要看清:
| 维度 | host-local | DHCP IPAM |
|---|---|---|
| 地址记录 | 本地文件 | DHCP 服务器数据库 |
| 租期 | 无(文件存在即占用) | 有 TTL,需续租 |
| 故障恢复 | 重启后文件仍在,账本不丢 | 依赖 DHCP 服务器可用性 |
| 一致性模型 | 单节点单写者,无需锁 | 服务器端串行分配 |
| 典型场景 | 节点本地地址池 | 与现有 DHCP 基础设施打通 |
host-local 能省掉分布式锁,是因为它的前提是**「一个节点只由本地 kubelet/CNI 写」**——每节点子网保证了地址空间不跨节点共享,本地文件就天然不会并发写冲突。这是「每节点子网」带来的又一个红利:它把「全集群唯一的地址空间」拆成了「每个节点自己的一亩三分地」,使一致性从分布式问题降级为单机问题。
如果跳过节点子网、让所有节点共享一个大池,host-local 立刻失效——两个节点可能同时把同一个 IP 分配给不同 Pod,冲突概率随节点数上升。这正是集群网段必须按节点切分的根本原因。
顺序分配与碎片:为什么「尽量紧凑」有意义
顺序分配 + 释放复用让地址空间尽量紧凑。反过来想:如果分配器「只从头往后发、发了不退」,释放的地址就永远闲置,子网迟早耗尽——即使实际并发 Pod 远小于子网容量。不同策略的空闲地址管理差异很大:
| 分配策略 | 空闲地址管理 | 长期表现 |
|---|---|---|
| 线性递增、不复用 | 释放的地址永久闲置 | 地址空间「只增不减」,迟早耗尽 |
| 顺序 + 回落复用(host-local) | 释放后指针回落,空位最终再被填 | 紧凑,深层释放留下零星空洞 |
| 随机分配 | 用集合管理全部空闲位 | 无偏但碎片分布随机 |
host-local 的「回落 next 指针」属于第二种:它不承诺零碎片(释放中间地址后,下一次分配从指针起探测,可能不立即补上中间空洞),但保证释放的地址最终会被复用,地址空间不会「只增不减」。对「Pod 频繁更替、节点长期运行」的集群,这个性质决定了节点子网能否撑住——它把「并发上限」从「历史累计分配数」变成「同时存活数」,这才是地址空间的真实容量。
IPAM 失败恢复:账本丢了会怎样
host-local 的账本是本地文件,可靠性完全跟随节点生命周期:
| 场景 | 账本状态 | 后果与恢复 |
|---|---|---|
| 节点正常重启 | 文件仍在 | 账本不丢,重启后继续按原样分配 |
| 节点重装 / 磁盘重建 | 文件丢失 | 已分配 Pod 可能被重复分配,造成地址冲突;需先清空节点再放新 Pod |
| DEL 失败(CNI 调用异常) | 文件残留 | 地址泄漏;靠 kubelet 重试 DEL 或人工删文件回收 |
教训很直接:host-local 的可靠性边界是「节点本身」——节点死了,账本跟着一起消失。这正是它不能用于「跨节点共享地址池」的原因,也解释了为什么需要集群级 IPAM(如 calico 把地址记账放进 etcd)的场景要引入分布式存储。选 IPAM 的本质是选「把账本放在哪」:放在节点本地,就接受节点生命周期与地址生命周期绑定的代价;放在集群存储,就要为它付出分布式一致性成本。
三个常见误解
- 「Pod IP 是网络地址转换出来的,出口 IP 就是 Pod IP」——错误。扁平模型的核心就是无 NAT;Pod 的源地址就是它自己的 IP,对端看到的就是它。
- 「IP 分配是全集群一个全局账本,所有节点共享同一个池」——错误。分配发生在节点本地(host-local 文件账本),全集群统一的是「子网划分」而非「地址分配」。
- 「释放地址就是把记账删掉,顺序无所谓」——错误。释放必须把空位交回分配器(回落
next),否则地址要么泄漏要么被白白跳过;漏释放是地址空间收缩的头号元凶。
一句话总结本节
Pod 网络模型承诺「唯一、无 NAT、全互达」;实现它的地址体系是两级结构——控制面把集群网段切成每节点子网,节点本地 IPAM 在子网内做顺序分配、冲突跳过、释放复用与耗尽报错。切分把全局一致性问题降级为每节点的单写者问题,IPAM 则把这个单写者做成可靠账本。
下一节把视线从「地址」移到「接线」:CNI 插件如何在 Pod 网络命名空间与节点之间架起通道,ADD/DEL/CHECK 又是怎样一个生命周期。
本节 lab
本节的三个测试直接落在 cni 包的 IPAM 类型上,验证「顺序分配、耗尽报错、释放复用」三条语义:
cd private/labs/k8s-net-lab
go test ./cni -run TestIPAMAllocateSequential -v
go test ./cni -run TestIPAMExhausted -v
go test ./cni -run TestIPAMReleaseReusesHole -v
TestIPAMAllocateSequential:断言首个分配是10.244.0.2、第二个是10.244.0.3、已分配数 2——对应「顺序分配 + 冲突跳过」。TestIPAMExhausted:用只有 2 个可分配位的子网(base 2、max 3)验证第三次分配返回错误——对应「耗尽报错」。TestIPAMReleaseReusesHole:分配 a/b/c、释放 b,再分配 d,断言 d 复用到10.244.0.3——对应「释放复用」。
三个测试各 2–4 个断言,跑完见 ok k8s-net-lab/cni。这就是本节把「每个 Pod 一个唯一 IP」落地为可验证账本的最小闭环。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。