《Kubernetes 分布式系统原理深入解析》1.2 CNI 抽象与插件生命周期

CNI 是容器运行时与网络插件之间的接口协议:kubelet 以 stdin JSON + 环境变量调用插件,插件以 ADD/DEL/CHECK 命令完成 Pod 网络命名空间的接线与拆除。本节拆解插件链按序执行与 NETNS 的对应关系,并对比 bridge/calico/flannel/cilium 四种插件的分工。lab 用 TestNodeLookupLocal 验证 ADD 之后扁平网络的本机可达性语义。

1.2 CNI 抽象与插件生命周期

1.1 节讲了「地址从哪来」。但地址不会自己长到 Pod 上——总得有人把虚拟网卡插进 Pod、把 IP 配上、把网关指好。这个「接线的人」在 K8s 里不是 kubelet 写死的逻辑,而是一个可以插拔的插件,接口协议叫 CNI(Container Network Interface)。

本节回答三个问题:CNI 协议里谁调谁、用什么格式;一个插件的生命周期有哪些动作;真实集群里常见的插件各自管哪一段。理解了 CNI 抽象,就理解了「K8s 只规定网络模型、不规定网络实现」这句话。

CNI 的角色划分:运行时调插件,K8s 定协议

CNI 把参与方分成两半:

  • 容器运行时(kubelet 侧):负责把 Pod 塞进网络命名空间、决定「什么时候需要网络」,但它不懂具体怎么接线。
  • CNI 插件:负责把 Pod 接进集群网络,但它不关心容器里跑的是什么进程。

两者之间是协议。协议规定:运行时以标准输入传 JSON 配置 + 环境变量传参数,插件以标准输出返回结果,二者都在进程里完成,不经过 K8s 的 apiserver——CNI 是节点本地的节点间协议,与卷二讲的「控制面对象协议」完全不在一个平面上。

关键参数通过环境变量传给插件:

环境变量含义
CNI_COMMAND要执行的动作:ADD / DEL / CHECK / VERSION
CNI_CONTAINERID容器(sandbox)ID
CNI_NETNS目标网络命名空间的路径,如 /var/run/netns/cni-xxxx
CNI_IFNAMEPod 侧接口名,通常是 eth0
CNI_ARGS附加键值参数,如 IgnoreUnknown=1;K8S_POD_NAMESPACE=...
CNI_PATH插件二进制搜索路径,默认 /opt/cni/bin

运行时从 /etc/cni/net.d/ 读网络配置文件,把里面的插件逐个执行。配置文件是声明式的:它声明「这个节点上的 Pod 应该接成什么样」,插件负责把声明变成现实。

CNI 配置文件:conf 与 conflist

运行时怎么知道要调哪些插件?答案在配置文件。/etc/cni/net.d/ 下有两种形态:

形态扩展名内容典型文件
conf.conf单个插件的 JSON 配置10-mynet.conf
conflist.conflist插件链(plugins 数组)配置10-bridge.conflist

conflist 是链式配置的标准形态,结构是 plugins 数组:

{
  "cniVersion": "1.0.0",
  "name": "mynet",
  "plugins": [
    { "type": "bridge", "bridge": "cni0",
      "ipam": { "type": "host-local", "subnet": "10.244.1.0/24" } },
    { "type": "portmap", "capabilities": { "portMappings": true } }
  ]
}

运行时按文件名字典序扫描目录,取第一个可用配置执行。name 字段是关键标识:host-local 的地址账本目录按网络名区分,改名等于换账本,name 不变则重启后地址记录还能对上。

生命周期:ADD 接线、DEL 拆除、CHECK 复核

CNI 规范定义了四个命令,Pod 一生中用到的核心是 ADD 与 DEL:

命令触发时机插件的职责
ADDkubelet 创建 Pod sandbox 时分配 IP、建 veth、配路由,把 Pod 接进网络
DELPod 删除、sandbox 清理时拆接口、释放 IP(调用 IPAM 的 Release)
CHECKkubelet 周期性校验复核「网络配置是否仍然有效」,无效则报告错误
VERSION运行时探测返回插件支持的 CNI 版本

生命周期与 Pod 生命周期严格对应:ADD 在 sandbox 创建时执行,DEL 在 sandbox 销毁时执行,所以哪怕容器主进程崩溃重启,网络不重配——网络挂在 sandbox 上,不挂在容器进程上。

DEL 的语义比看起来重要:K8s 可能在任何时刻删 Pod(节点故障、驱逐、缩容),DEL 必须幂等——对同一个容器重复执行 DEL 要安全返回成功。真实集群里 DEL 失败的常见后果是 IP 泄漏:kubelet 重试 DEL,插件侧才把文件账本删掉。

版本协商:VERSION 与 CNI 版本演进

CNI 协议本身有版本号,插件与运行时必须对齐。运行时用 CNI_COMMAND=VERSION 探测插件支持的版本,双方取共同支持的最高版本执行:

版本关键变化
0.1.0最初规范,只有 ADD / DEL 两命令
0.3.0引入 CHECK 命令,Result 结构统一
0.4.0明确 CHECK 语义,新增缓存目录规范
1.0.0稳定版,废弃若干旧字段

这个协商机制让「新运行时 + 旧插件」也能工作——运行时发现插件只支持 0.3.0,就按 0.3.0 的语义调用,而不是强推 1.0.0 导致失败。版本协商是 CNI 插件生态能长期共存、随 K8s 一起升级的基础。

NETNS:网络命名空间是 CNI 的操作对象

CNI 的一切操作都围绕一个对象:网络命名空间(network namespace,NETNS)。内核里它是「网络状态的隔离盒」——网卡、路由表、iptables 规则、socket 全装在里面。每个 Pod 有一个独立 NETNS,这就是「Pod 之间网络隔离、Pod 内部共享」的实现基础:

层级网络归属谁操作
节点 NETNS节点的物理网卡、默认路由系统管理员 / 节点网络栈
Pod NETNSPod 的 eth0、路由表、IPCNI 插件(运行时把路径传给插件)
容器内进程共享 Pod NETNS无感知,以为自己在用「自己的网」

CNI_NETNS 给插件的是一个路径(如 /var/run/netns/cni-12ab)。插件打开这个路径得到命名空间的文件描述符,调用 setns() 进入该命名空间完成接线,再退出。接口的存活不依赖插件进程:配置完离开后,接口由内核持有的命名空间引用保留——插件进程退出、kubelet 重启都不影响已经接好的网络。

同一个 Pod 里的多个容器共享同一个 NETNS——所以 CNI 只被调用一次(sandbox 级别),而不是每个容器一次。这是 K8s「网络挂在 Pod 上、不挂在容器上」的最终落点。

插件链:多个插件按序执行

一个网络配置往往是多个插件的链(chain)。10-bridge.conflist 的典型结构是:主插件(bridge)在前,辅助插件(portmap、bandwidth、tuning)在后。执行规则:

  • ADD 按数组顺序:先主插件建接口、配 IP,再把结果(prevResult)交给下一个插件继续加工。
  • DEL 按逆序:先拆最后一个插件加的东西,最后拆主插件——保证拆除顺序与搭建顺序对称。
  • 任一环节失败,整个 ADD 视为失败,运行时触发 DEL 回滚已建立的资源。

这个「链」的设计把职责拆成可组合的小插件:主插件只回答「怎么接进网络」,辅助插件回答「要不要端口映射、限带宽、调 sysctl」。生产环境里这种组合随处可见,例如 bridge + portmap(让 Pod 的容器端口能被外部访问)就是最常用的链。

失败语义:ADD 回滚与 DEL 重试

CNI 协议对「失败」有明确约定,这也是它可靠性的来源:

阶段失败后的行为
ADD 中某个插件失败运行时对整个链触发 DEL 回滚,已建立的接口与地址全部拆除
DEL 重复执行必须幂等:接口已不存在时静默返回成功,不报错
CHECK 发现配置失效返回错误,运行时据此重建网络或重启 sandbox

「ADD 失败要回滚」很容易理解:接线接了一半,必须把接好的拆掉,否则留下半成品。真实场景里回滚的典型触发是 IP 分配失败——host-local 子网耗尽时主插件报错,运行时 DEL 掉 veth、再把这个 Pod 留在 Pending。kubelet 会在事件里记下 Failed to create pod sandbox 类原因,排障时看 Events 比看插件日志更快。

「DEL 幂等」则与 K8s 的删除风暴有关:节点故障、驱逐、缩容可能让同一个 sandbox 被重复触发清理,DEL 必须能安全重复执行——接口早没了就当作已成功,而不是报错让清理卡住。CNI 规范把这条写进协议,就是为了防止「重复 DEL 变成新故障」。

这两条失败语义合起来回答了「CNI 网络为什么很少泄漏」:ADD 回滚兜住「配不完整」,DEL 幂等兜住「重复清理」,再加上第 1.1 节 IPAM 的释放语义,接口与地址的生命周期才真正闭环。排查网络泄漏时,第一反应应是「哪个环节断了:ADD 没回滚、DEL 没执行、还是 IPAM 没释放」——三个环节各管一段。

四种常见插件:分工与取舍

「怎么接进网络」在不同网络方案里答案完全不同。对比 K8s 生态最常见的四种:

插件数据面机制Pod 到 Pod 路径典型规模取向IPAM
bridge(官方)节点内 Linux bridge节点内二层直连,跨节点靠路由单机/小型集群host-local
flannelVXLAN overlay封装进 UDP,经节点间隧道中小集群、快速起步host-local
calicoBGP 路由,可选 IPIP/VXLAN纯三层路由或轻封装大规模、混合云自研 IPAM
ciliumeBPF内核 eBPF map 直接转发高性能、可观测性敏感自研 IPAM

注意这四种的共性:它们都满足 CNI 的扁平网络模型——每个 Pod 一个唯一 IP、可直接互访。差异在「跨节点时怎么把包送到目的地」:bridge 靠节点路由表(第 1.3 节就是它),flannel 用隧道封装,calico 用 BGP 交换路由,cilium 用 eBPF 在收包路径内直接查表。

K8s 对网络方案的中立正是 CNI 抽象的价值:kubelet 永远只按同一套协议调用插件,网络方案可以随集群规模、云环境、性能要求更换,上层工作负载无感知。

三个常见误解

  • 「kubelet 自己负责给 Pod 配 IP 和路由」——错误。kubelet 只按 CNI 协议调用插件;接线、配 IP、建路由全是插件的工作,kubelet 不内置任何网络实现。
  • 「每个容器执行一次 ADD,网络挂在容器进程上」——错误。网络挂在 Pod 的 sandbox(NETNS)上,每个 Pod 只执行一次 ADD;容器进程重启不触发网络重建。
  • 「插件越多越安全,配置里全装一遍」——错误。插件链按序执行,每加一个插件都增加一次系统调用与失败面;只装当前网络方案需要的插件才符合链的设计意图。

一句话总结本节

CNI 把「Pod 怎么接进网络」从 kubelet 里抽出来,做成运行时以 JSON+环境变量调用插件、插件以 ADD/DEL/CHECK 在 NETNS 上完成生命周期动作的节点本地协议。插件链把接线拆成可组合的主插件与辅助插件,K8s 因此保持对网络方案的完全中立。

下一节把 bridge 的答案讲到底:插件在节点本地建好接口之后,跨节点的包是怎么靠路由表送到目的 Pod 的。

本节 lab

CNI 生命周期在本卷 lab 里没有完整复刻(真实 CNI 需要 NETNS 与内核接口,本卷 lab 是简化模型),但 ADD 之后的核心产物——「Pod IP 挂在节点上、同节点可直接到达」——正是 cni 包的 Node 与 Lookup:

cd private/labs/k8s-net-lab
go test ./cni -run TestNodeLookupLocal -v

TestNodeLookupLocal 构造节点 n1(子网 10.244.1),挂上 Pod p1(IP 10.244.1.5),断言 Lookup("10.244.1.5") 返回它自身——即本机网段内的 Pod 直接到达,无需下一跳。

这对应 ADD 完成后的状态:Node.AddPod 模拟「CNI 把 veth 接入节点」,Lookup 的同网段直达分支模拟「同节点二层可达」。lab 用节点对象代替真实 NETNS,把「插件接线成功后的网络面貌」压缩成一行断言——它验证的不是 CNI 协议本身,而是协议要保证的扁平可达性语义。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图