2.3 EndpointSlice 分片与数据面一致
2.2 节说 kube-proxy 的输入是 Service 与 EndpointSlice。本节补上这个输入的来龙去脉:Service 的后端列表(端点)是怎么被组织成对象、又怎么被数据面消费的。
端点在 K8s 里的载体经历了一次重要演进:从单一 Endpoints 对象变成分片的 EndpointSlice。这个演进的动机不是「换个名字」,而是两个硬问题——对象大小和变更放大。本节讲清分片的三个语义,再回答数据面如何消费分片而保持一致。
演进动机:一个对象的两个硬问题
在 EndpointSlice 之前,Service 的后端列表是一个 Endpoints 对象:所有端点的 IP 都塞进一个对象。规模上来之后,这个设计出现两个问题:
| 问题 | 现象 | 后果 |
|---|---|---|
| 对象大小 | 大 Service 的 Endpoints 对象含上千端点 IP | 逼近 etcd 对象大小上限(默认 1.5 MiB),读一次全量开销大 |
| 变更放大 | 任一端点变化(重启、失联、扩缩容)都触发整个对象更新 | watch 事件按整对象体积传输,一个端点抖动带动全部消费者 |
变更放大是分布式系统里更隐蔽的成本:kube-proxy 等所有消费者 watch 的是对象级事件,Endpoints 一个端点变化就推送整份列表,规则重建按全量重做。端点越多的 Service,抖动一次的成本越高——这就是「对象越大,越要分片」的直观理由。
EndpointSlice 把「一个大对象」拆成「一组小对象」:每个分片只装一部分端点,任何变化只更新受影响的那一片,其余分片与消费者不受牵连。
EndpointSlice 的对象形态:一张小表装什么
EndpointSlice 是 discovery.k8s.io/v1 下的独立资源,它把端点信息拆成一张紧凑的表。关键字段:
| 字段 | 内容 | 例子 |
|---|---|---|
addressType | 地址族 | IPv4 / IPv6 / FQDN |
endpoints | 端点数组,每个含地址、条件、拓扑 | addresses: ["10.244.1.5"], conditions.ready: true |
ports | 服务端口 | port: 80, protocol: TCP |
labels[kubernetes.io/service-name] | 归属哪个 Service | my-svc |
每个端点还携带 topology 与 nodeName,正是第 2.3 节分片语义一的拓扑键来源。一张 EndpointSlice 只描述 Service 后端的一个子集,多个分片靠 kubernetes.io/service-name 标签聚合成完整的后端集合——数据面消费的就是这个带标签的分片集合。
EndpointSlice 分片语义一:按拓扑键分组
分片不是随机切块,而是按拓扑键(topology key)分组。拓扑键决定「哪些端点天然属于同一组」,常见键:
| 拓扑键 | 分组依据 | 典型用途 |
|---|---|---|
kubernetes.io/hostname | 同一节点的端点 | 节点内就近路由 |
topology.kubernetes.io/zone | 同一可用区的端点 | 跨区故障域、就近调度 |
topology.kubernetes.io/region | 同一地域的端点 | 跨地域流量策略 |
EndpointSlice 控制器为每个拓扑键值生成一个独立分片,并在 slice.Topology 字段里记下该键值。分组的意义不只是物理切分——它让「按拓扑就近」成为可能:拓扑感知路由(后续章节)可以直接按分片选「本区域的端点」。lab 里 Shard 的 keyOf 函数就是这个分组的可编程抽象:传入 zoneOf,就是按可用区分片。
EndpointSlice 分片语义二:分片上限
每个分片不能无限装端点,有硬上限。默认 maxEndpointsPerSlice=100——一个分片最多 100 个端点,超过就再切子片。
上限的设计目标很明确:把「对象更新成本」限制在可控范围。一片最多 100 端点,任何事件最多传输 100 条端点记录;单个分片大小远低于 etcd 对象上限,读与 watch 都轻。
lab 里这个上限是可配置的:Shard(eps, zoneOf, maxSize) 的 maxSize 就是上限。同一拓扑键内端点超过 maxSize 时,Shard 按 start += maxSize 切出多个子片——这正是 TestShardSplitsOversize 用 5 个端点、上限 3,断言「3+2 两片子片」的语义。
EndpointSlice 分片语义三:未就绪端点不进分片
第三个语义最重要,也最容易被忽略:Ready=false 的端点根本不进分片。
为什么是「不进分片」而不是「进分片但标记不健康」?因为数据面消费分片的前提是「分片内容即转发目标」——kube-proxy 拿到一个分片就直接为里面的端点生成转发规则,不再逐个过滤。在源头排除未就绪端点,让数据面无需理解健康语义,这是「数据面一致」的第一道保证。
这与 2.2 节的健康摘除正好接上:EndpointSlice 里没有的就绪端点,kube-proxy 的规则里就不会有;规则「天然只含健康端点」不是因为数据面聪明,而是因为分片已经替它过滤过了。lab 里 Shard 的 if !e.Ready { continue } 一行就是这道过滤。
数据面如何消费分片并保持一致
数据面(kube-proxy)消费分片的方式,决定了「一致」的具体含义:
- kube-proxy watch 的是 EndpointSlice 而非 Endpoints;每个分片是独立对象、独立事件。
- 收到一个分片事件,只重算与该分片相关的转发规则(如 iptables 里对应的
KUBE-SVC-*链),不重算整个 Service。 - 多个分片合起来才是 Service 的完整后端集合;数据面把各分片规则拼成同一入口的转发路径。
「保持一致」在这里是弱一致性:分片间、对象与规则间的更新是异步的,某一时刻可能看到新旧端点混合。K8s 不承诺「规则原子切换」,只承诺「事件最终收敛」。这个边界很重要——分片把变更面缩小,并没有消灭变更窗口;它让窗口内不一致的影响范围从「整个 Service」缩小到「受影响的那一片」。
这个时序有一个可观测的后果:扩容后新 Pod 不会「瞬间」接到流量。排查「刚扩容但流量没到新 Pod」时,先看 EndpointSlice 是否已含新端点(kubectl get endpointslice -l kubernetes.io/service-name=my-svc),再看数据面规则是否已更新——两个视图的先后顺序,就是一致性边界的形状。先查对象、再查规则,能立刻定位是控制器没生成分片,还是数据面没消费分片。
从 Endpoints 到 EndpointSlice:兼容与并存
迁移不是「一夜删掉旧对象」。K8s 保持了两者并存:
| 对象 | API 版本 | 状态 |
|---|---|---|
| Endpoints | v1 | 保留,控制器仍生成,标记 legacy |
| EndpointSlice | discovery.k8s.io/v1 | GA(1.21 起),kube-proxy 默认消费它 |
并存期间,两个对象同时由控制器维护、内容一致,只是组织方式不同。消费端(kube-proxy)迁移到 EndpointSlice 后,Endpoints 退化为「兼容视图」。这套「新旧共存、增量迁移」是 K8s 演进 API 的标准姿势:不破坏现有消费者,给新能力单独开 API 版本,等生态跟上再逐步废弃旧对象。
观察这个并存状态有个实用命令:kubectl get endpoints,endpointslice -A 会同时列出两代对象,对照它们的端点数量可以判断控制器是否在正常维护两套视图——数量对不上往往说明端点控制器卡住,或某个自定义控制器只写了 Endpoints 而没写 EndpointSlice(新版消费端就会漏掉这批后端)。两代对象数量一致,是「分片正确生成」的快速体检。
分片前后对比:一次端点抖动的成本
把两个时代放在一起看,演进的收益一目了然:
| 维度 | Endpoints(一个对象) | EndpointSlice(分片) |
|---|---|---|
| 对象粒度 | Service 级一个对象 | 拓扑键/上限切成多个 |
| 单对象大小 | 与端点总数成正比 | 最多 100 端点 |
| 一次端点抖动 | 整对象更新、全量推送 | 只更新所属分片 |
| 数据面重算 | 重算整个 Service 规则 | 重算受影响分片规则 |
| 未就绪处理 | 对象内标记,消费者自行过滤 | 不进分片,源头排除 |
结论:EndpointSlice 用「分片隔离」换掉「全量放大」——端点越多,收益越明显。这也解释了为什么它是现代 K8s 里 kube-proxy 的默认输入(Endpoints 保留但被标记为 legacy)。
如果端点规模小(几十个),分片的收益也不明显——一个分片就能装下全部端点,对象数量与 Endpoints 时代相当。分片的价值是随规模增长的:小 Service 用哪个都行,大 Service 才见分晓。设计时别为「小规模看不到收益」而放弃分片,也别为「分片多」而恐慌——它们都是同一套语义在不同规模下的自然表现。
maxEndpointsPerSlice 与分片调优
分片上限不是写死的,EndpointSlice 控制器用 --max-endpoints-per-slice 控制(默认 100)。这个值是个「事件粒度」的旋钮:
| 上限取值 | 单片端点数 | 变更放大 | 对象数量 |
|---|---|---|---|
| 小(如 25) | 少 | 每片更小、事件更轻 | 分片更多 |
| 默认 100 | 适中 | 平衡点 | 适中 |
| 大(如 500) | 多 | 单事件变大 | 分片更少 |
调小让「单次事件更轻」,但分片更多、管理更碎;调大让「分片更少」,但单次事件携带更多端点。生产里通常保持默认 100——它是「事件体积 vs 对象数量」的工程平衡点。真正需要调的信号是 watch 事件体积或 etcd 对象大小告警,而不是凭空猜测。
lab 里 Shard(eps, zoneOf, maxSize) 把上限做成参数,正是为了体现「上限可调」这个语义——TestShardSplitsOversize 用上限 3 验证切子片,换成 100 语义相同、规模不同。调优上限前先记录当前的端点总数与单事件体积,用数据决定方向,而不是经验拍板——大部分集群根本不需要动这个默认值。
调大上限的诱因通常是「分片数量太多、管理不过来」,但先要确认瓶颈真的在对象数量而不是消费端处理速度——把上限从 100 调到 500 不会让数据面更快,只会让单次事件更大。
分片与拓扑感知路由
按拓扑键分组的分片,另一个直接消费者是拓扑感知路由:它利用分片里的 topology 信息,让请求优先落在同区域的后端,减少跨区延迟与费用。
| 消费方式 | 分片提供的信息 | 路由决策 |
|---|---|---|
| kube-proxy(数据面) | 就绪端点集合 | 随机/加权转发 |
| 拓扑感知路由 | 每个端点的 zone | 同 zone 优先,跨 zone 兜底 |
| 外部负载均衡 | 每 zone 的端点子集 | 按 zone 加权分发 |
同一个分片,数据面看的是「有哪些就绪端点」,拓扑路由看的是「每个端点在哪个拓扑域」——分片的按拓扑分组让这两种视角都不需要扫描全量端点。这也是分片语义一(按拓扑键分组)的长期价值:它不是为「今天的数据面」设计,而是为「要按拓扑做决策的消费者们」准备的。看到分片「多余」的 topology 字段时,记得它服务的不是眼前的数据面,而是后续章节里那些按拓扑选路的机制。
分组还隐含一个正确性保证:一个端点只属于一个拓扑键值,只会被分进一个分片。分组是『端点 → 一个分片』的一对一映射,数据面消费时不会为同一后端生成重复规则——重复规则会让流量分布失真(同一后端被选中的概率翻倍)。这个不变量是 Shard 用 groups[k] = append(groups[k], e) 按 key 聚合的自然结果,也是「分片即转发目标」能成立的前提之一。
再回到「一致」的落点:数据面消费分片的方式决定了它看到的永远是「分片的快照」而非「全量端点」——规则天然按分片组织、按分片更新。理解了这个组织方式,「为什么扩容后流量要过一会才到」这类问题就有了确定的排查方向:不是数据面坏了,而是分片事件还在路上。
三个常见误解
- 「EndpointSlice 只是把一个大列表切成几个小列表,顺序无关」——错误。切法有语义:按拓扑键分组、按上限切子片;分组决定拓扑路由能力,切法本身影响变更面。
- 「不健康端点会进分片、由 kube-proxy 过滤」——错误。
Ready=false的端点不进分片,源头过滤是数据面一致的第一道保证,kube-proxy 不需要理解健康语义。 - 「分片后端点变化可以原子切换,流量无感知」——错误。分片缩小了变更面但不消除变更窗口;新旧端点混合仍可能短暂出现,应用层要靠重试吸收。
一句话总结本节
EndpointSlice 把 Service 后端列表从「一个巨对象」改造成「按拓扑键分组、按上限切子片、未就绪端点源头排除」的分片集合,动机是控制对象大小与变更放大。数据面消费分片得到的第一份礼物是『分片即转发目标、无需过滤』,第二份是『变更只波及一片而非整个 Service』——规模越大,这两个收益越关键。
本节 lab
分片的三条语义由 endpoint 包的 Shard 实现,三个测试逐条验证:
cd private/labs/k8s-net-lab
go test ./endpoint -run TestShardGroupsByZone -v
go test ./endpoint -run TestShardSplitsOversize -v
go test ./endpoint -run TestShardSkipsNotReady -v
TestShardGroupsByZone:3 个端点分布在 zone-a/zone-b,断言切成 2 片、zone-a 片含 2 端点——对应「按拓扑键分组」。TestShardSplitsOversize:5 个端点、上限 3,断言切成 3+2 两个子片——对应「分片上限」。TestShardSkipsNotReady:1 个未就绪 + 1 个就绪端点,断言只有 1 片、含 1 端点——对应「未就绪端点不进分片」。
三个测试共 6 条断言,跑完见 ok k8s-net-lab/endpoint。Shard 不模拟事件流与控制器的完整时序,但把分片最核心的「分组、切上限、源头过滤」压缩成纯函数——这正是数据面消费分片时真正依赖的三个不变量。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。