8.2 分片与副本在 K8s 的表达(CRD 层面)
8.1 节把「一个复制组怎么放置」讲完。但现实的有状态系统很少只有一个复制组——数据量大了要分片:按 key 把数据拆成多个分片,每个分片各自持有一组副本。于是问题变成:K8s 里怎么表达「N 个分片、每片 M 个副本、谁在主」这个结构?本节答案:CRD 把分片集合声明化,Operator 把它物化。
为什么 K8s 没有内建「分片」资源
K8s 内建资源里没有「Shard」。StatefulSet 表达「一组有序副本」,Service 表达「一组后端」,但它们都不知道数据被拆成了几片、每片的主在哪。分片语义与应用强相关——MongoDB 按 shard key 分片、Kafka 按 partition 分片、数据库按 range 或 hash 分片——K8s 无法抽象一个通用分片,于是把表达权下放给 CRD:应用自己定义一个分片集合的声明式描述,再写一个 Operator 去执行。
这也是卷二 13 章 CRD 机制与本书的分工点:卷二讲 CRD 怎么被 etcd 存储、怎么版本转换;本节讲用一个 CRD 承载分片集合这个领域模型。CRD 的价值不在存储,而在「把分片拓扑变成一等公民,让控制器能 watch、能 reconcile」。
ShardSet:把分片集合声明化
一个典型的分片集合 CRD 长这样(以 range 分片为例):
apiVersion: shard.example.io/v1
kind: ShardSet
metadata:
name: users-shardset
spec:
shards:
- id: shard-0
keyRange: "[0, 10000)"
replicas: 3
primaryReplica: 0
- id: shard-1
keyRange: "[10000, 20000)"
replicas: 3
primaryReplica: 0
status:
readyShards: 2
observedGeneration: 3
关键点:spec 是期望态,status 是实际态。分片 id、key 范围、副本数、主副本下标都写进 spec;各分片是否就绪、与控制面看到的是哪个 generation,写进 status。这个结构与卷二讲过的声明式 API 完全同构——Operator 的循环就是「比较 spec 与 status,拉近」。
本节 lab 的 Shard 是这份 CRD 的内存简化版:ID、Key、Replica []string(nodeID 列表)、Primary int(当前主副本下标)。CRD 到内存模型的映射是一一对应的,后续 8.3 的 Operator 直接在它上面跑。
分片键:hash 还是 range
ShardSet 的 keyRange 字段背后,是先于 CRD 的一个设计决策——用什么键、什么方式分片。两种主流方式对 CRD 表达有直接影响:
| 维度 | hash 分片 | range 分片 |
|---|---|---|
| 数据分布 | 散列打散,基本均匀 | 按 key 区间切,可能偏斜 |
| 范围查询 | 必须跨所有分片聚合 | 单片内友好,可裁剪 |
| 写热点 | 均匀写多片 | 顺序写集中到尾部一片 |
| CRD 表达 | keyRange 换成 hash bucket 区间 | keyRange 直接写键区间 |
无论选哪种,有个不变的事实:单个热点 key 只能落在一个分片——分片是热点隔离的最小单元,热点 key 所在分片再平衡也没用。所以分片键要选高基数、分布均匀的字段(用户 id、订单 id),而不是低基数的枚举字段。
分片键对扩容的影响也要在 CRD 层提前想清:range 分片扩容要改 keyRange 边界并搬数据,hash 分片扩容要改 bucket 数并整体 rehash——两者都意味着rebalance,常常需要停写或双写过渡。选型错误的分片键在运行期几乎无法低成本纠正,这是 CRD 表达之前就该定的事。
主从结构:谁在写,谁在读
分片内是典型的主从复制结构:一个主副本(primary)负责写与一致读,其余副本负责同步复制与分担读。
| 角色 | 职责 | 是否参与写提交 |
|---|---|---|
| 主副本(primary) | 接收写、下发复制、提供一致读 | 是(入口) |
| 从副本(replica) | 接收主的下发、提供读、故障转移目标 | 是(同步/半同步) |
主从结构把「分片的一致性问题」收窄成「主副本上做决定」:同一时刻一个分片只有一个主,写冲突天然被串行化;副本之间通过复制协议对齐数据。这也决定了读路径的语义——读主副本是强一致读,读从副本则可能是旧数据(下一小节展开)。
读路径三态:读主、回退从、不可读
lab 的 ReplicaSet.Read 把分片读路径压成三个状态:
if !failed[replica[primary]] { return replica[primary] } // 主健康 → 读主
for _, n := range replica { if !failed[n] { return n } } // 主故障 → 回退存活副本
return "" // 全故障 → 不可读
三个状态对应真实系统里的三条语义:
| 状态 | 返回 | 一致性档位 |
|---|---|---|
| 主副本健康 | 主副本 | 强一致(读你所写) |
| 主副本故障、有存活副本 | 第一个存活副本 | 最终一致(可能读到主还没下发的写) |
| 全部副本故障 | 空(不可读) | 拒绝服务 |
注意中间态的代价:主故障后回退读从副本,代价是可能读到旧数据——主上有但复制还没到从上的写,这次读看不到。数据库把这种读叫「stale read」。工程上的取舍是:能接受短暂陈旧就回退读,不能接受就必须等新的主选出来(8.3 的 failover 之后读新主)。「读从副本回退」是把可用性优先于一致性的选择,不是免费特性。
分片级健康 vs 副本级健康
8.1 节的 Quorum 判定是「复制组」级的;分片场景把粒度再细分:
| 健康粒度 | 判定内容 | 谁关心 |
|---|---|---|
| 节点健康 | 某节点是否存活 | 调度器、Kubelet |
| 副本健康 | 某分片在某节点上的副本是否可用 | 分片副本归属 |
| 分片健康 | 该分片主副本 + 多数派副本是否可用 | 读写路由 |
lab 的 failed map[string]bool 表达的是节点级故障:一个节点 failed,它承载的所有分片副本一起不可用。Read 不看副本自身状态,只看它所在的节点是否活着——这又是分布式系统的典型简化:副本故障不可直接观测,只能用「所在节点故障」近似。真实系统会在副本级加心跳,但大多数时候节点故障是副本不可用的主要来源。
分片集合的生命周期:CRD + Operator 的分工
把分片集合装进 CRD 后,生命周期由谁驱动?
| 事件 | CRD 表达 | Operator 动作 |
|---|---|---|
| 新建分片集合 | 创建 ShardSet | 为每片创建 StatefulSet + headless Service |
| 扩一个分片 | spec.shards 加一项 | 新增对应 StatefulSet,等就绪后写 status |
| 缩副本数 | spec.shards[].replicas 改小 | 缩 StatefulSet 副本 |
| 主副本变更 | status 与 spec 不一致 | 触发 failover(8.3 节) |
这条分工线就是本卷一直强调的声明式闭环:CRD 保存期望,Operator 收敛实际。ShardSet 本身是「干」的,它不跑数据,只是一个被 etcd 持久化的声明;真正的执行者是 operator 为每个分片物化出来的 StatefulSet。
CRD 表达的边界:存储层无感知
必须清醒的一点:CRD 只表达「分片集合长什么样」,不保证底层数据真的被那样分片。一个 ShardSet 声明 2 个分片、每片 3 副本,只是说「请按这个拓扑部署」;真正把 key 路由到对应分片、把写复制到副本,是应用层或专用数据面的事,CRD 管不到。这也是 CRD 方案与「数据库自带分片」的差别:
| 方案 | 分片表达 | 数据路由 | 谁来保证 |
|---|---|---|---|
| K8s CRD + Operator | ShardSet 资源 | 应用/网关路由 | Operator 只保证拓扑 |
| 数据库原生分片 | 内置 shard key | 数据库内部 | 数据库自己 |
选择 CRD 方案意味着自己拥有分片语义,也自己承担路由与一致性——适合「要分片但不想被特定数据库绑定」的场景;选了它,8.3 的 failover 与自愈就必须一起做。
跨分片操作的一致性边界
分片把大表拆成多片,也把「一次事务」拆成了「多次跨片操作」:
| 操作 | 单分片内 | 跨分片 |
|---|---|---|
| 单 key 读写 | 主副本决定,无协调 | 不涉及 |
| 范围扫描 | 单片内有序 | 各片结果合并,顺序与一致性都弱 |
| 跨 key 事务 | 片内原子 | 需要分布式事务(2PC / 补偿) |
跨分片的一致没有免费:要么引入分布式事务协调器(昂贵且降低可用性),要么接受最终一致加应用层补偿。多数系统的务实做法是把事务压进单分片——分片键选得好,同一用户的多个相关 key 落在同一分片,跨片事务就退化成片内事务。这条边界提醒:分片不是纯性能红利,它把一致性问题的范围从「整个数据集」缩小到「一个分片」,但并没有消灭一致性问题。
三个常见误解
- 「分片集合 CRD 创建完,数据就自动被分片了」——错误。CRD 只是声明期望拓扑;把 key 路由到分片、把写复制到副本,由 Operator 物化的数据面与应用层路由完成。
- 「主副本故障时回退读从副本,读到的数据总是新的」——错误。从副本可能落后于主,回退读是可用性优先的选择,可能读到主尚未下发的旧数据。
- 「CRD 分片方案与数据库原生分片一样可靠」——错误。CRD 只保证拓扑被声明与物化,分片路由与一致性边界要应用层自己扛,比数据库内置实现更脆弱。
一句话总结本节
分片与副本在 K8s 的表达路径是 ShardSet CRD 声明分片拓扑(分片 id、key 范围、副本列表、主副本下标),Operator 把它物化成每个分片的 StatefulSet;分片内主从结构决定读路径三态——主健康读主、主故障回退存活从副本、全故障拒绝服务,回退读以接受短暂陈旧为代价换可用性。
下一节把这些静态表达动起来:主副本故障时如何切换、副本不足时如何补齐——Operator 视角的故障转移与自愈。
本节 lab
本节把「分片读路径三态」落到 stateful 包的 ReplicaSet.Read:
cd private/labs/k8s-net-lab
go test ./stateful -run TestReadFallsBackToReplica -v
TestReadFallsBackToReplica 构造一个 3 副本分片(n1/n2/n3,主为 n1),分三次调用 Read 断言三个状态,共 3 个断言:
- 主副本健康(
failed为空):返回n1——对应「主健康读主」。 - 主副本
n1故障:返回n2——对应「主故障回退到存活副本」。 - 三个副本全部故障:返回空串——对应「全故障不可读,拒绝服务」。
运行见 ok k8s-net-lab/stateful。Read 的 20 行逻辑就是本节「读主 / 回退从 / 不可读」三态语义的最小落地——CRD 表达静态拓扑,这三态就是它在读路径上的动态投影。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。