7.3 快照/克隆/迁移的一致性语义
7.2 节解决了「卷在节点间怎么安全搬家」,本节解决「数据怎么被复制与再生」。有状态运维离不开三件套:快照(保存某一时刻的数据)、克隆(从快照派生新卷)、迁移(把数据搬到别处)。三者共享同一句忠告:一致性是语义,不是口号——快照的时机、克隆的完整性、多卷的一致性组,每一项都有可验证的前置条件。
快照:为什么必须基于已 attach 的卷
快照要抓的是「某一时刻的数据」。但「某一时刻」若正赶上写入进行中,抓到的就是半截数据——文件系统不完整、事务未落盘。lab 的 Snapshot 用一条前置条件规避它:
if _, attached := c.Attached[volID]; !attached {
return false // 数据可能在写中
}
要求卷已 attach(有一个写入者),保证快照时数据面静止。 这个简化模型背后的工程现实是:生产环境的快照要么依赖文件系统冻结(freeze/thaw),要么依赖存储阵列的 crash-consistent 快照;而「必须 attach」是把「有没有写入者」这一信息当作协调依据——没有写入者就无从谈静止,拒绝反而最安全。
lab 的 TestSnapshotRequiresAttached 验证的正反两面:未 attach 时 Snapshot 返回 false,attach 后返回 true。快照前先确认写入者状态,是数据安全的第一道闸门。
VolumeSnapshot:快照的 CRD 形态
在 K8s 里快照不是凭空发生的,它是一组 CRD 对象。VolumeSnapshot 引用 PVC,底层由 csi-snapshotter 驱动:
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
name: db-backup-20261113
spec:
volumeSnapshotClassName: csi-ebs-vsc
source:
persistentVolumeClaimName: data-db-0
配套的 VolumeSnapshotClass 声明快照用哪个 CSI 能力与参数(比如 EBS 快照的保留策略)。触发链路是:VolumeSnapshot 对象 → csi-snapshotter → Controller.CreateSnapshot → 后端造快照 → 状态回填。对象是期望,后端是现实——这与 7.2 节的期望状态模式同构,但这次目标是「数据」而不是「attach 关系」。
快照的调度窗口:什么时候打
快照的一致性不只取决于「有没有写入者」,还取决于「静止点怎么选」。生产上三个时机各有取舍:
| 时机 | 一致性 | 代价 |
|---|---|---|
| 应用冻结(freeze/thaw) | 应用级一致 | 需要应用配合,冻结期业务停写 |
| 文件系统快照(LVM/阵列) | 文件系统一致 | 依赖后端能力,冻结窗口短 |
| crash-consistent | 崩溃一致 | 恢复时可能需回滚未提交事务 |
「卷已 attach」只是最粗的闸门:它保证「有个写入者、协调有据」,但不保证应用事务完整。数据库生产快照通常先 FLUSH TABLES WITH READ LOCK 再打,就是要把「静止」从存储层提升到应用层。静止点越靠上,恢复出来的数据越完整;代价是冻结窗口越长。
克隆:从快照派生新卷
快照的常见用途之一是派生:CloneFromSnapshot 从快照造出一块全新卷,新卷与旧卷互不影响:
| 派生方式 | 来源 | 独立性 | 典型用途 |
|---|---|---|---|
| 全量克隆 | 快照 | 完全独立 | 测试环境、灰度副本 |
| 写时复制(COW)克隆 | 快照 | 逻辑独立,共享底层 | 快速开副本、开发沙箱 |
lab 的 CloneFromSnapshot 坚持一个简单不变量:从未快照的卷不可克隆。 这不是挑剔,而是语义完整性的要求——快照是克隆的「合法出生证明」,没有它,克隆出的卷内容无从定义。
同时克隆继承容量(SizeGiB 保持一致),保证新卷能装下原数据。真实 CSI 的 CreateVolume 支持 Source 参数指定 VolumeSnapshot 或 Volume 作为克隆来源,语义一致:来源必须是静止且可定义的数据,输出必须是独立可挂载的卷。
全量克隆与 COW 的取舍
两种克隆不是「哪个更好」,而是「快与省」的权衡:
| 维度 | 全量克隆 | COW 克隆 |
|---|---|---|
| 创建耗时 | 按数据量复制,分钟级 | 元数据级,秒级 |
| 读性能 | 独立存储,无依赖 | 未修改区域读源快照,稍慢 |
| 源数据依赖 | 无 | 依赖源快照存活 |
| 典型场景 | 稳定副本 | 临时沙箱、并行开发 |
选型要点:副本要长期独立,选全量;副本短命且要多开,选 COW。而无论哪种,起点都是同一个合法快照——克隆的正确性不取决于克隆技术,取决于快照的静止点。
快照的保留与清理
快照不是免费的:它占存储空间,且数量多了会拖慢列举与管理。保留策略要有显式边界:
| 策略 | 保留窗口 | 成本 |
|---|---|---|
| 每日全量 | 保留 7 天 | 7 份空间,恢复点按天 |
| 每日全量 + 日/周/月分层 | 分层保留 | 空间可控,恢复点多样 |
| 仅一致性组 | 按业务窗口 | 空间最少,恢复粒度粗 |
清理与保留是一体两面:DeleteSnapshot 必须等关联克隆不再引用它——COW 克隆还挂着一个快照,删了它克隆就失去底层数据。保留策略是「成本 × 恢复粒度」的权衡,而清理时机要遵循「先解除引用,再删除快照」的顺序,与 7.2 节「先卸载,再 detach」是同一个原则的又一实例。
一致性组:all-or-nothing
单卷快照简单,多卷快照才是分布式系统的分水岭。数据库往往是「数据卷 + 日志卷」或「多 shard 多卷」——若各卷在不同时刻各自快照,恢复出来的库就缺了几条日志或错位的 shard,数据整体损坏。
一致性组的答案是一个强承诺:要么全部卷在同一语义时刻快照,要么一个都不快照。 lab 的 ConsistencyGroup.SnapshotAll 分两遍实现:
// 第一遍:预检——任一卷缺失或未 attach,整体拒绝
for _, v := range g.Volumes {
if _, ok := g.Controller.Volumes[v]; !ok { return false }
if _, attached := g.Controller.Attached[v]; !attached { return false }
}
// 第二遍:全部执行——通过预检才给组内每卷打快照
for _, v := range g.Volumes {
g.Controller.Snapshot(v, fmt.Sprintf("%s-%s", groupSnapID, v))
}
两遍设计是 all-or-nothing 的标准实现:预检把所有失败原因在动手前找齐,动手后就不再有「部分成功」的可能。 现实世界的存储阵列同样用一致性组快照保证跨卷恢复点对齐,K8s 的 VolumeSnapshotClass 也支持 csi.storage.k8s.io/volumesnapshots/... 这类一致性组能力声明。
一个恢复场景:为什么一致性组不可省
把「部分快照」的后果走一遍,你就能理解为什么一致性组是硬需求:
| 场景 | 数据卷快照 | 日志卷快照 | 恢复结果 |
|---|---|---|---|
| 各自独立快照 | 时刻 T1 | 时刻 T2(T2<T1) | 缺 T2–T1 的日志,库损坏 |
| 各自独立快照 | 时刻 T1 | 时刻 T2(T2>T1) | 日志指向未提交的数据,回滚混乱 |
| 一致性组 | 同一时刻 | 同一时刻 | 数据与日志对齐,可直接恢复 |
前两行是「不同时刻」的两个方向,结局都是不可用——要么缺日志,要么日志超前。只有第三行的「同一语义时刻」能保证数据库在恢复后回到一个自洽状态。一致性组省掉的不是操作,是跨卷恢复点错位的整类故障。
迁移:把数据搬到新节点/新卷
迁移是三件套里最综合的一个,它其实是快照 + 克隆 + attach 的组合拳:
| 迁移场景 | 做法 | 一致性保障 |
|---|---|---|
| 跨节点 | detach 旧节点 → attach 新节点 | 串行交接(7.2 节) |
| 跨可用区 | 快照 → 克隆到新可用区 → 挂载 | 快照静止 + 克隆完整 |
| 跨集群/换后端 | 快照导出 → 目标端重建 | 一致性组 all-or-nothing |
跨可用区迁移的经典路径就是「快照搬数据」:旧可用区做快照,目标可用区从快照克隆出新卷,Pod 挂上新卷。快照的一致性决定了迁移结果的数据完整性——单卷靠 attach 静止保证,多卷靠一致性组保证。这也是为什么第 6.3 节说块卷困在单可用区:漂移不行,但快照+克隆可以把数据「复制」过去。
三件套的一致性关系表
把三件套放进一张表,前置条件一目了然:
| 能力 | 前置条件 | 失败代价 | lab 测试 |
|---|---|---|---|
| 快照 | 卷已 attach | 抓到半截数据 | TestSnapshotRequiresAttached |
| 克隆 | 有合法快照 | 新卷内容未定义 | TestCloneFromSnapshot |
| 一致性组 | 组内全部可用 | 部分快照导致恢复错位 | TestConsistencyGroupAllOrNothing |
每行的失败代价都指向同一句话:一致性不是效率问题,是正确性问题。 快照晚一秒可能无所谓,半截快照会毁掉整个恢复。
三个常见误解
- 「快照可以在卷空闲时打,attach 与否无所谓」——错误。空闲时没有 attach 恰恰说明没有协调依据;生产快照必须确认写入者状态与静止点,attach 前置是安全的保守默认。
- 「克隆就是复制卷,从哪复制都一样」——错误。克隆必须从合法快照派生,直接复制运行中的卷会把不一致状态复制进新卷;来源的正确性决定克隆的正确性。
- 「多卷各自快照,恢复时按时间排一下就好」——错误。各卷快照时刻不同,恢复出的数据库会缺日志或错位;只有一致性组 all-or-nothing 能保证跨卷恢复点对齐。
一句话总结本节
快照、克隆、迁移是同一套一致性语义的三次应用:快照以已 attach 为前置保证数据面静止,克隆从快照派生保证新卷内容有合法来源,一致性组用 all-or-nothing 保证多卷恢复点对齐。数据的每一次复制与移动,都必须建立在可定义的静止点之上。
到这里,卷四第 7 章收束:从 CSI 接口契约到 attach/detach 协调,再到快照/克隆/迁移的一致性,有状态存储的「造、挂、搬、复」四个动作都有了协议级答案。下一章转向多集群:当集群不止一个,服务如何跨集群发现、流量如何跨集群分发,一致性边界又会以什么面貌出现。
本节 lab
本节用 csi 包的三个测试验证三件套的一致性语义:
cd private/labs/k8s-net-lab
go test ./csi -run TestSnapshotRequiresAttached -v
go test ./csi -run TestCloneFromSnapshot -v
go test ./csi -run TestConsistencyGroupAllOrNothing -v
TestSnapshotRequiresAttached:断言未 attach 的卷Snapshot返回 false,attach 后断言返回 true——2 个断言,对应「快照要求已 attach」。TestCloneFromSnapshot:有快照的卷断言可克隆且新卷容量继承为 100——2 个断言;再断言从未快照的卷克隆返回 false——1 个断言;共 3 个断言,对应「克隆必须有合法快照来源」。TestConsistencyGroupAllOrNothing:全组可用时断言SnapshotAll成功且组内每卷都有快照——3 个断言;缺卷时断言整体拒绝且不留部分快照——2 个断言;共 5 个断言,对应「all-or-nothing」。
三个测试共 10 个断言,跑完见 ok k8s-net-lab/csi。三件套的一致性,最终都收束在「静止点可定义、来源可验证、提交可回滚」这三个可断言的原则上。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。