《Kubernetes 分布式系统原理深入解析》9.1 应用一致性组与 CSI 快照

一个应用往往横跨多块卷(数据卷 + 日志卷),恢复时若各卷恢复到不同时间点,数据与日志就会错位。应用一致性组要求组内所有卷在同一时刻一起快照、all-or-nothing,失败则整组不产生记录。本节剖析崩溃一致性边界与组一致性的差别,lab 用 backup 包的 AppGroup 验证组内多卷同时快照与任一卷失败整组无记录的语义。

9.1 应用一致性组与 CSI 快照

8 章把数据在「活着的时候」怎么分布讲完。这一章换一个时间方向:数据死了之后怎么找回。备份、容灾、恢复——它们共同回答「如何从一份存档重建一个可用的系统」。9.1 节从最细粒度开始:一个应用横跨多块卷,快照该怎么做才能保证恢复后数据自洽。

为什么一个应用会横跨多块卷

有状态应用很少只用一块卷。最典型的是数据库:

卷内容特点
数据卷(data)数据文件大、慢变化
日志卷(WAL/log)预写日志 / 事务日志小、高频追加

数据卷与日志卷的关系是互相依赖的:崩溃恢复时,数据库靠日志回放把数据文件恢复到一致状态。如果备份只快照了数据卷而没快照日志卷,恢复出来的数据文件是「半程」的,又没有对应日志可回放——这份备份是坏的。反过来只备份日志卷也一样。快照必须以「应用」为单位,而不是以「卷」为单位——这就是一致性组的由来。

崩溃一致性 vs 应用一致性

先厘清两个档位,它们是本节的骨架:

档位含义快照内容
崩溃一致单卷在某个时刻的磁盘状态,等价于「突然断电」单卷内自洽,跨卷不一定
组一致多卷在同一时刻的快照,跨卷也自洽数据卷 + 日志卷同一时间点

CSI 对单卷快照的承诺是崩溃一致:快照点之前已落盘的数据在里面,未落盘的写不在——这和「拔电源」没有区别。对单卷应用,崩溃一致足够(启动时自己回滚未完成事务);对跨卷应用,必须把多卷快照对齐到同一时刻,否则数据卷停在 t1、日志卷停在 t2,恢复后无法互相对证。

CSI 快照的机制:三层 CRD

K8s 的 CSI 快照由三个资源表达,配合两个控制器组件:

组件角色
VolumeSnapshot用户声明「要一份快照」,指向 VolumeSnapshotClass 与 PVC
VolumeSnapshotClass描述快照怎么打(用什么 CSI 驱动、保留策略)
VolumeSnapshotContent实际快照的绑定对象,由控制器创建
snapshot-controller处理 VolumeSnapshot 生命周期、绑定 Content
csi-snapshotter 边车调用 CSI 驱动 gRPC 的 CreateSnapshot/DeleteSnapshot

用户侧只写 VolumeSnapshot 声明,控制器把它物化成 VolumeSnapshotContent 并调用 CSI 驱动——又是「声明式 + 物化」的分工。但注意:CSI 快照本身是单卷的。K8s 原生没有「把 N 块卷在同一个时间点一起快照」的资源,一致性组是应用或存储厂商在 CSI 之上实现的语义(如一些存储的 volume group snapshot)。9.1 的 lab 就是在模型层把这条语义补出来。

崩溃一致性是怎么保证的

单卷快照的「崩溃一致」承诺,背后是 CSI 驱动与存储层的一串配合:

环节动作保证什么
快照前驱动 flush/quiesce 写(可选,取决于存储)已确认的写尽量落盘
快照瞬间存储层原子地打一个卷内时间点卷内不会「写了一半」
快照点在途、未确认的写被排除等价于拔电,不承诺事务完整

关键理解:崩溃一致 = 「某个写入前缀」——快照里恰好是「写到一半之前的所有数据」,事务可能停在中间,但卷内不会出现一个扇区的新旧混合。单卷应用启动时靠自己回放日志处理这个半程状态;跨卷应用的问题不在「单卷半程」,而在「各卷半程的位置不对齐」。

一致性组的存储层实现:卷组快照

模型里的 AppGroup 在真实存储上对应「卷组快照」(consistency group / volume group snapshot):

实现层机制与 lab 模型对应
存储阵列阵列原生卷组,多卷同点快照Snapshots[t] = map[卷→快照ID]
CSI 驱动VolumeGroupSnapshot / CreateSnapshotGroup一次调用多卷
K8s 生态VolumeSnapshot 单卷;组语义由更高层编排lab 用 AppGroup 抽象

CSI 1.9+ 的卷组快照把「多卷同点」下推到驱动——存储层保证这组快照在阵列侧是同一时刻的拷贝。lab 的 AppGroup 不假设具体驱动:它只记录「时间点 t → 各组卷快照 ID」,驱动怎么做到同点交给实现。这条抽象让一致性组的语义(同点、all-or-nothing)与机制(阵列卷组)解耦,本节讨论的语义在任何实现上都不变。

all-or-nothing:一致性组的核心承诺

一致性组的快照必须整体进行,任意一卷失败则整组这次不产生快照记录。为什么不能接受部分成功?因为部分快照恰好落在「t1 的数据卷 + t2 的日志卷」——这正是上一节说坏的备份。所以:

结果记录可用性
全部卷快照成功以本次时间戳记录各组卷快照可用,是完整恢复点
任一卷失败整组无记录,如同没备份过本次备份不可用,等下次
部分卷成功、组内另一卷失败同上,成功的也丢弃防止把坏的半组当恢复点

lab 的 AppGroup.Snapshot 逐卷调用 makeSnap,一旦某卷返回错误就立即 return,不把已成功的写进 Snapshots。失败的一致性组不留下任何部分记录——这是「all-or-nothing」在代码里的直接表达。

一致性组的恢复语义

恢复时,一致性组给的是同一时间点的多卷集合:

  1. 从 SnapshotPoints() 里挑一个备份时间点 t。
  2. 把组内所有卷都恢复到这个时间点对应的快照。
  3. 跨卷数据此时才互相对证——数据库读日志卷回放,数据卷停在同一点。

关键约束是恢复也必须整体:只恢复组内部分卷,又制造出「t1 的数据卷 + t2 的日志卷」的错位。所以一致性组不只是「备份时整体」,也是「恢复时整体」——两端对称。这也是为什么恢复流程要按备份时间点(而非逐卷任意快照)组织。

恢复到哪个点:SnapshotPoints 的选择

一致性组记录了多个备份时间点,SnapshotPoints() 把 Snapshots 的 key 排成有序序列。恢复时选哪个点,是 RPO 语义的直接入口:

选择含义适用
最近成功点数据丢失最少常规故障恢复
更早点跳过「坏时间窗」内的写业务数据被污染(误删、坏写)

注意「最近成功点」不是「当前时刻」:自上次成功备份到故障时刻之间的写,任何一致性组都找不回来。这个差值就是 9.2 的 RPO——快照体系只保证「恢复点在备份点上」,不保证「恢复点贴近故障时刻」。选择「更早点」则主动放弃一段数据,换取跳过污染窗口,代价是更大的 RPO。恢复点选择本身就是 RPO 的第一次决策,9.2 节把它量化。

快照保留、增量与恢复演练

快照做对了只是第一步,生命周期还连着三个问题:

问题取舍关联
保留策略保留太多占容量、太少没有恢复点可选VolumeSnapshotClass 的 retentionPolicy
全量 vs 增量增量省空间但恢复要先拼链增量快照链断裂则整链失效
恢复演练不演练的备份等于没有与 9.2 的 RTO 测量直接相关

增量快照要特别小心:若采用「全量基快照 + 增量链」,链上任一环节丢失,后续增量都不可用。一致性组场景里,链必须以组为单位维护——不能只对数据卷做增量、日志卷做全量,否则恢复点天然错位。工程上的一致性组快照通常整组一起做、一起保留、一起删除,把「组」的边界贯穿生命周期。恢复演练则把「快照可用」变成「恢复可用」,它会暴露 9.2 节里 RTO 的真实数字——这是快照体系最终要回答的问题。

一致性组设计检查清单

给一个跨卷应用设计快照体系时,按顺序过这几条:

  • 盘点应用所有卷(数据 + 日志 + 索引 + 临时),组定义齐全,少一卷都是坏恢复点。
  • 确认存储/驱动支持卷组同点快照,或实现了同点语义;不支持就得降级为应用级备份。
  • 快照失败语义是 all-or-nothing:任一卷失败整组无记录,不接受部分成功。
  • 保留与删除以组为单位,避免增量链或保留策略把组拆散。
  • 做过一次「同点多卷恢复」演练,确认数据库启动时能自洽回放,不报错。
  • 用 9.2 的 RTO/RPO 口径给这份快照体系定目标,而不是只说「每天备份」。

一致性组 vs 应用级备份

一致性组把「卷层面」对齐了,但应用级语义还有更高一档:

档位例子快照/备份内容
崩溃一致(单卷)CSI 单卷快照单卷磁盘状态
组一致(多卷同点)一致性组快照多卷同一时间点
应用一致(应用有序)数据库备份(pg_dump + 日志)逻辑导出 + 一致性点

应用一致比组一致更强:不仅多卷同点,应用还参与了「把在途事务处理干净」。数据库的在线备份通常先写一个 backup label(记录一致性点),再做快照或逻辑导出。对多数自建系统,应用一致依赖应用自己的协议,K8s/CSI 不提供;一致性组是 K8s 生态能给出的最接近的保证——卷层面同点,应用层面的有序性要靠应用配合。

三个常见误解

  • 「对数据卷打了快照,这份备份就是完整的」——错误。跨卷应用的备份必须把日志卷一起对齐到同一时刻;只快照数据卷,恢复后没有对应日志可回放。
  • 「一致性组里某卷快照失败,至少已成功的卷快照还能用」——错误。all-or-nothing 的承诺是失败整组无记录,部分成功反而会制造「t1 数据卷 + t2 日志卷」的坏恢复点。
  • 「CSI 原生支持把多卷在同一时刻一起快照」——错误。K8s/CSI 的 VolumeSnapshot 是单卷资源;跨卷一致性组是应用或存储厂商在 CSI 之上实现的语义。

一句话总结本节

应用一致性组把「以应用为单位」的快照语义落到多卷上:组内所有卷必须在同一时刻一起快照,任一卷失败整组不产生记录(all-or-nothing),恢复也必须按同一备份时间点整体进行;CSI 原生快照只承诺单卷崩溃一致,组一致性是它之上的一层语义——快照对齐了卷,应用级有序还要应用自己的协议配合。

下一节把「快照做得对不对」升级成「容灾目标达没达到」:RTO/RPO 怎么定义、怎么测量、DR 计划凭什么判断达标。

本节 lab

本节把「一致性组 all-or-nothing」落到 backup 包的 AppGroup.Snapshot:

cd private/labs/k8s-net-lab
go test ./backup -run TestAppGroupSnapshotAllOrNothing -v

TestAppGroupSnapshotAllOrNothing 构造一个含 data 与 log 两块卷的一致性组,验证两条语义,共 4 个断言:

  • 两块卷都成功快照时,Snapshot(1000, ...) 返回 nil,且 Snapshots[1000] 恰好含 2 卷快照 ID——对应「组内多卷必须同时快照」。
  • 第二次构造时让 log 卷的 makeSnap 返回错误:断言 Snapshot(2000, ...) 返回错误——对应「任一卷失败整组失败」。
  • 再断言失败的组 len(Snapshots) == 0——对应「失败的一致性组不留下部分记录」,即 all-or-nothing。

运行见 ok k8s-net-lab/backup。Snapshot 的 12 行逻辑把「逐卷快照、失败即弃、成功才记录」这条一致性组核心承诺做成最小可验证闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图