《Kubernetes 分布式系统原理深入解析》15.1 快照备份、恢复与演练

etcd 的恢复由 WAL 与快照两件套保证:快照给出一致时间点拷贝,快照后 WAL 重放补齐增量,恢复点即快照时刻。lab 用 TestSnapshotCompaction 与 TestInstallSnapshot 验证压缩与安装快照的语义。

15.1 快照备份、恢复与演练

第 9.2 节 InstallSnapshot 讲的是运行期协议:落后节点通过快照一次性对齐状态,省掉逐条重放。本节把「快照 + 重放」换成运维视角:在生产里,快照首先是备份——是集群灾难恢复的基石。你在 9.2 节学会的快照语义,到了 15.1 变成一份要定期导出、异地保存、并且真的能恢复出来的文件。

运维视角和协议视角看的是同一件事:etcd 的持久化由**增量日志(WAL)与定期快照(snapshot)**两件套构成,恢复就是「加载一份一致快照,再重放快照点之后的日志」。区别只在:协议里快照在集群成员之间流动,备份里快照被搬运到集群之外。

快照与 WAL:etcd 持久化的两件套

先明确两件套各自记录什么:

组成记录内容增长方式生命周期
WAL(write-ahead log)每条已提交写入、成员变更、任期变化的完整记录只追加,单调增长随压缩被截断,快照点之前的 WAL 可丢弃
快照(snapshot)某个时间点的完整键值库状态定期生成,--snapshot-count(默认 100000)条日志触发保留最近 --max-snapshots(默认 5)份

启动恢复的路径是确定的:节点先加载最近一份快照到状态机,再按顺序重放快照点之后的 WAL 条目,直到追平最后一条已提交记录。快照把「从零重放到最新」的成本从 O(日志总量) 降成「装一份库 + 重放少量尾部」。

这个模型在第 9.2 节已经见过一次——接收方安装 InstallSnapshot 后从快照位置继续,用的就是同一条路径。区别只在一头一尾:协议版快照的 data 是 Leader 的 member/snap/db,备份版快照是运维用 etcdctl snapshot save 导出的同一份一致库拷贝。理解了 InstallSnapshot,就理解了备份快照为什么「一份文件就是整个库」。

一次成员重启的完整时间账本可以把两件套的分工看得很清楚。假设 3 节点 etcd 中成员 C 重启,磁盘上有最近快照(覆盖前 100000 条已应用日志)与快照点之后的 2000 条 WAL 条目:

阶段内容量级
加载快照读 member/snap/db 进状态机秒级(依赖库大小)
重放 WAL依次应用快照点之后的 2000 条毫秒级到秒级
追平复制从 Leader 补上重启期间的差额网络往返级

没有快照的话,同样的恢复要从 100000+ 条日志逐条重放,时间账本会多出几个量级。这就是「快照把恢复成本压平」的量化含义:恢复耗时 ≈ 装库时间 + 尾部 WAL 重放,而不是「日志总量 / 单条重放速度」。

etcdctl snapshot save:一致的备份快照

备份命令(新版本 etcd 中为 etcdutl snapshot save,语义相同):

etcdctl snapshot save /backup/etcd-snapshot-$(date +%F).db

这份文件包含全部已提交且已压缩的状态。两个限定词都值得展开:

  • 已提交:只有被多数派确认、进入 commit 的写入才会出现在快照里。宕机后不可能出现的「部分提交」绝不会混入——这是 Raft 提交语义在备份上的投影。
  • 已压缩:快照包含的是当前库的最新状态;9.1 节讲过的、被压缩掉的历史版本不在其中。所以备份快照不等于「全量历史」,它是一份「现在长这样」的一致拷贝。

备份不需要停写。snapshot save 在 bbolt 后端上做一个一致性读,取的是某一刻的稳定视图;正在进行的写会排到视图之后,不会撕开快照。这在 K8s 控制面尤其重要——为了备份而停 etcd,等于用一次可控宕机去换一份备份,本末倒置。

但要注意一个前提:备份要在集群健康时做。多数派不存在的集群里,所有成员都可能停在旧状态,此时备份出来的快照本身可能已经落后很多(甚至包含一个旧 Leader 的过期视图)。备份不是救急动作,它是健康期的例行动作。

备份文件的大小值得提前规划:快照包含的是库的当前状态,一个写入量大的 K8s 集群 etcd 库可能到几十 GB 甚至上百 GB。snapshot save 的耗时与文件体积基本成正比(要读完整份后端库),高频全量备份在大库上会占用可观的磁盘与 IO。规模起来后,常见的做法是把备份周期和库体积放在一起评估——例如 50 GB 的库,全量备份耗时数十秒、占用同量级磁盘,每小时一次就要预留足够的备份空间与 IO 预算;再大则要考虑把备份频率降下来,或接受更差的 RPO。备份成本不是「要不要做」的问题,而是「多频繁、存几份、放多远」的预算问题。

备份频率决定 RPO

恢复只能回到快照时刻,这是 15.1 的一致性边界。把备份频率和损失上限摆在一起看:

备份频率最坏丢失(RPO)场景
每小时接近 1 小时常规生产,配合业务可容忍
每 15 分钟接近 15 分钟控制面变更频繁、数据敏感
每天接近 24 小时非关键实验集群

这里的「丢失」指未备份的写入:快照点之后、下一次备份之前的提交,恢复后不出现。这和第 9 章的压缩不是一回事:压缩是让历史版本读不到,备份丢失是让最近的写入回不来。两者叠加后,恢复出来的库 = 快照时刻的状态。快照之后靠 WAL 重放本来可以追回「备份后新增的提交」,但常规备份方案只搬走快照文件、不随行 WAL,所以务实口径就是:RPO ≈ 备份周期。

一个具体场景能说明 RPO 的实际影响。假设某个控制器在 10:20 写坏了一批对象的字段,你在 10:40 才发现:

  • 备份周期 1 小时(10:00 有一份):恢复只能回到 10:00,10:00–10:40 的写入全部丢失,坏数据也在丢失范围内——你能回到「坏之前」;但 10:00–10:20 之间如果有正常变更,也会一并回退;
  • 备份周期 15 分钟(10:15、10:30 各一份):用 10:15 的快照恢复,丢失窗口收窄到 15 分钟,坏写入(10:20 之后)正好被截掉;
  • 备份周期 5 分钟:丢失窗口更小,但备份频率本身成为成本。

所以 RPO 不是拍脑袋定的,它由「你能容忍把多长时间的正常变更一起回退」决定。备份越勤,回退的粒度越细。

snapshot restore:重建集群而不是原地恢复

etcdctl snapshot restore 是恢复的核心命令,但先要扭转一个直觉:它不是「把旧数据目录修好」,而是用快照构造一个新的数据目录、再作为新成员加入集群。它创建新的 cluster ID 与新的 member ID,目的很明确——防止恢复出来的成员与旧集群残余成员互相认亲。

恢复整个集群的标准步骤:

  1. 停掉需要重建的 etcd 成员(以及依赖它的 kube-apiserver);
  2. 清空目标 --data-dir(restore 要求目标目录为空);
  3. 对每个要恢复的成员执行一次 restore,指定各自的 --name、--initial-advertise-peer-urls 与 --initial-cluster(成员间相互知晓):
    etcdctl snapshot restore snapshot.db \
      --data-dir /var/lib/etcd-restore/member-1 \
      --name member-1 \
      --initial-cluster member-1=http://10.0.0.1:2380,member-2=http://10.0.0.2:2380 \
      --initial-cluster-token restore-cluster-2026 \
      --initial-advertise-peer-urls http://10.0.0.1:2380
    
  4. 所有成员 restore 完成后依次启动,让它们互相发现、选出 Leader;
  5. 校验读取,再让 K8s 控制面接入恢复后的 etcd。

--initial-cluster-token 一旦指定,恢复出的集群 ID 就与旧集群不同,旧的 member/ 目录里的对端信息全部作废。整个流程的本质,是第 8.3 节讲的「移除旧成员、加入新成员」在备份语境里的等价物:快照不是修复,是重建。

恢复有两种规模,值得分开讲:

规模做法用途
单成员恢复用快照重建一个成员,让集群从多数派补齐该成员一个节点磁盘损坏,不丢数据
整集群恢复每个成员各自 restore,全新集群 ID,重新组成多数派多数派全损,灾难恢复

单成员恢复通常不需要动 cluster token:成员先从快照起一个新数据目录,加入现有集群后靠日志复制补齐。整集群恢复才是本节主场景——旧集群已经无法提供多数派,只能全部重建。生产里要分清这两种情况:多数派还在时优先单成员恢复(RPO 由集群自身补齐保证),多数派没了才动用备份快照整组重建。

一致性边界:恢复点即快照时刻

把一致性边界说死:恢复出来的状态,精确等于快照时刻的已提交状态。

  • 快照时刻之前:所有已提交写入都在(快照本身一致);
  • 快照时刻之后、最后一次备份之前:丢失(RPO);
  • 备份后新增的写入:只有把备份文件和随后的 WAL 一起搬运才能追回,而 WAL 属于单个成员、与集群状态绑定,常规备份方案不携带它。

第 9.3 节讲过 etcd 的 mvcc 历史:恢复快照不会找回已被压缩的历史 revision,GetAtRev 读一个早于压缩点的 revision 会得到 ErrCompacted。所以恢复后的库,watch 从旧 revision 重放的窗口同样受压缩限制。理解这一点,就能预期恢复演练时可能出现的「历史读失败」——那不是恢复坏了,是压缩本来就没保留那些版本。

还有一个容易误判的边界:备份快照不是「历史归档」。它只保存当前已提交状态,不保存历史 revision 序列。想靠备份找回「三天前某对象的样子」是做不到的——要么靠 etcd 本身的 mvcc 历史(而且这受压缩限制),要么靠 K8s 侧对事件的持续归档(审计日志、事件导出)。把「备份」和「历史查询」当成两个需求分开设计,才不会在恢复演练时指望快照提供它根本没有的数据。

K8s 控制面 etcd 的备份实操

K8s 控制面里 etcd 是唯一承载全部对象状态的存储,虽然通常 3 或 5 副本,但多数派丢失就是控制面失写。备份是 K8s 运维的硬需求,实操上有几个要点:

  • 在健康多数派上备份:先 etcdctl endpoint health 确认集群健康,再从任意成员备份;不要在分区中的少数派成员上备份。
  • 备份前不需要停写:etcd 快照本身一致,停写是多余的停机。
  • 校验备份:etcdctl snapshot status file.db 读一下 hash、total key、size,确认文件没坏;恢复遇到 hash 不匹配时 --skip-hash-check 只能作为数据确实损坏时的最后手段,不应默认使用。
  • 异地保存:备份文件要离开 etcd 所在磁盘,否则「磁盘损坏」这一最常触发的灾难会把备份一起带走。
  • 恢复后 defrag:恢复出的库文件可能比备份源松散,必要时 etcdctl defrag 回收空间。

K8s 的公开文档把 etcd 备份列为控制面维护的第一优先级,原因就是它的故障窗口直接等于控制面失写窗口——没有 etcd 就没有 apiserver 的对象读写。

常用命令收成一张卡:

命令用途
etcdctl endpoint health备份前确认集群健康
etcdctl snapshot save <file>导出一致备份快照
etcdctl snapshot status <file>校验 hash、key 数、大小
etcdctl snapshot restore ...用快照重建成员/集群
etcdctl defrag恢复后整理后端库空间

kubeadm 部署的控制面恢复流程一般长这样:先停该 etcd 成员对应的 kubelet 与 apiserver,从集群里移除该成员;清空数据目录后用 restore 重建一个新数据目录;用新的 --initial-cluster 与 peer URL 启动,让成员重新加入。整个过程对应用透明——apiserver 侧只需要保证写入在 etcd 恢复后能继续。

演练的价值:不演练等于没有备份

一个被反复验证的运维事实:恢复流程没演练过,就等于没有备份。备份文件存在只证明「导出成功」,不证明「能恢复」——导出成功是写文件,恢复是构造新集群,后者有几十个容易出错的环节(目录为空、成员名配对、peer URL、cluster token、apiserver 接入)。

演练的目标是量出两个数:

指标定义健康基线
RPO(Recovery Point Objective)可容忍的数据丢失上限由备份频率决定
RTO(Recovery Time Objective)从故障到恢复读写的时长由演练实测,通常分钟级

实操建议:每月一次在隔离环境恢复备份、读出若干对象、核对 revision、然后整组废弃。演练里最容易暴露的坑有三类:restore 参数拼错导致成员互不发现、apiserver 指向旧 etcd 地址导致接入失败、以及「以为备份成功了」——备份脚本在集群降级时静默产出过期快照。把演练当作和备份同权的例行动作,RTO 才是一个可信数字而不是纸面估计。

一份可执行的月度演练清单可以只含四步:

  1. 在隔离环境(或一次性虚拟机)里安装与生产同版本的 etcd;
  2. 用最近的备份文件 snapshot restore 重建一个 3 节点集群,记录从执行到 endpoint health 通过的时间;
  3. 读出若干有代表性的对象(ConfigMap、Deployment、Secret),核对 revision 与内容与备份时刻一致;
  4. 完整跑一遍连接恢复:把测试 apiserver 指向恢复后的 etcd,验证 list-watch 能追平事件流,然后整组销毁。

清单跑熟之后,RTO 就不是「预计多少分钟」而是「上次实测多少分钟」。真正的灾难降临时,恢复步骤已经被肌肉记忆过——这比任何文档都可靠。

本节 lab

本节验证「压缩生成快照」与「落后节点通过快照对齐」两个语义,即备份恢复在 Raft 层的对应物。代码在 private/labs/k8s-etcd-lab/raft/snapshot.go 的 Compact 与 Install,测试在 replication_test.go:

cd private/labs/k8s-etcd-lab
go test ./raft -run 'TestSnapshotCompaction|TestInstallSnapshot' -v

TestSnapshotCompaction 的断言路径:3 节点集群提交 4 条命令并全部 apply 后,对 ApplyIndex=3 调用 Compact(3)——它必须生成非空快照,快照状态机包含 set:c=3 与 set:d=4(已提交且已压缩的状态全数并入),且压缩后日志条数降至 ≤ 1(旧日志段被截断)。这验证的就是「快照 = 一致时间点拷贝,日志起点前移」这个备份依赖的前提。

TestInstallSnapshot 的断言路径:3 节点集群提交 3 条命令,Leader 在 ApplyIndex 处生成快照,新建一个空日志节点 NewNode(9) 后 Install(snap)——它的状态机必须出现 set:b=2(安装快照直接对齐,无需重放 3 条命令),且 CommitIndex 必须等于 Leader 的 ApplyIndex(commit 一次性推进到快照位置)。两个用例合起来,正好覆盖本节「快照生成 + 快照安装」这两半:前者回答备份从哪来,后者回答恢复怎么用。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图