《Kubernetes 分布式系统原理深入解析》9.3 etcd 备份与整体恢复的一致性边界

etcd 是 K8s 控制面的唯一事实来源,备份它等于备份整个集群的声明状态。但快照只含已提交且已落盘的 revision,未 apply 的写被排除,恢复后 revision 被钳制回快照点、其后写全部丢失。本节剖析 etcd 快照的一致性边界、Lag 与恢复钳制,lab 用 backup 包的 EtcdBackup 验证快照边界与恢复回落两个语义。

9.3 etcd 备份与整体恢复的一致性边界

9.1 讲快照怎么做对、9.2 讲容灾怎么测达标,都还停留在「应用数据」。但 K8s 最核心的一份数据是etcd——它保存着整个集群的声明状态:所有资源、版本、watch 序列。etcd 快照不只是「一份备份」,它是「整个控制面的时间胶囊」。这份时间胶囊的一致性边界,就是本节的主题。

etcd 快照在备份体系里的位置

etcd 的地位决定了它备份的特殊性:别的数据坏了只影响一个应用,etcd 坏了影响所有 apiserver、所有控制器、整个控制面。卷一已经讲过 etcd 用 Raft 复制保证多副本,但 Raft 复制防的是单节点故障,防不了「错误配置写坏了状态、集群被人为污染、多副本同时损坏」——这类灾难要靠快照恢复。所以:

故障类型防护手段
单节点宕机Raft 多数派自动选主(卷一)
全集群数据损坏 / 误写从快照整体恢复(本节)

快照是最后一道防线。它的一致性边界决定了「从灾难里救回来的集群,状态停在哪个时刻」。

快照只含「已提交且已 apply」的 revision

etcd 的写入要过两道门槛:commit(Raft 日志达成多数派、落盘 WAL)与 apply(状态机把 revision 应用到 mvcc 存储)。快照能包含的,只有「已提交且已 apply」的 revision:

func (e *EtcdBackup) TakeSnapshot(applyRev int64) int64 {
    if applyRev > e.Committed { applyRev = e.Committed }
    e.Snapshotted = applyRev
    return e.Snapshotted
}

TakeSnapshot(applyRev) 表达的就是「快照点 = 已 apply 的 revision」,且不能超过 committed——还没提交的写不可能出现在快照里。三种 revision 的命运:

revision 状态能否进快照原因
已提交且已 apply能状态机已落盘,快照能抓到
已提交未 apply不能提交在日志里,但状态机还没应用,快照抓不到
未提交不能还没达成多数派,连日志都没落

PendingWrites 字段记录的就是「备份开始时尚未 apply 的写」——它们是快照的排除项。这条边界叫崩溃一致性边界:快照等价于「那一刻给集群拍了个照」,在途的写一律不在,如同断电。

Lag:快照落后于最新提交的距离

快照点与最新提交之间的差距,lab 用 Lag 表达:

func (e *EtcdBackup) Lag() int64 { return e.Committed - e.Snapshotted }

Lag 的工程含义非常直白:恢复这份快照会丢掉的写数量。

场景Committed快照点Lag恢复后丢失
备份时全部 apply1001000无
备份时有 3 个写未 apply1009733 个 revision
备份后继续写1009555 个 revision

Lag 不是「备份做慢了」的随机数,它直接映射到 9.2 的 RPO:Lag 越大,从这份快照恢复的数据丢失窗口越大。缩小 Lag 的手段是备份与 apply 的节奏对齐——etcd 的 etcdctl snapshot save 会先等待 apply 追到某个进度再打快照,工程上就是在「快照完整性」与「备份耗时」之间取平衡。lab 用两个数字把这条边界压成一个可断言的关系:快照点 ≤ committed,Lag = 两者之差。

恢复把 revision 钳制回快照点

从快照恢复,本质是用快照覆盖当前状态机,于是当前 revision 被钳制回快照点:

func (e *EtcdBackup) Restore() int64 {
    e.Committed = e.Snapshotted
    return e.Committed
}

Restore() 把 Committed 直接设成 Snapshotted。恢复后:

状态恢复前恢复后
committed revision100(含备份后的写)95(回到快照点)
快照点之后的写存在全部丢失
后续新写从 100 继续从 95 之后重新开始(新分支)

这个「钳制」揭示一个关键语义:etcd 快照没有增量回放——它不是「把快照 + 快照之后的日志一起重放」,而是「回到快照点,之后的写当作没发生过」。这与数据库恢复(redo 日志可重放)不同:etcd 快照是纯时间胶囊,恢复后 revision 从快照点重新长出来。因此快照点的选择就是 RPO 的最终决定:选哪个快照,就回到哪个时刻,之后的集群状态整体消失。

恢复的实操约束:全新集群、非原成员

Restore() 的模型只表达 revision 的钳制,真实 etcdctl snapshot restore 还要满足两条实操约束:

约束原因
恢复到全新数据目录(--data-dir),不能覆盖现有成员现有成员有自己的日志与状态,覆盖等于脑裂起点
恢复后的成员重新组成集群,新集群从零开始选主快照不携带原集群的任期与成员日志,raft 状态重建

这两条约束与模型一致:快照是「状态机的拷贝」,不是「raft 日志的延续」。恢复后的 etcd 是一个新的日志起点——旧日志已被丢弃,新写从快照点之后生成。这也是为什么 etcd 备份要定期打快照而不是只靠 raft 复制:复制保的是成员间一致,快照保的是「能回到过去某个点」的能力。

备份与恢复的实操链路

模型讲的是语义,实操是 etcdctl 的两条命令链路。备份(快照 + 校验):

ETCDCTL_API=3 etcdctl --endpoints=$ENDPOINT snapshot save snapshot.db
ETCDCTL_API=3 etcdctl snapshot status snapshot.db    # 校验快照完整

恢复(全新目录 + 重起集群):

ETCDCTL_API=3 etcdctl snapshot restore snapshot.db --data-dir=/new/etcd/data
ETCDCTL_API=3 etcdctl member list   # 用恢复的成员重新组集群

链路对应到本节的语义:snapshot save 打的快照点就是 TakeSnapshot 的 apply 进度;snapshot status 校验的是快照文件本身可读(不保证是「最新」,保证是「一致的一份」);snapshot restore 落全新目录,对应「新日志起点」。备份命令是幂等的语义承诺,恢复命令是钳制的执行者——链路两端各完成一半。

快照频率与一致性保证的权衡

快照频率不是越高越好,它与 etcd 的性能与一致性保证互相拉扯:

频率好处代价
高(分钟级)Lag 小、RPO 小快照本身消耗 I/O 与内存,可能扰动在线请求
低(天级)对在线影响小恢复点旧,RPO 大

snapshot save 不是免费的:它会遍历 mvcc 存储做一致拷贝,数据量大时显著占 I/O。工程上常做离线或低峰期快照,或依赖卷层快照(9.1 的 CSI 快照对 etcd 的 data 目录做一致性组快照)绕过 etcd 自身遍历。注意卷层快照与 etcd 语义要匹配:卷快照只保证崩溃一致(正在写的 WAL 可能半程),etcd 启动时靠 WAL 回放自愈——这正好落在「崩溃一致够用」的档位上。快照频率的最终判据仍是 9.2 的口径:目标 RPO 决定最低频率,在线负载决定最高频率,取中间值。

整体恢复与 K8s 的接缝

etcd 恢复后,K8s 各组件会怎么反应?这是「整体恢复」区别于「数据恢复」的地方:

K8s 组件恢复后行为
apiserver从新的 revision 继续服务;watch 客户端发现版本回退
watch 客户端(控制器/informer)收到比本地缓存更低的 revision,被迫 relist 全量(卷二 3 章)
控制器重新对全量资源调谐,把实际状态拉回声明状态

恢复回滚了声明状态,但回滚不了实际运行状态——节点上的 Pod 还停在恢复前状态,控制器会检测到「声明变回去了、实际没变」,于是重新调谐把实际拉回新声明。这个接缝是 K8s 能「整体恢复」的根因:声明式 API 让状态回滚成为可能,控制器负反馈自动收敛。但也要注意:恢复点太旧,意味着控制器会重新执行大量补丁式操作(重建被删的资源等),恢复的 RTO 里要算上收敛时间。

整体恢复的上线前检查清单:

  • 快照完整性校验过(snapshot status 可读、revision 符合预期)。
  • 恢复目录用全新 --data-dir,不触碰现有成员数据。
  • 恢复后新集群选主成功、apiserver 能连上。
  • 控制面组件全部能重连,watch 客户端 relist 完成(卷二 3 章语义)。
  • 业务控制器重新调谐收敛,实际状态与恢复后的声明对齐。
  • 用 9.2 的口径记录本次恢复的 RTO 实测值,与目标对账。

三个常见误解

  • 「etcd 快照像数据库备份一样,可以连同之后的日志一起重放」——错误。etcd 快照是纯状态机时间胶囊,不携带 raft 日志;恢复后 revision 钳制回快照点,之后的写整体丢失,不是重放而是回退。
  • 「快照包含所有已提交的写,包括还没 apply 的」——错误。快照点 = 已提交且已 apply 的 revision;TakeSnapshot(applyRev) 会把 apply 进度钳制到 committed 以内,未 apply 的写被排除在快照之外。
  • 「恢复到现有集群的某个成员上,覆盖它的数据就能恢复」——错误。必须恢复到全新数据目录并重新组集群;覆盖现有成员会把新旧状态混在一起,制造脑裂起点。

一句话总结本节

etcd 快照的一致性边界是崩溃一致:快照点 = 已提交且已 apply 的 revision,未 apply 的写被排除(Lag 即落后距离,决定恢复丢多少);恢复把 committed 钳制回快照点,之后的写整体丢失,且恢复必须落在全新集群上重起日志。etcd 快照是控制面的时间胶囊,选哪个快照就回到哪个时刻——这也是 9.2 的 RPO 在 K8s 最核心数据上的最终落地。

下一章把一致性边界从「时间」扩展到「空间」:多集群联邦与跨集群的资源分发。

本节 lab

本节两个测试落在 backup 包的 EtcdBackup 上,覆盖快照边界与恢复钳制:

cd private/labs/k8s-net-lab
go test ./backup -run TestEtcdBackupConsistencyBoundary -v
go test ./backup -run TestEtcdRestoreClampsRevision -v

TestEtcdBackupConsistencyBoundary(3 个断言):对 Committed=100 的 etcd,断言 TakeSnapshot(100) 为 100(全部 apply 时快照到 100);再构造 Committed=100、apply 进度只有 97,断言 TakeSnapshot(97) 为 97、Lag() 为 3——对应「快照只到已 apply 的 revision,落后 committed 3」。

TestEtcdRestoreClampsRevision(1 个断言):Committed=100 下 TakeSnapshot(95),随后模拟备份后又有写使 Committed=100,断言 Restore() 为 95——对应「恢复后 committed 回落到快照点,其后写丢失」。

两测试共 4 个断言,运行见 ok k8s-net-lab/backup。EtcdBackup 的 20 行逻辑把「快照边界、Lag、恢复钳制」这一整条 etcd 一致性边界做成最小可验证闭环。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图