《Kubernetes 分布式系统原理深入解析》12.1 多版本并发控制:revision 与版本树

etcd 的存储是多版本并发控制:每次写推进全局主 revision,每个 key 保留按 mod_revision 排列的版本链,删除留下墓碑但历史仍可读。lab 用三个用例验证 revision 跨 key 单调、历史读返回指定版本、墓碑不影响删除前的历史值。

12.1 多版本并发控制:revision 与版本树

11.3 节把 K8s 对象与 etcd 键空间的映射讲清楚了:/registry/ 前缀加上资源路径与名称构成 etcd key,对象的完整序列化内容落在这个键上。本节进入存储内部,看这个键在 mvcc(Multi-Version Concurrency Control,多版本并发控制)里如何保存多个历史版本。理解 revision 与版本树,是理解 12.2 乐观锁、12.3 resourceVersion 与第 9.3 节压缩点语义的共同基础。

第 12 章接下来三节是一个整体:12.1 建立「一个键多个版本」的模型,12.2 在版本号上做乐观并发控制,12.3 把版本号翻译成 K8s 表面可见的 resourceVersion。如果只记住一句话,就是:etcd 不是一个「存当前值」的 KV,而是一个「存每次写的历史」的版本化存储,所有高级语义(事务、watch、resourceVersion)都从「版本」二字派生。

全局单调递增的主 revision

etcd 的 mvcc 用一个全局主 revision 作为全库唯一的「写序号」:每一次写操作(Put 或 Delete)都让这个计数 +1,所有 key 共享同一把计数,而不是每个 key 一把。

lab 的 MVCCStore 里 revision 字段就是这个计数。看它的递增轨迹:

操作key结果 revision说明
Put("a", "1")a1第一次写
Put("b", "2")b2跨 key 继续 +1
Put("a", "2")a3更新已有 key 仍 +1

同一个 key a 被写两次,revision 从 1 跳到 3;中间的第 2 号被 key b 占用。这正是「全局共享」的含义:revision 是全库的写序号,不是某个 key 自己的计数器。

为什么要全局而不按 key 分别计数?因为 mvcc 需要一份全序。watch 的增量事件、带 resourceVersion 的 List 快照、事务的 If 比较,都需要在「任意两个写之间」确定先后——只有全局单调计数能提供这种跨 key 全序。第 2 章 consistency 包讨论的线性一致顺序,落到底层就是这份 revision 全序。

注意 revision 与 Raft 的区分:revision 是 mvcc 层的版本号,Raft 日志的下标是 applyIndex,两者由 etcd 在 apply 时一一对齐。第 9.3 节末尾预告过这个对应关系,本节从存储模型侧把它坐实——每次成功提交的写,都会对应推进一次主 revision。

推进发生在 etcd 的 apply 路径上,不是请求入口:Leader 收到写请求后先把日志广播到多数派,提交后再由 apply 协程把日志条目落进 mvcc,同时推进 revision。所以 revision 是「已提交且已 apply」的写序号,与 Raft 的 committed/apply 边界一致。并发写被合并进同一个批次 apply 时,它们的 revision 会连续——这是观察 etcd_server_apply_duration 等指标时常见的「一次 apply 连续推进多个 revision」现象的来源。

还有两个方向要记牢:只有写推进 revision,读永远不推进;Delete 同样推进。读请求无论多少次、从哪个成员读,都不改变主 revision——否则「读」也会变成写路径,破坏读的可扩展性。Delete 推进的原因在「墓碑」小节展开,但计数层面先记住:Put 与 Delete 对 revision 一视同仁,都是 +1。

另一个容易混淆的点是 revision 的起点:lab 的存储从 0 开始,第一次写得到 rev1;真实 etcd 集群的 revision 从建库以来的累计写序号继续,重启不归零,因此不同集群的 revision 绝对大小没有可比性——判断新旧永远用「同一份数据里比较」,而不是两个集群的数字互比。

每个 key 的版本链与读取规则

mvcc 里每个 key 拥有一条按 mod_revision 升序排列的版本链。lab 的 versions map[string][]Version 直接对应真实 etcd 的 keyIndex 结构:btree 上按 key 索引、内部再挂 generation(代)与 revs(revision 列表)。

一次连续写 k 的三个版本,版本链的变化:

操作revision版本链(升序)
Put("k", "v1")1[v1@1]
Put("k", "v2")2[v1@1, v2@2]
Put("k", "v3")3[v1@1, v2@2, v3@3]

版本链上有两种读,lab 分别用 Get 与 GetAtRev 实现:

  • 读最新:取链尾最后一个版本。Get("k") 返回 v3@3。
  • 读历史:GetAtRev("k", 2) 从链尾向前找 mod_revision ≤ 2 的第一个版本,返回 v2@2。

关键在「向前回溯」而不是「精确命中」:GetAtRev(k, 2) 不需要恰好存在一个 revision=2 的写,它找的是「≤ 2 里最近的一次」。这层语义让历史读天然支持「读某个点之前的快照」——哪怕目标点之间隔着其他 key 的写,revision 号依然连续,读法不变。

真实 etcd 的 keyIndex 还维护 generation(代):从 key 首次创建到删除(墓碑)是一个代,删除后再次创建开始新一代。每代内部是一段连续的 revs。这个结构的意义在于区分「同名 key 的历史被删除后的再创建」——/registry/pods/default/foo 被删除后又重建,两个生命周期的版本并不混在同一个连续区间里,而代就是这段区间的边界。lab 的简化实现用单个切片容纳所有代,读取逻辑不受影响。

版本链还有一个边界情况要在实现时留意:GetAtRev(key, rev) 向前回溯时,如果 key 在 rev 之前根本不存在,返回 ok=false。这对应「历史读看到的是不存在」,与「存在但该点恰好是墓碑」一样,都是合法的历史状态——两者在增量回放上语义不同,前者需要生成 Create 事件、后者需要生成 Delete 事件。

版本链增长的代价是空间:K8s 里同一个对象被 status 更新几十次,链上就挂几十个版本,直到压缩才回收。这是第 9.3 节「revision 堆积」的微观原因——对象变更次数决定 revision 数量,而不是键的当前数量。

看一个混合读场景,体会「全局 revision 快照」与「每 key 版本链」如何协作。假设库内依次发生四次写:

写序号操作版本链变化当前 Get
1Put("cfg", "v1")cfg: [v1@1]cfg=v1
2Put("pod", "p1")pod: [p1@2]pod=p1
3Put("cfg", "v2")cfg: [v1@1, v2@3]cfg=v2
4Delete("pod")pod: [p1@2, ✝@4]pod 不存在

此时 GetAtRev("cfg", 3) 返回 v2@3、GetAtRev("pod", 3) 返回 p1@2——两个 key 各自回溯到「≤ 3 的最近版本」,拼起来正是 revision 3 这个时刻的全库快照。这就是「版本树」这个名字的由来:全局 revision 是一条时间轴,每个 key 的版本链是挂在这条时间轴上的纵向结构,历史读就是把时间轴拨到某个点,再逐 key 取该点状态。

删除与墓碑

Delete 不是「物理抹掉」,而是向版本链追加一个带 Deleted 标记的版本(墓碑,tombstone)。lab 的 Version.Deleted 即此标记;真实 etcd 中删除同样只追加墓碑并推进 revision,数据要等压缩才真正回收。

删除后的可见性规则:

  • 当前读(Get):链尾是墓碑 → key 视为不存在;
  • 历史读(GetAtRev):回溯到墓碑之前的版本 → 删除前的值仍可见。

以 TestMVCCDeleteMarksTombstone 的操作序列为例:

操作revision链GetGetAtRev(1)
Put("k", "v1")1[v1@1]v1v1
Delete("k")2[v1@1, ✝@2]不存在v1

为什么要保留墓碑而不直接删除?因为删除本身是一个「事件」,watch 与 List 增量依赖它在历史里可见。一个「创建→删除」的 key,如果不留墓碑,增量视角下它就凭空消失了——watch 客户端既收不到创建也收不到删除,状态就对不上。墓碑让「在 revision 2 这个键被删了」成为可回放的事实,第 13 章的 watch 事件流就是消费这些墓碑与写版本的。

墓碑的来源不止显式 Delete 一种。etcd 里带租约的 key 到期(TTL 耗尽)时也会被删除——第 11.2 节讲过租约过期自动清理关联 key。清理动作同样走 mvcc 的删除路径,追加墓碑并推进 revision。K8s 的事件对象、部分临时资源就靠这种机制回收,它们的历史同样保留到压缩为止。

墓碑与压缩还有一个微妙的相互作用:压缩点低于墓碑时,墓碑连同更早的版本一起被删,这个 key 从存储中完全消失。此后 watch 从更早的 revision 订阅时会直接得到 ErrCompacted,而不是「看到了一个已删除的 key」——这正是第 9.3 节强调「压缩点不能低于 watch 存活窗口」的原因。

墓碑还让「删除后重建」的两个生命周期可区分:同一 key 先 v1 后 ✝2 再 v3,版本链是 [v1@1, ✝@2, v3@3]。watch 客户端从 rev1 订阅会依次收到修改、删除、创建三个事件,状态机最终收敛到 v3;若没有墓碑,rev1 与 rev3 之间就只剩「从 v1 跳到 v3」,删除事件丢失,依赖该事件的清理逻辑会漏执行。K8s 中这类依赖很常见——例如删除 ConfigMap 触发的挂载回收、删除 Pod 触发的终端事件,都要靠删除事件驱动。

历史读的三个典型用途

历史读不是一个学术概念,它支撑着 K8s 的三类实际请求:

  1. 带 resourceVersion 的 List:客户端指定一个 revision,etcd 从该点之前的快照读取,而不是从当前状态读取。这在 12.3 会展开。
  2. watch 起始点:watch 必须从「某个已提交 revision」开始,而不是从当前状态开始——否则刚发生的写入事件会丢失。历史读保证 watch 能从任意合法 revision 接上事件流。
  3. 事务的 If 比较:读到的 mod_revision 作为乐观锁的校验依据,冲突时整个事务跳过。这正是 12.2 的主题。

三类用途共享同一个底层能力:mvcc 保留了每个 key 的完整历史,任何历史点都可查询。

以 K8s 的实际请求为例把三个用途落到具体场景:

  • List 快照:kubectl get pods --resource-version=12345 在语义上是从 etcd 的 revision 12345 读取全量 Pod 快照。这种请求的价值在于「读到一个确定时刻的状态」,而不是「当前状态」,适合校验、续页、审计。
  • watch 起始:informer 首次同步通常先 List 拿到一个当前 revision,再从该 revision 建立 watch。如果 watch 不是从「已存在的事件流位置」而是从「当前」开始,List 与 watch 之间发生的写就会丢失,造成状态空洞。
  • 乐观锁比较:控制器读到对象的 resourceVersion 后修改它,Update 时把该版本号带回,etcd 用 mod_revision 比较——不一致则 409。这个比较读的就是「版本链当前的最新版本号」,是历史读在写路径上的镜像。

这三处都是只读视角,但它们在 K8s 控制面中分别对应读、订阅、写三个高频路径,共同说明一件事:revision 不只是给存储自己用的,它被序列化进了 API 表面。

历史读也不是免费的。每保留一个版本就要占一份存储:K8s 集群里同一对象的 status 更新可能产生几十个版本,Event 爆发时上千个事件 key 各自带版本,加上 ConfigMap 轮转这类「只增不删」的写模式,revision 总量远大于键数量。这正是第 9.3 节说的「revision 增长由对象变更事件决定」,也是为什么压缩不是可选项——不压缩,历史读确实还能工作,但空间和时间都会失控。

实现上还有一个并发细节:lab 的 MVCCStore 用一把互斥锁保护 revision 与 versions,保证「推进 revision」与「挂版本」是同一个临界区。真实 etcd 的做法类似但更细——写路径在一个串行化的 apply 队列里推进 revision,读路径并发执行但不推进计数。无论如何,revision 的单调性都依赖「写必须串行取号」,这是它区别于时间戳的关键:时间戳可以乱序产生,取号则天然有序。

compaction 回收旧版本

版本链无限制增长会让存储失控,回收由压缩(compact)完成——这正是第 9.3 节说的第二层「mvcc 版本压缩」。lab 的 Compact(rev) 丢弃所有 mod_revision ≤ rev 的版本,并把压缩边界 compactedTo 推到 rev。

压缩的后果:

  • 版本链缩短,最新版本保留;若某 key 的全部版本都被压掉,该 key 从存储中消失;
  • 读一个已被压缩的 revision(rev ≤ compactedTo)返回 ErrCompacted——客户端必须放弃该历史点;
  • compactedTo 只能前进不能后退,重复压缩是 no-op。

对 K8s 的直接含义:resourceVersion 一旦老于压缩点就再也读不到,客户端必须重新 List。第 9.3 节说「保留 8 小时的历史版本够覆盖 watch 重连窗口」,正是因为压缩点以下的 revision 读会失败。压缩的微观语义(哪几个版本被删、哪个 key 消失)由 12.3 的 lab 用 TestMVCCCompactRemovesOldVersions 与 TestMVCCCompactedRevisionRejected 验证。

lab 的 compactedTo 初始是 -1,表示「从未压缩」;一旦 Compact(rev) 执行,边界前移。举一个具体的删除结果:key a 有版本 a@1、a@2,key b 只有 b@3,Compact(2) 会删掉 a@1 与 a@2(2 个版本),a 的所有版本都被压掉所以 key 消失,b@3 保留。这个「被压 key 消失、未压 key 保留」的判定正是 12.3 里「旧 RV 读 410、新对象不受影响」的底层。

为什么压缩点只能前进?因为已删除的历史无法恢复,而 compactedTo 之前的 revision 在逻辑上已不可查询;允许后退会重新暴露一个「已被证明不可读」的版本,破坏一致性。etcd 用错误返回(重复压缩时收到 ErrCompacted 或 no-op)而不是静默接受来强制这一约束。

revision 的 {main, sub} 结构与真实 etcd

真实 etcd 的 revision 不是单个整数,而是 {main, sub} 二元组:main 是全局主 revision,sub 是同一个事务内多 key 写的子序号。为什么需要 sub?因为一个 Txn 可以同时写多个 key,它们共享同一个 main(同一次提交),但要保留先后顺序——sub 从 0 递增区分它们。

lab 的简化实现只保留 main(int64 revision),因为最小 mvcc 的每次写是单 key 的。但记住这个二元组能解释两个现象:一是 K8s 的 resourceVersion 序列化时主要取 main 的十进制数字;二是同一个 etcd 事务里先后写的两个对象,resourceVersion 可能相同——它们共享同一个 main。第 12.3 节会再回到这一点。

落到 bbolt 存储层,etcd 的后端 key 就编码成 <main>/<sub> 形式,例如 0000000000000005/1,值则是该版本的完整数据。索引层(btree 的 keyIndex)按 key 名字建链,链表节点指向这些 <main>/<sub> 后端条目;查询时先在索引层定位版本链,再按 revision 取后端数据。lab 把索引与数据合并成一个内存 map,省去了这一层跳转,但「版本链 → 按 revision 取数据」的语义是一致的。

这套结构与第 9.3 节的 defrag 也有关:压缩删除的版本在 bbolt 里只是标记为待回收的旧页,文件不会自动缩小——正是因为物理存储按页复用,而逻辑版本树已经不再引用它们。12.1 到 9.3 在这里闭环:版本树是逻辑视图,bbolt 是物理视图,压缩在两者之间搬运。

lab 里 Get 返回 (value, modRev, ok) 三元组,与真实 etcd 的返回对应:value 对应 ResponseHeader.revision 之后取到的键值,modRev 对应 mvcc 记录的 ModRevision,ok 对应 ErrKeyNotFound 的语义。真实 etcd 的响应头里还有 header.revision(读时主 revision),但单个键的 ModRevision 与全局 header revision 是两回事——前者是该键最后一次被写的序号,后者是本次读观察到的主 revision。K8s 对象上的 resourceVersion 取的是前者(对象自己的 mod_revision),这个细节在 12.3 会精确化。

本节 lab

本节用 store 包三个用例验证「revision 全局单调、历史读、墓碑可见性」三个方向。实现代码在 private/labs/k8s-etcd-lab/store/mvcc.go,测试在 store/mvcc_test.go(前三个用例即本节内容,store 包其余用例归 12.2/12.3):

cd private/labs/k8s-etcd-lab
go test ./store -run 'TestMVCCPutAssignsMonotonicRevision|TestMVCCReadHistoricalAtRevision|TestMVCCDeleteMarksTombstone' -v

预期断言:

  • TestMVCCPutAssignsMonotonicRevision:Put("a", "1") 得 rev1,Put("b", "2") 得 rev2,Put("a", "2") 得 rev3——证明全局主 revision 跨 key 单调,更新已有 key 也推进计数;
  • TestMVCCReadHistoricalAtRevision:连续写 v1@1、v2@2、v3@3,GetAtRev("k", 2) 返回 v2@2,GetAtRev("k", 3) 返回 v3——证明历史读是「≤ rev 的最近版本」;
  • TestMVCCDeleteMarksTombstone:删除产生 rev2 墓碑后 Get 不可见,但 GetAtRev("k", 1) 仍返回 v1——证明墓碑不影响删除前的历史值。

三个用例分别对应本节的三个核心结论:主 revision 全局共享、版本链按 mod_revision 回溯、墓碑只挡当前读不挡历史读。

其中 TestMVCCReadHistoricalAtRevision 还验证了一个容易被忽略的边界:GetAtRev("k", 3) 在版本链恰好存在 v3 时返回 v3,与 GetAtRev("k", 2) 返回 v2 对称——说明历史读既支持「恰好在版本上」也支持「落在线性中间」。墓碑用例则把「Get 看不到、历史读看得到」这一对行为同时断言,避免只验证一半语义。运行 go test ./store -run 'TestMVCCPutAssignsMonotonicRevision|TestMVCCReadHistoricalAtRevision|TestMVCCDeleteMarksTombstone' -v 全部通过即满足 12.1 的存储语义。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图