《Kubernetes 分布式系统原理深入解析》8.3 单步变更与 etcd learner

etcd 没走联合共识的完整实现,而是用更简单的单步变更:每次只加/删一个节点,新旧配置交集天然非空。V3.4 引入 learner 解决新成员慢的问题——先以不投票、不参与选举的身份同步日志,追平后 member promote 转正。本节给出单步变更的数学保证、learner 的完整生命周期、etcdctl 命令与 3→5 生产扩容演练。lab 用 AddLearner/Promote 验证 learner 不改变 quorum、不会被选为 Leader、晋升后 quorum 增大。

8.3 单步变更与 etcd learner

8.2 的联合共识在数学上最干净,但 etcd 对外长期使用的其实是更朴素的一招:单步变更(one-at-a-time)——每次只加一个或只删一个节点。再配合 V3.4 引入的 learner,就同时解决了「变更安全」和「新成员慢」两个问题。这一节把它们讲透,并给一份可直接照着做的 3→5 扩容演练。

单步变更:每次只动一个节点

单步变更的约束一句话:相邻两次配置之间,恰好差一个节点。

  • 加节点:C_old = {1,2,3} → C_new = {1,2,3,4};
  • 删节点:C_old = {1,2,3} → C_new = {1,2};
  • 替换:拆成两步——先删坏节点 C_old={1,2,3}→C_new={1,2},再加新节点 C_new={1,2}→C_final={1,2,4}。

这个约束的价值在于数学上的白送性质:C_old 与 C_new 的交集非空。只要集群原成员数 ≥ 2,删掉一个或加进一个,新旧配置至少共享 2 - 1 = 1 个节点。回忆 8.1 的脑裂反例——两个多数派不相交的前提是配置变化能一次跨过多个成员;单步变更把这个可能直接掐断:任何旧配置多数派与新配置多数派必然在新旧交集里相撞。

因此单步变更不需要双多数、不需要联合态,Leader 只需:

  1. 追加一条「新配置」日志;
  2. 按新配置的多数派确认后提交;
  3. 提交后旧配置失效。

因为每一步交集非空,旧、新多数派永远相交,不会出现 8.1 的两个不相交多数派。代价是慢:5→3 缩容必须 5→4→3 两步走,不能一步到位;替换也必须先删后加,中间必然经过一个更小的集群。

单步变更的 quorum 过渡带

单步变更虽安全,但每次跨过一个整数边界时,quorum 会经历一段「过渡带」,值得单独看:

操作成员变化quorum 变化容错变化
加第 1 个(3→4)2 → 31 → 1不变(仍只能丢 1 台)
加第 2 个(4→5)3 → 31 → 2变好(可丢 2 台)
删 1 个(5→4)3 → 32 → 1变差
删 1 个(4→3)3 → 21 → 1不变

单步变更的工程含义很清楚:3→4 这一半程只增加容量、不增加容错,所以生产扩容的标准动作是「一次补两个、凑成奇数」——3 直接扩到 5,把两段过渡带一次走完,避免长期停在 4 节点这种「多花钱、不多扛故障」的状态。而缩容 5→3 也必须分两步,中途 4 节点期容错只有 1,操作窗口要挑业务低峰。

learner:先当「观察员」,追平再转正

单步变更解决了脑裂,却没解决另一个问题:新加入的节点日志是空的,一进入 quorum 就拖累全集群。

设想 3 节点集群直接 member add 一个空日志节点。配置变成 {1,2,3,4},quorum 立刻从 2 涨到 3。之后 Leader 每次提交都要等 3 个确认;而这个新节点要先从快照开始把几 GB 日志追平,期间它既没有最新已提交命令(无法可靠投票),又会把每次 commit 的延迟拖到它的同步速度上。更糟的是 8.1 表格显示 4 节点容错只有 1——扩容进行到一半,集群反而更脆。

etcd V3.4 的答案是把「加节点」拆成两个动作:

  1. 以 learner 身份加入:member add --learner。learner 进入集群,但 raft 包的语义是:它不投票、不参与选举、不进入 quorum 计算,只接收日志复制(AppendEntries 正常发给它)。它相当于一个「观察员」,先把数据和状态同步到最新,不给集群添任何负担。
  2. 晋升为正式投票成员:日志追平后执行 member promote。learner 转为 Voters,正式进入 quorum,此时它已经具备投票能力,不会再拖慢 commit。

learner 的生命周期可以抽象成四态:

阶段角色是否投票是否进入 quorum日志状态
刚加入learner否否空,落后 Leader 很多
同步中learner否否通过快照 + 日志追赶
追平learner(待晋升)否否与 Leader 基本齐平
晋升后Voter(Follower)是是完整

注意第二个问题的根治:因为 learner 不进入 quorum,它在追平期间的慢,完全不改变集群的多数派大小和延迟。3 节点 + 1 个 learner 的 quorum 还是 2,集群照常容 1 故障。

learner 的数据流:它怎么追上日志

learner 追日志的机制和普通 follower 相同,只是不带投票:Leader 通过进度表跟踪 learner 的 nextIndex,从 nextIndex 开始发 AppendEntries;如果 learner 落后太多(超过快照阈值),Leader 直接发 InstallSnapshot,让它一步落到快照包含的状态,再继续增量同步。

具体路径:

  1. 快照兜底:learner 刚加入时日志为空,Leader 判断 nextIndex 已经落到快照边界之前,改为发 InstallSnapshot。learner 安装快照后 CommitIndex 推进到快照包含位置,立刻获得完整的历史状态。
  2. 增量追赶:快照装完,nextIndex 跳到快照末尾,Leader 继续发后续 AppendEntries,逐条补齐快照之后的日志。
  3. 追平判定:learner 的 matchIndex 追上 Leader 的 lastLogIndex(或落后在一个容忍阈值内),即可认为追平,允许 Promote。

这条路径在 raft/replication_test.go 的 TestInstallSnapshot 里有等价演示:新节点安装快照后状态机与 commit 立刻对齐,不用重放全部日志。learner 正是把「同步」阶段放到「投票」之前,让最重的快照传输发生在集群不依赖它的时候。

为什么 learner 解决「新成员慢、拖垮集群」

把因果链摆出来就清楚:

  • 没有 learner:新节点加入的瞬间就获得投票权 → 它进入 quorum → Leader 提交必须等它确认 → 它日志落后,跟不上 → commit 延迟被拉长;若它恰好是那个不确认的少数,集群甚至无法提交。
  • 有 learner:新节点先同步 → 同步期间它不在 quorum 里,集群行为与加节点前一模一样 → 追平后 Promote 转正 → 转正时刻它的日志已是最新,加入 quorum 不会引起任何确认延迟。

还有一个连带好处:Promote 本身是一次单步变更,继承上一小节的交集非空保证,所以 learner 转正不破坏一致性。这也正是 etcd 把「learner → promote」设计成标准路径的原因——它把「慢节点加入」从集群一致性风险降级为「纯运维等待」。

learner 不进入 quorum 计算

在 lab 里,learner 的实现直接就是「不算票」:votingNodes() 把角色为 learner(Role == -1)的节点排除,majority() 只统计 votingNodes()。看 sim.go:

func (s *Sim) majority() int { return len(s.votingNodes())/2 + 1 }

于是 3 节点集群加 1 个 learner,votingNodes() 仍是 3,quorum 仍是 2;只有 Promote 把 learner 的角色改回 Follower 后,votingNodes() 变 4,quorum 才涨到 3。learner 的日志复制不走选举广播——broadcast 对 MsgRequestVote/MsgPreVote 跳过 learner,但 AppendEntries 照发。这在 lab 的测试里有直接断言。

etcd 命令与生产扩容演练

etcd 侧的日常命令(etcd v3.4+):

# 查看当前成员与角色(learner 会显示 isLearner=true)
etcdctl member list -w table

# 以 learner 身份加入新节点,--learner 是关键参数
etcdctl member add new-node \
  --learner=true \
  --peer-urls=https://10.0.0.4:2380

# 新节点启动并追平日志后,晋升为正式投票成员
etcdctl member promote <member-id>

# 缩容
etcdctl member remove <member-id>

一份可执行的 3→5 扩容演练(两个新增节点按编号 4、5):

  1. 前置门禁:确认现有 3 节点健康——etcdctl endpoint health 全部 healthy,etcdctl endpoint status 的 applied index 一致,无告警。
  2. 加 learner 4:member add node-4 --learner=true --peer-urls=https://10.0.0.4:2380,得到 member-id 后在新机器上启动 etcd。此刻集群仍按 3 节点 quorum=2 运行,加号不改变可用性。
  3. 等待追平:etcdctl member list -w table 观察 node-4 仍为 learner;etcdctl endpoint status --endpoints=... 对比 node-4 与 Leader 的 applied index,追平(或落后在阈值内)才允许 Promote。同步慢的大集群可先依赖快照,别硬等全量日志。
  4. 晋升 node-4:etcdctl member promote <node-4-id>。配置变 4 节点,quorum=3,容错暂时回到 1——这是整个演练最脆弱的窗口。
  5. 加 learner 5、追平、晋升:重复第 2–4 步。完成后再做一次全量健康检查,确认 5 节点 quorum=3、容错 2。
  6. 退出门禁:连续观察若干分钟,无选举抖动、无频繁 leader 切换、watch 正常推送,扩容才算完成。

两个铁律:新增节点一律先 learner 后 promote,绝不 member add 直接当 Voter 进生产;最终成员数保持奇数——如果你要扩到 4,宁可多扩一个到 5,也不要停在 4(quorum=3 且容错只有 1)。

常见失败模式与处理

演练会失败,提前列出常见情况和应对:

  • learner 长时间追不平:磁盘慢、peer 网络不通、或数据量大到快照反复过期。处理:检查 etcdctl endpoint status 的 applied index 是否在涨;若一直停滞,删掉该 learner 重新加入,别让一个半死的 learner 占着 member list。
  • Promote 失败:多发生在日志尚未真正追平或集群刚好发生选举时。处理:Promote 是一个单步变更,失败通常安全回滚,重试即可;重试前先确认 applied index 追平。
  • 误 remove 掉健康节点:单步变更一旦提交,被删节点立刻失去投票权,它自己也可能没收到配置条目而继续以旧配置运行。处理:误删的补救是立即 member add 加回(又是一个单步),并在操作窗口内密切观察 quorum。
  • 扩容过程中 Leader 恰好故障:4 节点 quorum=3 的脆弱期,如果 Leader 挂了且同步中的节点还没追平,可能卡在选举。处理:尽量在低峰扩容,缩短脆弱窗口(learner 追平后立即 Promote)。

这四种模式有一个共同教训:成员变更不是「改完就跑」,而是一个有持续时间的操作,期间要把集群当「手术中」对待。

learner 与快照阈值的关系

learner 的追赶速度取决于 Leader 的快照策略。etcd 有一个关键阈值:当某个 follower 落后 Leader 超过一定距离(默认 snapshot-count,约 10 万条日志)时,Leader 不再补增量,改为发快照。learner 刚加入时必然落在快照区,所以它拿到的第一批数据是 InstallSnapshot,而不是逐条日志。

这个设计的含义:

  • 追赶时间 ≈ 快照传输 + 快照之后的增量,与历史日志总量无关——learner 不用重放集群诞生以来的每条命令。
  • 快照传输可能很大(etcd 快照常见数百 MB 到数 GB),所以 learner 同步窗口可以长达几分钟;正因为 learner 不参与 quorum,这几分钟对在线集群零影响。
  • 如果集群写压高、快照频繁过期,learner 可能追不上(装完一个快照,Leader 又推进了几十万条)。处理是等低峰扩容,或临时调大 snapshot 间隔让 Leader 多走增量、少打快照。

这条路径在 lab 里有对应物:TestInstallSnapshot(9.2)演示新节点通过 InstallSnapshot 一步对齐到快照状态、不用重放全部日志——learner 追平依赖的正是这条路径。

本节 lab

本节 lab 直接演示 learner 的核心语义:不投票、不被选举、晋升后才进 quorum。源码在 private/labs/k8s-etcd-lab/raft/membership.go:AddLearner 以 Role == -1 的 learner 角色加节点,Promote 把 learner 改成 Follower,votingNodes/majority 只统计非 learner。

cd private/labs/k8s-etcd-lab
go test ./raft -run TestLearnerDoesNotVote -v

测试 TestLearnerDoesNotVote(raft/replication_test.go)按三步断言:

  1. NewSim(3, 3) 建 3 节点集群后 AddLearner(5),majority() 仍为 2——learner 不改变 quorum;
  2. StepUntilLeader(200) 反复运行选举,断言选出的 Leader 不可能是节点 5,且 learner 节点从未进入 Candidate/Leader 角色——learner 不被选为 Leader、不参与选举;
  3. Promote(5) 后 majority() 变为 3——晋升后 quorum 增大。

这 3 条断言把正文的结论钉死:learner 在整个追平期间对集群的多数派大小零影响,唯一的 quorum 变化发生在 Promote 转正的那一刻。结合 TestMembershipAddChangesQuorum(8.2 的 lab),你就同时验证了单步变更的「一次一个」与 learner 的「先观察再投票」两条安全线。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图