6.1 AppendEntries 与心跳
上一节解决了「谁来做主」:集群选出一个 leader,它是唯一的写者。这一节回答「leader 怎么把日志复制给所有人」——全部动作收敛到一条 RPC:AppendEntries。在 Raft 里没有第二条复制通道,follower 只能通过 leader 的 AppendEntries 往自己的日志里追加条目,日志的传播方向永远是 leader → follower。K8s 里 apiserver 写 etcd 的每一笔,最终都变成 leader 向所有成员广播的一次 AppendEntries(或一条心跳);这也是卷一最重要的数据面消息。
AppendEntries 同时承担两件事:复制新日志、维持领导权(心跳)。这两个用途复用同一条消息、同一组字段,区别只在 Entries 是否为空。理解这一点,整章就有了骨架。这一节的路线是:先逐字段拆解请求与响应,再讲心跳为什么是它的退化形态,最后落到 etcd 的真实参数和 lab 的可运行验证。
AppendEntries 请求字段逐条拆解
一次 AppendEntries 请求只有 5 个字段,每个字段的职责都要能背下来:
| 字段 | 类型 | 含义 | 用途 |
|---|---|---|---|
| Term | int | leader 的当前任期 | 对齐任期:follower 发现请求任期更高时更新自己、降级为 Follower |
| PrevLogIndex | int | 新条目「前一条」的下标 | 一致性检查的锚点之一 |
| PrevLogTerm | int | 该下标处条目的任期 | 一致性检查的锚点之二 |
| Entries | []LogEntry | 待追加的日志条目 | 复制主体;空切片即心跳 |
| LeaderCommit | int | leader 当前的 commitIndex | follower 推进自己 commitIndex 的上界 |
逐字段看:
- Term:每个 AppendEntries 都带任期。follower 收到更高任期的请求,先同步任期、把自己降回 Follower(即使是 Candidate 也要退位)。任期是 Raft 里唯一的逻辑时钟,所有消息都靠它对齐先后。注意这个降级是无条件的:即使这条 AppendEntries 里的日志最终被拒绝,任期也已对齐——任期对齐与日志复制是两个独立步骤。
- PrevLogIndex / PrevLogTerm:这一对字段是日志复制安全性的核心,即 6.2 要展开的 consistency check。leader 说「在我下标 X 处任期是 T,你从 X+1 开始追加」。follower 检查自己 X 处的任期是否真的等于 T:相等才继续,不相等就拒绝。这两个字段保证追加只发生在双方一致的前缀之后,是日志匹配性质在消息层的落地。
- Entries:真正要复制的内容,每条带 (Term, Index, Command),Index 由 leader 分配、连续递增。一次请求可以带多条,把该 follower 落后的部分整批发过去;entries 为空时,这条消息就是心跳。
- LeaderCommit:leader 把自己已提交的下标塞进每条 AppendEntries。follower 收到后把自己的 commitIndex 推进到 min(LeaderCommit, 自己日志末尾),这是提交传播的通道——即使心跳(空 Entries)也携带它,所以提交进度不需要单独的 RPC。
一个字段级的完整往返
把 5 个字段放到一个具体例子里,语义就全活了。3 节点集群,leader 是节点 0(term 3),它刚把命令 set:x=1 追加进自己的日志,下标是 4;follower 节点 1 已经追平(日志末尾是 3),leader 的 commitIndex 还是 3:
| 字段 | 值 | 这一行在说什么 |
|---|---|---|
| Term | 3 | 「我用第 3 任期的身份发命令,任期比我低的节点请对齐」 |
| PrevLogIndex | 3 | 「我在下标 3 之后追加」 |
| PrevLogTerm | 2 | 「下标 3 处的条目属于任期 2,请你核对你那边一致吗」 |
| Entries | [{3, 4, set:x=1}] | 「这是要追加的新条目」 |
| LeaderCommit | 3 | 「我的已提交下标是 3,你可以把 commitIndex 推进到 min(3, 你的末尾)」 |
节点 1 核对:自己下标 3 处的条目任期是 2,与 PrevLogTerm 一致 → 接受,追加 set:x=1 到自己的下标 4,回复 Granted=true、MatchIndex=4。leader 收到后把节点 1 的 MatchIndex 更新为 4——此时自己 + 节点 1 共 2 个确认,quorum 达成,leader 把 commitIndex 推进到 4。下一轮心跳把 LeaderCommit=4 带给节点 1 和节点 2,节点 1 提交、节点 2 若日志已到 4 也提交。
注意节点 2 可能落后:它日志末尾在 2,收到 LeaderCommit=4 后只能推进到 min(4, 2)=2,等自己日志补齐后再补提交。这就是「提交在 follower 侧永远不超过自己日志末尾」的规则——提交进度不会越界。
AppendEntries 响应的三个字段
follower 的响应更简单,只有三个字段:
| 字段 | 含义 | leader 的用途 |
|---|---|---|
| Term | follower 当前任期 | leader 发现响应任期更高 → 自己已过期,退位 Follower |
| Granted | 一致性检查是否通过 | false → 这次请求被拒绝,需要回退 nextIndex |
| MatchIndex | follower 当前日志末尾下标 | 更新 MatchIndex 进度表,参与提交判定 |
响应没有「确认到哪一条」这种二次语义:Granted 为真时,MatchIndex 就是 follower 接受后的最新日志末尾,天然覆盖了「确认点」。lab 里 AppendEntries 方法返回的正是 (lastLogIndex, ok) 这一对值,sim.go 把它们打包成响应:Granted: ok, MatchIndex: match。三个字段里 Term 不参与日志复制,它的存在是为了让 leader 在任期内发现「世界已经前进」——leader 收到任期更高的响应就退位,这是任期规则在复制路径上的最后一处落地。
心跳:空 Entries 的 AppendEntries
当 leader 发现某个 follower 的 nextIndex 已经超过自己日志末尾(即 follower 已经追平),它发送的 AppendEntries 不带任何条目——这就是心跳。心跳在同一时刻做三件事:
- 维持领导权:follower 收到任期不小于自己的 AppendEntries,就确认 leader 还活着,把自己拉回 Follower 状态、同步任期。lab 的 sim.go 里,任何节点收到
MsgAppendEntries且m.Term >= to.Term就执行to.Role = Follower——Candidate 或 Leader 收到相等或更高任期的心跳都会退位。这保证了同一时刻只有一个活跃 leader:旧 leader 回归、看到新 leader 的任期更高,立即让位。 - 重置选举超时:follower 每收到一次有效 AppendEntries,就把自己的选举定时器清零重计(sim.go 的
resetTimer(m.To))。只要心跳比超时来得勤,follower 永远走不到「超时发起选举」。 - 携带 LeaderCommit:心跳照样带 LeaderCommit 字段,follower 借此推进自己的 commitIndex。所以即使没有新写入,集群也在持续对账提交进度。
三点叠加的效果:健康集群里 term 长期不变、没有选举、commitIndex 缓慢前进——直到某条心跳丢失、某个 follower 的定时器走完,新一轮选举被触发。心跳不是额外的保活消息,而是 AppendEntries 的退化形态;Raft 因此只需要一种复制消息类型,这也是 etcd 消息类别保持在个位数、协议可读性高的原因之一。
顺带回答一个常被问的问题:「心跳里带不带日志进度?」带,而且带着两样:PrevLogIndex/PrevLogTerm(leader 认为该 follower 当前所在的锚点)与 LeaderCommit。所以心跳不仅保活,还在做持续的日志对账——follower 即使日志落后,也能从心跳里知道自己差多少、该不该追。这解释了为什么新 leader 上任后不需要专门的「状态同步」消息:每条心跳都是状态同步。
用一个 3 节点集群的时间轴把心跳与选举超时的关系画出来。节点 0 是 leader,心跳周期 1 个 tick,follower 选举超时随机 5–10 tick:
| tick | leader(节点 0) | follower 1 | follower 2 |
|---|---|---|---|
| 0 | 广播心跳 | 收到,timer 重置为 7 | 收到,timer 重置为 6 |
| 1 | 广播心跳 | timer 6 | timer 5 |
| 2 | 广播心跳 | timer 5 | timer 4 |
| 3 | 广播心跳 | timer 4 | timer 3 |
| 4 | 广播心跳 | timer 3 | timer 2 |
| 5 | 心跳丢失(网络抖动) | timer 2 | timer 1 |
| 6 | 广播心跳(恢复) | timer 1 | timer 0 → 若此刻仍未收到就竞选 |
第 6 tick 是临界点:心跳恢复及时送达,两个 follower 的 timer 都被重置,选举没有发生。若第 5–6 连续丢失、且 follower 2 的随机超时恰好是 6,它在第 6 tick 就走到 0,发起新选举——这就是「心跳间隔决定抖动容忍窗口」的量化含义:只要连续丢失的心跳数乘以心跳周期不超过该 follower 的随机超时,集群就无感;一旦超过,就进入 5.3 的切主流程。lab 里这个比例被压缩成「每 Step 心跳、5–10 tick 超时」,与生产 100ms/1000ms 是同一形状。
心跳间隔与选举超时的比例
leader 必须保证心跳周期远小于 follower 的选举超时,这是活性条件:只要多数节点还联系得上,就永远不该有人超时竞选。etcd 的默认值是心跳间隔 --heartbeat-interval=100(100ms)与选举超时 --election-timeout=1000(1000ms),比例 1:10。kubeadm 生成的 etcd 静态 Pod 清单同样显式写入这两个参数,所以生产 K8s 集群的 etcd 默认就是这个组合。
1:10 不是拍脑袋:心跳太稀疏,一次网络抖动就可能超过选举超时、触发无谓切主;心跳太密,消息与 CPU 开销上升,却没有任何额外收益。经验规则是 election timeout 至少是 heartbeat interval 的 5–10 倍,同时大于 2–3 倍的网络 RTT。etcd 强制要求选举超时大于心跳间隔,否则 follower 的定时器比 leader 心跳还短,leader 活着也会反复触发选举——集群永远在竞选。lab 仿真里没有显式的 100/1000 毫秒概念,心跳周期就是每个 Step 广播一次,选举超时是 5–10 tick,比例同样保持 1:5~1:10 的形状。
值得补一句比例失调的真实后果:若把 --election-timeout 调小到 300ms 而心跳仍 100ms,在跨机房网络(RTT 150–300ms)下,一次往返就可能超过选举超时,集群会周期性误判 leader 失联、反复切主,term 快速推高。这也是 5.3 选举风暴的常见诱因之一——不是协议 bug,是参数没有随网络尺度放大。
实现层面,etcd 把这两个参数翻译成 Raft 逻辑层的 tick 数:HeartbeatTick=1(每 1 个 tick 发一次心跳)与 ElectionTick=10(10 个 tick 不收到心跳就竞选),毫秒值通过 raft tick 的驱动周期(100ms)换算而来。改 --heartbeat-interval 而不动驱动周期,等于同时改了 tick 对应的物理时长,所以调参时要成对改、并且保持 1:10 左右的形状。
复制是定向的:进度表驱动
AppendEntries 不是无差别广播,而是 leader 为每个 follower 单独构造、按它的进度定制的。lab 的 Node 结构里有两张表:
- NextIndex[follower]:leader 认为该 follower 下一条应该收到的日志下标(乐观值,从自己的日志末尾 + 1 起步)。
- MatchIndex[follower]:该 follower 已确认复制的最大下标(保守值,初始 -1,只增不减)。
initProgress 在 leader 当选瞬间把它们初始化:自己的 MatchIndex 设为自身日志末尾,其余 follower 的 NextIndex 设为末尾 + 1、MatchIndex 设为 -1。此后每收到一条 Granted 的响应,leader 把该 follower 的 MatchIndex 提到响应值、NextIndex 提到 MatchIndex + 1。
这个设计的含义:每个 follower 收到的是「从它缺的那条开始」的日志,而不是 leader 的整条日志。进度快的不受影响,进度慢的自动收到更多条目。这也让复制可以流水线化(pipelining):leader 不必等上一条确认再发下一条,可以连续发送;等到收到拒绝(说明锚点不对)才回退。生产里 etcd 对每个 follower 的发送是并行的、无阻塞的,写吞吐不因最慢 follower 而被拉低到串行。
AppendEntries 的语义是「追加对齐」而非「整段覆盖」
一个容易被误解的点:AppendEntries 不是把 follower 的日志整体替换成 leader 的,而是「在双方一致的前缀之后做追加对齐」。follower 收到 entries 后,逐条按 index 处理(node.go 的 AppendEntries):
- 同 index 同 term → 视为已存在,跳过;
- 同 index 不同 term → 截断冲突段、重新追加(这是 6.2 的修复动作);
- index 超出日志末尾 → 直接追加。
所以同一条 AppendEntries 对追平的 follower 是「全部跳过」的幂等操作,对落后的 follower 是「补齐缺口」,对冲突的 follower 是「截断重写」。三种结局由同一段代码根据日志内容自动区分,leader 不需要事先知道 follower 处在哪种状态——这正是「只管按进度发、收到拒绝再回退」能成立的原因。对调用方而言,复制路径天然幂等:重复投递同一条 AppendEntries 不会产生副作用,网络重传不会破坏日志。
这也解释了一个工程细节:为什么 etcd 的写路径可以安全地「重试」。apiserver 写 etcd 超时后重发请求,etcd 内部对已复制过的日志按 index 去重,不会重复追加。相比「整段覆盖」的幼稚实现,追加对齐让 Raft 可以用最少的消息种类和最小的状态假设完成收敛。
读 sim.go 的 broadcastAppendEntries
lab 的日志复制入口是 sim.go 的 broadcastAppendEntries,它精确体现「进度落后的 follower 收到日志、追上的收到心跳」的分叉。对每个可达 follower,leader 先取进度表里给它保留的下一条下标:
next := l.NextIndex[f.ID]
var entries []LogEntry
if next <= l.lastLogIndex() {
entries = append([]LogEntry(nil), l.Log[next:]...)
}
prevIndex := next - 1
prevTerm := l.termAt(prevIndex)
读这段代码,两个分支的语义是直接的:
- 若
next <= lastLogIndex,说明该 follower 还没追上 leader 日志末尾,entries 取l.Log[next:]——从它缺的那条开始,一次把后面全部发过去(可能一批好几条)。它收到的是带日志的 AppendEntries。 - 若
next > lastLogIndex,说明 follower 已追平,entries 为空——它收到的是心跳。
两条分支共用同一套 PrevLogIndex = next-1、PrevLogTerm = termAt(prevIndex)、LeaderCommit = l.CommitIndex。所以心跳与复制唯一的差别就是 Entries 是否为空,这正是本节的核心论点。注意 prevTerm 用 termAt(prevIndex) 取任期:若 prevIndex 越界(-1,空日志),返回 0,代表「空前缀总是匹配」——node.go 的 logMatchPrefix 第一行正是 if prevIndex < 0 { return true }。
消息在 sim 里固定延迟 1 个 tick,送达后 follower 的 handle 分支做三件事:重置选举超时、调用 to.AppendEntries(...) 做一致性检查与追加、调用 to.Apply() 把可提交条目应用到状态机,然后回一条 AppendEntriesResponse(Granted + MatchIndex)。leader 收到响应后更新该 follower 的 MatchIndex/NextIndex,并尝试推进 commitIndex(maybeCommit)。这一整条链每个 tick 都在跑,就是「复制状态机」的运转方式。
一次完整复制的量级
用一个 3 节点集群(quorum 2)量化一次复制的消息量。leader 追加一条命令到自己日志后,只需一轮 AppendEntries → 多数确认即可提交并应用。消息数:leader 发 2 条 AppendEntries、收回 2 条响应,其中 1 条确认即构成 quorum——总延迟近似一个 RTT,与节点数无关,只与最慢的确认路径有关。5 节点集群需要 leader + 2 个 follower 确认(quorum 3),消息量是 4 发 4 收,其中 2 条响应构成 quorum。这也是 Raft 相对两阶段协议(Basic Paxos 的 Prepare/Promise + Accept/Accepted 两轮)的延迟优势:固定 leader 后一次写只需一轮往返,上一章 raftRoundsToCommit 返回 1 就来自这里。
吞吐的瓶颈通常在 leader 一侧:每条日志都要先 fsync 落盘(WAL),再广播。etcd 生产里 100ms 心跳、1s 选举超时下,单 leader 的写吞吐由磁盘 fsync 时延和网络 RTT 共同决定;K8s 控制面写入大多是低频小对象,这个量级绰绰有余。而一旦 leader 磁盘变慢、fsync 拉长,心跳本身也会被拖慢,间接逼近 follower 的选举超时——这就是 5.3 提过的「慢盘引发切主」的数据面根源。
量级上做一个可复算的估算:现代 NVMe 盘 fsync 时延约 0.1–0.5ms,一次 3 节点集群的写延迟下限约一个 RTT(内网 0.5–2ms);若 fsync 变慢到 10ms,单 leader 的写吞吐就从每秒数千笔掉到每笔至少要等一个 fsync 周期,吞吐下降一个数量级。这也是 15.2 要讲的「批量提交」为什么重要:把多条命令攒进一条 AppendEntries 一起 fsync,摊薄落盘成本。K8s 控制面写入频率低、单条小,批量的收益主要在高峰期的 controller-manager 风暴下体现——每条写都走完整一轮 AppendEntries 往返,批量能把同一 fsync 上的多条日志合并成一轮。
本节 lab
本节的 lab 是 TestAppendEntriesReplicatesLog。它构造 3 节点集群选出 leader,让 leader 追加 3 条命令 set:a=1 / set:b=2 / set:c=3,运行 300 步直到所有节点 commit 到达末尾,然后断言三点:
- leader 在复制完成后依然存在(
Leader() != nil)——心跳维持了领导权,复制过程没有触发新的选举; - 3 个节点的日志都恰好是 3 条——AppendEntries 把 leader 的日志复制到了全部 follower;
- 每个节点状态机里
set:c=3都已应用——复制不仅到日志,还到了状态机。
cd private/labs/k8s-etcd-lab
go test ./raft -run TestAppendEntriesReplicatesLog -v
把测试与 broadcastAppendEntries 对着读:3 个节点里,进度落后的 follower 在追日志期间收到带 Entries 的 AppendEntries,追平后下一轮就只剩心跳;测试的「3 节点日志全为 3 条 + leader 仍存活」同时验证了这两者——日志复制成功(带条目消息生效)与心跳维持(leader 活性保持)。helper 函数 leaderCommitting 里循环终止条件是「所有节点 CommitIndex 到达 leader 日志末尾」,这正是心跳携带 LeaderCommit、提交逐步传播到位的结果。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。