10.1 为什么读也需要共识
第 4 章到第 9 章,我们围绕「写」把 Raft 讲完了:日志复制、提交、快照、成员变更,全部服务于一个目标——让每个写请求被多数派确认,再应用到每个节点的状态机。但「读」呢?到目前为止,读路径几乎没有被设计过:似乎读请求到了任意一个节点,直接查它的本地状态机就可以返回。
很多系统确实这么干:写走 Leader,读打给 follower,或者「主写、从读」。在单机数据库里这没问题,在 Raft 集群里却是一个需要立刻修正的直觉。本节回答三个问题:为什么「只写走共识、读直接本机读」不可行;读旧数据在 K8s 里会造成什么实际危害;把读也变成线性一致有哪三个选项,以及为什么完整共识读这条路不可取。
复制是异步的:follower 本机读天然滞后
Raft 的复制是异步的。Leader 把日志广播给 follower,follower 依次做三件事:把日志追加到本地、推进自己的 commitIndex、把 (ApplyIndex, CommitIndex] 区间的日志应用到状态机。这三步之间隔着消息投递延迟、磁盘写入和 fsync。
于是 follower 的 commitIndex 恒小于等于 Leader 的 commitIndex,follower 的状态机在任何一个时刻都可能比 Leader 旧。读者对 follower 发一次读,看到什么完全取决于「那条写日志恰好复制到哪一步」——可能已经 apply,也可能还没到。这不是极端情况,而是每条消息都有的固有延迟。
这里要反驳一个常见直觉:「读 follower 只是稍微旧一点点,无所谓」。问题是 follower 自己并不知道自己落后多少——commitIndex 是它观察到的局部事实,而提交是 Leader 在多数派确认后才做的决定。follower 只能保证「已提交的日志不会缺」,却无法保证「自己已经 apply 到 Leader 的最新提交点」。读者以为读的是「接近最新的状态」,实际拿到的是「某个时间点的快照」,而这个时间点不可控。
举一个具体的例子。3 节点集群,Leader 收到 set:k=v2 这条写。它把日志追加到本地、广播给 follower,follower 收到后各自 apply。如果客户端恰好在「Leader 已提交、但 follower 还没 apply」的窗口里对 follower 发读,它拿到的是 k 的旧值 v1——写入已经成功返回了(多数派已确认),读的人却看不到。这正是「写已提交、读看不到」的线性化违反。
读者可能会想:「那我读 Leader 总行了吧?」Leader 自己也要先把 applyIndex 推进到 commitIndex,才能返回与边界一致的状态;如果 apply 还滞后于 commit,Leader 本机读到的同样是未 apply 的旧值。所以问题不只属于 follower,而是整个「本机读」路径都缺少「读之前确认边界」的步骤。
更危险的旧 Leader:本机状态已过期却仍响应读
follower 滞后至少暴露在明处:读者知道自己在读副本。真正危险的是旧 Leader。考虑 3 节点集群的完整时间线:
| 时刻 | 事件 | A 的 commitIndex | B 的 commitIndex |
|---|---|---|---|
| T1 | A 是 Leader,B、C 是 follower | 10 | 10 |
| T2 | A 与 B、C 分区 | 10(停住) | 10 |
| T3 | B、C 选出 B 为新 Leader(任期 T2) | 10 | 10 |
| T4 | B 在 T2 提交写,推进 commit | 10 | 15 |
分区发生后,旧 Leader A 收不到 T2 任期的新消息,仍然认为自己是 T1 任期的 Leader。它的 commitIndex 停在 10,而新 Leader B 已经推进到 15。此刻客户端向 A 发读请求,A 会立刻用本地状态机响应——它没有任何理由拒绝,因为它「不知道」自己已经失位。但 A 看到的 commitIndex 停留在分区那一刻,B 在 T4 提交的写一概没有。这就是 stale read 的最危险形态:客户端以为在读权威 Leader,实际在读一个过期快照。
Raft 的选举机制(第 5 章)保证「写」不会出错:新 Leader 上任时日志必然包含全部已提交条目,候选人的任期检查、多数派确认都在写路径上把关。但「读」天然绕过了这套机制——本机读不需要跟任何人打招呼。
写有共识保护,读没有
把写和读并排看,差异非常清楚:
| 环节 | 写路径 | 本机读路径 |
|---|---|---|
| 是否检查任期 | 是(过任期请求被拒) | 否(旧 Leader 照样响应) |
| 是否广播 | 是(复制到多数派) | 否(只查本机) |
| 是否等确认 | 是(多数派确认才提交) | 否(读到就返回) |
| 能否保证最新 | 总是(提交=多数派已持有) | 不保证(本机可能落后) |
有一个常见的错误补救是「让 follower 把读转发给 Leader」。转发解决了「follower 状态旧」的问题,但没解决「旧 Leader 失效」的问题——被分区的旧 Leader 收到转发来的读,一样会拿过期 commitIndex 响应。所以转发不是线性一致读,真正的解法仍然是边界 + 有效性确认。
所以「写走共识、读直接本机读」的不对称不是实现偷懒,而是协议设计留下的漏洞:写被共识保护着,读裸奔。读要想和写一样可信,就必须在读路径上补上「检查任期 + 确认 Leader 有效性」这两个动作——这正是下一节 ReadIndex 干的事。
读边界:commitIndex 为什么能当边界
要把读变成线性一致,先要定义「读到多新算合格」。Raft 里这个定义是现成的:commitIndex。
commitIndex 是「已知已被多数派提交」的日志位置,它有三个关键性质:
- 单调:只前进,不回退;
- 已提交:commitIndex 之前的日志一定被多数派持有,未来任何 Leader 都包含它们,不会被覆盖;
- 可判定:Leader 可以立刻说出自己的 commitIndex,不需要询问任何人。
于是「读返回包含 commitIndex 之前全部提交的状态」就是线性一致读——它保证读到的值不早于任何已提交的写。读边界 = commitIndex,这是 ReadIndex 算法的支点。10.1 节那张旧 Leader 时间线里,A 的病根正是它的 commitIndex 停在了 10,却拿这个过期边界去响应读。
注意边界和「状态机 apply 位置」(applyIndex)是两个概念:commitIndex 是「该看到多新」,applyIndex 是「实际 apply 到多新」。读状态机之前,必须先把 applyIndex 追平到 commitIndex,否则本地状态机本身就不够新——这一层细节在下一节会回到。
读旧数据的实际危害:K8s 里会发生什么
把 stale read 放进 Kubernetes,危害是具体且可见的:
- 读到已删除的对象,删除被反复撤销。Deployment 控制器按「期望状态 − 实际状态」调谐。如果某次读返回一个已被删除 Deployment 的旧副本,控制器判定「期望存在但实际没有」,于是重建它。删除请求明明成功了,对象却像僵尸一样反复出现。
- 错误决策。调度器读到过期的节点资源快照,可能把 Pod 调度到磁盘已满或已下线的节点;HPA 读到旧的副本数指标,可能错误地缩容;配额控制器读到过期的用量统计,可能放行超出配额的请求。
- 把已作废的凭据当有效。读到已撤销的 RBAC 绑定或已轮换的 Secret 旧值,等于让早已失去授权的身份继续生效。
- 删不掉的 Namespace。namespace 终结器依赖「读到资源确实清空」才移除,如果读路径返回旧值、以为子资源还在,namespace 会永久卡在 Terminating——这是 K8s 里「旧读」最典型的事故形态之一。
这些危害的共同结构是:写路径已经前进了,读路径却把时间拨回。线性一致读要消除的正是「读落后于写」的窗口——任何读到旧值的响应都不应该被当作权威答案返回。
把读也变成线性一致:三个选项
要让读和写一样线性一致,理论上可以直接把读也走共识。工程上有三个档位:
| 方案 | 是否写日志 | 额外往返 | 时钟依赖 | 核心代价 |
|---|---|---|---|---|
| 完整共识读 | 是 | 完整复制 + 确认 | 无 | 写放大、日志爆炸 |
| ReadIndex | 否 | 一次多数派确认 | 无 | 每读多一次心跳往返 |
| Lease Read | 否 | 零(租约期内) | 有 | 时钟漂移风险 |
先看三个方案的一个共同前提:它们都要求「读从 Leader 上发出去」。follower 的本地读天然不具备线性一致的资格——follower 的 commitIndex 落后于 Leader,且 follower 无法独立判断自己是不是最新。所以三种方案本质上是「如何在 Leader 上做读」,而不是「让任意节点都能线性一致读」。
- 走完整共识:把读请求当成一条特殊日志 Append 进 Raft 日志,等它被多数派确认提交后,以它的日志下标为边界读状态机。语义最干净,但代价最大——下面单独展开。
- ReadIndex(读索引):Leader 记下当前 commitIndex 作为读边界,向多数派确认自己仍是 Leader,然后以该边界读本地状态机。不写任何日志条目。下一节展开四步算法。
- Lease Read(租约读):Leader 在被多数派确认后持有基于时钟的租约,租约期内认为自己不会失位,跳过多数派确认直接本地读。省掉一次往返,但把正确性押在时钟上。
三个选项的取舍本质上是拿「写路径的成本」换「读路径的信任」。完整共识读用最高的写路径成本换最纯粹的语义;ReadIndex 用一次确认把成本压低到心跳粒度;Lease Read 再赌一次时钟把成本压到零。越往下,读的延迟越低,但正确性所依赖的假设越强。下一节会给出 ReadIndex 与 Lease Read 的完整算法与边界条件。
完整共识读的代价:写放大与日志爆炸
为什么「读也走日志」在工程上不可接受?三个冲击:
- 写放大。读请求进入日志后要走与写完全相同的路径:Leader 追加日志、广播给多数派、等确认、提交、apply。每次读都触发一轮 fsync 和一轮多数派往返。读吞吐被硬生生压到写路径的通道上——而写路径恰恰是整个系统最贵的部分。
- 日志爆炸。生产里读远多于写。每读一条日志,日志条数随 QPS 线性增长,快照压缩也救不回来:压缩有代价,而且压缩掉的是「已提交」日志,读日志挤占的正是这个空间。读量一旦上来,磁盘和复制带宽立刻告急。
- 复制压力。follower 要处理与写同样多的 AppendEntries。把读导进日志,等于让集群的网络和磁盘 IO 翻倍,而收益为零——读并没有产生需要持久化的新状态。
做一个粗略的量级推演。设一个 3 节点集群,单次写要经历「Leader fsync + 广播 + 多数派 fsync + 确认」,写吞吐上限假设为 1 万 QPS。如果读也走日志,每笔读都要吃掉一次写路径的配额——读请求会被压到同样的 1 万上限。而实际生产里 etcd 的读 QPS 往往是写的几十倍。读路径一旦共享写路径的管道,系统的整体吞吐会塌方式下降。这也是「读=写」方案只能作为理论参照的原因。
用数字感受一下:etcd 的写吞吐受 fsync 与 quorum 往返限制,通常比读低一个数量级。如果读也走日志,读吞吐会瞬间被 fsync 瓶颈卡死。这就是 etcd 选择 ReadIndex 而非「读走日志」的根本原因。
线性一致读在 Raft 里的位置
读在 Raft 论文里不是主角,但它的位置很清晰:Raft 的复制保证「所有已提交状态在每个节点最终一致」,线性一致读要求「读到的必须是已提交状态」。于是线性一致读 = 复制保证 + 一个额外的「确认」。ReadIndex 就是把这个额外确认做得最轻的做法——它不需要修改复制机制,只需要在读到之前确认「边界」和「身份」。
这也解释了为什么 etcd 把线性一致读做成默认而不是可选特性:它本来就是状态机复制承诺的一部分。K8s 依赖 etcd 线性一致读来保证「写后立即可见」,如果读降级成本机读,状态机复制的语义就塌了一半——控制器会基于过期状态调谐,调度器会基于过期节点信息做决策,整个控制面的一致性地基都会松动。
etcd 为什么必须支持线性一致读
Kubernetes 把整个集群的状态——对象、资源、绑定、租约——都放进 etcd,控制面的每个组件都在围绕 etcd 做决策。这些决策有一个共性:读到的必须是多数派已确认的最新状态。
- apiserver 写入后,控制器必须立刻能看到这次写,否则调谐循环基于旧状态运行;
- 调度器在绑定 Pod 前,要基于最新节点状态做决策;
- 卷二会讲到控制器 Leader 选举,它读到的租约状态必须是新的。
如果 etcd 只有「本机读」,K8s 的一致性地基就塌了。所以 etcd v3 把线性一致读做成默认:RangeRequest.serializable 默认是 false,即 Range 请求默认线性一致;串行化本机读是显式选项,需要 clientv3.WithSerializable() 或 etcdctl --consistency=s 才开启。apiserver 直连 etcd 的 KV.Get 没有传 serializable 选项,走的正是默认的线性一致读。下一节会详细展开 etcd 各读模式。
与 2.2 节线性一致定义的衔接
第 2 章 2.2 节给出线性一致的定义:所有操作看起来像在某一全局顺序上瞬间完成,且读返回「不早于读发起时刻」的最新已提交值。当时我们用 consistency 包验证了两件事:线性一致下写完成后立即读必见最新(TestLinearizableReadLatest);最终一致存在一个旧读窗口、随后收敛(TestEventualStaleReadWindow)。
本节到下一节要解决的工程问题,是把 2.2 节的「全局单一历史」落到 Raft 上,同时不把每条读都变成日志。答案就是 ReadIndex:它把线性一致的保证拆成「commitIndex 边界」和「多数派确认 Leader 有效性」两个可操作的动作。线性一致是目标,ReadIndex 是手段,Lease Read 是手段的进一步优化——三者都服务于同一个目标:读到的必须是多数派已确认的最新状态。
把这条链补完整:2.2 节给定义,2.3 节给成本(一致性不是免费的,线性一致需要多数派参与),本节给机制。三节合起来回答「什么是一致性、为什么要它、怎么实现它」。下一节就从 ReadIndex 的四步算法开始,把它展开到可以逐行对照 etcd 源码的程度。
本节小结
把本节的因果链收拢成一条:
- Raft 的复制是异步的,任何节点的本机状态都可能落后;
- 落后的节点,尤其是被分区的旧 Leader,会把过期状态当权威返回——stale read;
- stale read 在 K8s 里表现为删除被撤销、调度到坏节点、凭据失效仍生效、namespace 卡死在 Terminating;
- 要消除它,读必须补上「边界 + 有效性」两个动作;
- 三个方案里,完整共识读的写放大与日志爆炸不可接受,ReadIndex 与 Lease Read 留到下一节展开。
下一节给出 ReadIndex 的四步算法、Lease Read 的时钟租约,以及 etcd 的默认读路径。
本节 lab
lab 里 raft/sim.go 的 MsgReadIndex 处理演示了读边界的核心动作:节点收到 ReadIndex 请求,如果自己是 Leader,就把当前 CommitIndex 塞进响应返回;不是 Leader 则不响应。raft/node.go 的 maybeCommit 定义了 commitIndex 的推进规则——只有当前任期的日志被多数派确认才提交,未提交的日志不参与读边界。
测试 TestLinearizableReadIndex(private/labs/k8s-etcd-lab/raft/replication_test.go)验证这条链路:
cd private/labs/k8s-etcd-lab
go test ./raft -run TestLinearizableReadIndex -v
预期断言:
- 3 节点集群先提交一条
set:a=1,commitIndex 推进到 0; - 向 Leader 发一条
MsgReadIndex,运行一步; - Leader 返回 ReadIndex 响应,
LeaderCommit等于当前 commitIndex(0),即线性一致读的边界; - 响应只携带已提交的日志位置——未提交的日志不会进入读边界。
对照 sim.go 的 MsgReadIndex 分支与 node.go 的 maybeCommit,可以看到「读边界 = Leader 的 commitIndex」这条等式的两端:maybeCommit 负责把 commitIndex 推进到多数派确认的位置,MsgReadIndex 负责把这个位置作为读边界返回给读者。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。