《Kubernetes 分布式系统原理深入解析》14.3 磁盘故障、fsync 延时与稳定性边界

磁盘故障分两类:WAL 未 fsync 断电丢数据,fsync 变慢拖慢提交路径。慢 follower 只拖慢自己,commit 只等多数派;慢 leader 拖慢心跳逼近选举超时触发切主。lab 用 TestSlowFollowerFsyncDragsCommit 验证 3 节点多数派照常提交、慢 follower 恢复后追平并应用。

14.3 磁盘故障、fsync 延时与稳定性边界

14.2 节处理的是「断网」——节点之间的消息不可达。本节换一种更隐蔽的故障:节点还活着、网络也通,但磁盘变慢。etcd 是强一致状态机,写路径上每个成员的 WAL 都要 fsync;磁盘延迟一旦抖动,拖慢的不只是某一条链路,而是提交路径本身。理解慢盘要区分两件事:磁盘故障的两种影响(丢数据 vs 慢),以及慢盘发生在 leader 还是 follower 上——前者威胁稳定性,后者只是单成员掉队。

磁盘故障的两副面孔

  • 数据丢失:日志还没 fsync 到持久介质就断电或介质损坏,重启后该段日志不复存在。这是正确性问题——如果一条日志已被确认「已提交」而实际上没落盘,断电后就违约了。
  • 性能劣化:磁盘还在,但 fsync 延迟飙升(IO 队列积压、云盘被邻居抢占、RAID 重建、硬件告警降速)。这不直接丢数据,但把提交路径拖慢,是本节的重点。

两类影响的处置路径完全不同:丢数据要靠 WAL 落盘纪律和备份恢复(第 15.1 节);性能劣化要靠「理解慢盘怎么传导」并在它拖垮稳定性之前观测到。本节讲后者——因为 fsync 变慢造成的集群不稳定,在 etcd 生产事故里远比整盘丢失常见。

fsync 在写路径上的角色

etcd 用 WAL(write-ahead log,预写日志)保证日志先于状态落盘:

  1. Leader 收到 Put,追加一条日志到自己的 WAL,fsync 完成才把它放进可广播的内存日志;
  2. 广播 AppendEntries 给 followers;
  3. follower 收到后同样追加自己的 WAL 并 fsync,完成后才回 AppendEntriesResponse;
  4. Leader 数多数派(含自己)确认,推进 commit;
  5. commit 后的日志 apply 到状态机,才向客户端返回成功。

fsync 是这条路径上「不可省略的停顿」:它把「内存里改完了」和「断电后还在」区分开。也正是它决定了慢盘的传导方式——fsync 慢的节点,处理日志写入和心跳响应的周期一起变慢,因为它必须先等自己落盘。

注意一个不对称:etcd 的确认语义里,follower 只有完成自己的 WAL fsync 才会回 AppendEntriesResponse,leader 也只有自己的日志 fsync 完才会把条目放进广播。所以「已提交」在 etcd 里等价于「至少 q 份 WAL 已 fsync」——这正是 14.1 节「提交需多数派确认」在磁盘维度上的落地:多数派不只是「收到」,而是「落盘」。

慢 follower:只拖慢自己,不拖慢集群

lab 的 TestSlowFollowerFsyncDragsCommit 展示了关键结论:commit 推进只取决于多数派确认,不取决于最慢者。

场景是 3 节点集群(q=2),慢 follower 因为「fsync 挂起」被模拟成与 leader 双向不可达——它收不到心跳、leader 也收不到它的确认。此时:

  • leader + 健康 follower = 2 个 = 多数派,追加 set:k=v 后照常提交;
  • 慢 follower 是否响应完全不参与本次提交,commit 只等多数派;
  • 移除分区(磁盘恢复)后,慢 follower 通过日志复制追平,set:k=v 最终 apply 到它的状态机。

推论是系统性的:活性不依赖最慢成员。只要多数派确认够快,个别 follower 慢到挂起也不拖整体吞吐——这恰是 quorum 的意义所在。反过来,如果你把多数派都拖慢,那才叫整体慢。运维上因此可以把「单 follower 落后」当作可容忍信号,只要它没把多数派拖下水。

这个结论有一个前提值得点明:多数派必须真的快。如果 5 节点集群里 3 个成员恰好都在同一块慢盘上(比如都跑在同一宿主、共享 IO),那「多数派慢」就成了整体慢。慢 follower 的「无害」成立在故障域足够分散的前提下——这正是把 etcd 成员分散到不同节点、不同可用区的意义。

慢 leader:心跳被拖慢,逼近选举超时

慢 leader 是更危险的形态。leader 的每条写都要先 fsync 自己的 WAL 才广播,fsync 慢 → leader 处理请求慢 → 心跳广播被拖慢。而 follower 的选举超时是按「心跳间隔 × 若干倍」计的:3 节点 etcd 默认 heartbeat 100ms、选举超时约 1000ms;心跳若因 fsync 抖动被拖到接近超时量级,follower 就会在收到下一条心跳前超时,发起竞选。

于是慢 leader 触发第 5.1/5.3 节的切主链:follower 超时 → 竞选 → 新 leader → 提交 no-op 确立任期 → 旧 leader 排空。频繁切主比一次慢写更伤:每次切主都有选举窗口、有 leader 交接、有短暂的写不可用窗口。所以运维口径是「leader 慢 → 可能切主 → 稳定性恶化」,而「follower 慢 → 只是单成员掉队」。

把「慢 leader 触发切主」再放大看:新 leader 很可能就在健康的 follower 里产生,于是慢盘节点被「边缘化」成 follower——这听起来像自动恢复,但如果慢盘节点又参与选举、又反复当上 leader,集群就会在「慢 leader → 切主 → 新 leader 正常 → 慢盘节点再次超时竞选」之间震荡。这就是磁盘抖动酿成的「不稳定」,而不是一次干净的故障转移。

这一不对称也解释了 etcd 为什么强调独立、低延迟、稳定的磁盘:leader 的 fsync 延迟直接进提交路径,是控制面整体延迟的上游。

稳定性边界与运维观测

把「慢盘」放进稳定性框架:Raft 的活性依赖「心跳周期 « 选举超时」。磁盘延迟的抖动若把 leader 的心跳周期拉进超时窗口,集群就从稳定区滑入不稳定区——不是故障,而是概率性地触发切主。因此「稳定性边界」可以量化观测:

观测项指标慢盘时的表现
WAL fsync 时延etcd_disk_wal_fsync_duration_seconds(直方图)P99 从亚毫秒/几毫秒飙到几百毫秒
后端提交时延etcd_disk_backend_commit_duration_secondscommit 周期被拉长
leader 变更频率etcd_server_leader_changes_seen_total(计数器)短期内跳变 = 不稳定最直接信号
follower 落后度raft MatchIndex 差距、触发快照次数慢 follower 长期追不平、反复触发快照

这些指标组合起来能区分「单成员掉队」与「集群不稳定」:前者只表现为某个 follower 的 fsync P99 高、MatchIndex 落后,但 leader 变更计数不动;后者表现为 leader 变更计数短期跳变——那时慢盘已经越过稳定性边界,需要立即介入。

处理手段按根因分层:给 etcd 独立磁盘并预留 IOPS(不与同宿主其他负载抢占);用本地 NVMe/SSD 而非高延迟共享存储;监测上述指标,P99 持续抬升时在切主发生前定位;必要时把 etcd 隔离到专用节点,避免 CPU 抢占、GC 停顿与磁盘 IO 争抢叠加成「假死」。第 15.2 节会从性能角度再展开 fsync、RTT 与批量提交的调优。

慢盘的典型成因

fsync 变慢极少是「磁盘坏了」的直接信号,更多是资源竞争:

  • IO 队列积压:突发写把磁盘队列打满,fsync 要排在队列尾,等待时间被拉长;
  • 云盘邻居抢占:共享型云盘的 IOPS/带宽被同宿主或同租户的其他实例争走,P99 剧烈抖动;
  • RAID 重建 / 坏块重映射:盘在后台做维护时,正常 IO 被插队;
  • CPU/GC 争抢:同宿主其他 Pod 抢占 CPU,etcd 线程得不到调度,fsync 提交动作被延迟——严格说是调度延迟,但现象与慢盘相同。

这些成因的共性是「瞬时而非持续」:慢盘故障往往是间歇性抖一阵、再恢复一阵。间歇性抖动比持续慢更危险,因为它不易被「平均延迟」类告警捕获,却最容易触发选举超时——正好落在上一节讲的稳定性边界上。

落盘纪律:批量提交与 fsync 频率

磁盘慢时,写路径的性能与稳定性并非只能被动承受,etcd 的写路径本身有调节空间:

  • 批量提交:把一段窗口内的多条写合并成一次 WAL append + 一次 fsync,摊薄 fsync 的固定开销。fsync 延迟高时,批越大,单条写分摊的等待越小。
  • 批量与延迟尾部的权衡:但 batch 过大会拉长单次落盘时间、推高写延迟尾部;batch 过小则每次写的 fsync 开销占比高。生产调优就是在两者之间找拐点。
  • 与多数派的交互:批量提交只影响 leader 侧「多少条写共享一次 fsync」,不影响「要等几份确认」——后者仍由 14.1 节的 quorum 决定。两者正交:quorum 决定正确性门槛,batch 决定单次落盘的成本摊薄。

第 15.2 节会从性能角度再展开 fsync、RTT 与批量提交的定量调优;这里只需建立判断:慢盘下先看 batch 与 fsync 频率,再看磁盘本身。

故障域设计:让多数派远离同一块慢盘

本节最容易被忽略的工程推论是故障域设计——多数派不能在同一个「慢盘源」上:

  • 如果 3 个 etcd 成员都在同一宿主的同一块磁盘上,一次磁盘故障或一次邻居 IO 抢占,就同时拖慢整个多数派——「慢 follower 不拖慢集群」的前提被打破;
  • 云环境里至少做到成员分散到不同物理机;同可用区内用独立本地 NVMe 而非共享云盘;跨可用区部署时(2+2+1),多数派天然跨区,单区磁盘抖动不会拖慢多数派;
  • K8s 部署 etcd 时应使用独立的 StatefulSet/静态 Pod、独立 hostPath/本地卷,并设置 CPU 与 IO 隔离(cgroup 与 IO 权重),避免与业务 Pod 争抢。

「多数派要快」与「多数派要分散」是一体两面:前者是活性条件,后者是让活性条件在真实故障下成立的部署前提。

慢 leader 的渐进表现:从延迟到切主

慢 leader 不是一蹴而就的故障,而是一条可观测的渐进曲线:

阶段fsync 表现集群表现观测信号
潜伏期单次 fsync 偶发变慢写延迟尾部抬升,无切主WAL fsync P99 可见
积累期fsync 变慢持续心跳间隔拉大,接近超时P99 持续高位、提交延迟上升
临界期心跳间隔逼近选举超时follower 偶发超时发起竞选leader 变更计数开始增长
切主期—选举触发,写不可用窗口出现leader 变更计数跳变

运维的价值在于把「潜伏期」和「积累期」的观测变成行动:P99 抬升就排查,而不是等 leader 变更计数跳变再救火。这也是上一节观测指标的意义——每个指标都对应这条渐进曲线的某一阶段,越早的阶段越便宜。

磁盘慢与网络分区的协议等价性

本节开头说「节点还活着、网络也通,但磁盘变慢」,而 lab 用「隔离」模拟 fsync 挂起——这两者为什么能互相模拟?因为在协议层面它们等价:

  • 一个 fsync 挂起的 follower,长时间无法完成 WAL 落盘,也就无法回 AppendEntriesResponse、无法响应新心跳——它对 leader 而言和「被网络切走」没有任何区别;
  • leader 不会去检查「follower 为什么没回我」,它只知道「确认没到、MatchIndex 没推进」,然后按多数派机制处理;
  • 恢复同理:磁盘恢复后 follower 能落盘了,立刻收到下一轮 AppendEntries 追平——和分区愈合后的行为完全一致。

所以慢盘、假死、断网在 Raft 协议里共享同一条处理路径:确认没到就按没到处理,多数派够就继续,不够就停摆。这是 14.1 节多数派设计最彻底的体现——它把各种千奇百怪的故障统一成「确认票数」这一个维度。

慢盘对读写的影响不对称

fsync 只出现在写路径上,读路径没有 fsync——ReadIndex 确认走心跳,心跳不需要落盘。所以慢盘对读写的影响是不对称的:

  • 写:每条写都要等自己的 WAL fsync,慢盘直接推高写延迟、拉长确认周期,进而拉长多数派确认的等待;
  • 读:串行化读直接读内存 mvcc,不受磁盘影响;线性一致读多一次多数派确认,但确认走心跳,也不强制 fsync;
  • 间接影响:apply 阶段要写 backend(bbolt),bbolt 的批量 commit 带 fsync——混合负载下慢盘仍会通过写放大间接触及读延迟,但量级远小于写路径。

这个不对称是运维判断的捷径:如果集群「写慢、读不慢」,大概率是磁盘/fsync 问题;如果「读写都慢」,可能还叠加了网络或 CPU 问题,排查时不要只盯着磁盘。

本节小结

  • 磁盘故障两类影响:WAL 未 fsync 断电丢数据(正确性),fsync 变慢拖慢提交路径(活性);
  • 写路径上日志必须先 fsync 再广播,fsync 是慢盘的传导点;
  • 慢 follower 只拖慢自己,commit 只等多数派——活性不依赖最慢者;
  • 慢 leader 拖慢心跳,逼近选举超时触发切主,威胁稳定性;
  • 观测 WAL fsync 时延与 leader 变更频率,把磁盘抖动量化成稳定性边界。

至此,第一章的「故障三态」在 quorum 视角下全部过了一遍:节点故障由 2f+1 吸收,网络分区由多数派仲裁,磁盘慢则只拖慢掉队者——前提是它不在多数派里。

本节 lab

本节 lab 验证「慢 follower 拖慢不了多数派提交」:

  • private/labs/k8s-etcd-lab/raft/quorum_test.go 的 TestSlowFollowerFsyncDragsCommit:3 节点集群,隔离(模拟 fsync 挂起)慢 follower 与 leader 的双向通信,多数派照常提交,恢复后慢 follower 追平并应用。

运行命令:

cd private/labs/k8s-etcd-lab
go test ./raft -run TestSlowFollowerFsyncDragsCommit -v

预期断言:

  • 3 节点先选出 Leader,慢 follower 取非 leader 的那个节点(leader 为 1 号时取 2 号,否则取 1 号);
  • 隔离慢 follower 与 leader 双向通信(等价于该 follower fsync 挂起、收发全断)后,leader 追加 set:k=v,3 节点多数派 = 2,leader + 健康 follower 确认即提交,commitIndex 推进到日志末尾——慢 follower 不参与本次提交;
  • 解除隔离后,慢 follower 日志长度追平 leader、CommitIndex 追到日志末尾,且状态机中出现 set:k=v——fsync 延时只拖慢单成员,不破坏安全与活性。

测试里「慢 follower 与 leader 双向隔离」正是 fsync 挂起的极端抽象:一个 fsync 慢到极致、长时间无法完成 WAL 落盘的 follower,既收不到新心跳,也回不了确认——和网络隔离在协议层面完全等价。恢复即解除隔离,follower 靠下一轮 AppendEntries 把差距日志补齐并 apply,对应真实世界磁盘恢复后的自愈。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图