15.2 性能瓶颈:fsync、RTT、WAL 与批量提交
第 14.3 节用慢盘实验证明了一个结论:单成员 fsync 挂起只拖慢它自己,多数派照常提交,安全性不被破坏。本节把延迟放大来看——性能问题本质是延迟预算问题。etcd 的一次线性一致写,延迟由两块预算组成:本地 WAL 落盘(磁盘预算)与多数派确认(网络预算)。瓶颈不在磁盘就在网络,工程手段也是围绕这两块预算展开的:批量提交摊薄 fsync,参数随网络尺度放大。
写路径的延迟构成:两块独立预算
一次写请求在 etcd 里的旅程,延迟可以精确拆成两段:
- 本地段(Leader 侧):把日志条目追加到 WAL,并 fsync 落盘——在 Leader 发出 AppendEntries 之前完成;
- 网络段:AppendEntries 广播到 follower,follower 各自 fsync,响应回到 Leader,Leader 凑齐多数派确认——然后才回复客户端。
客户端 ──Put──> Leader: 追加 WAL + fsync(磁盘预算)
│
├─AppendEntries──> follower fsync──> 确认
└─AppendEntries──> follower fsync──> 确认(凑齐多数)
Leader 计数多数派──> 回复客户端(网络预算 = 一轮多数派往返)
简化成公式:单写延迟 ≈ Leader fsync + 一轮多数派 RTT + max(follower fsync)。两块预算互相独立:磁盘慢,网络再快也救不了;网络跨机房,本地 fsync 再快也被网络卡住。判断瓶颈在哪,只看哪一项在这个部署里更大。
一个同机房的 3 节点 etcd(NVMe + 0.3ms RTT)可以这样估算单写延迟:Leader fsync 约 0.5ms,一轮多数派 RTT 约 0.3ms,follower fsync 与 Leader 并行、取多数里较慢的一个约 0.5ms——加起来约 1.3ms。跨可用区(RTT 3ms)时,同样代码的写延迟变成 0.5 + 3 + 0.5 ≈ 4ms。磁盘预算不变,网络预算翻十倍,延迟就翻三倍——所以同样的代码在不同部署形态下性能表现完全不同,先量两块预算,再谈调优。
fsync:单成员写延迟的物理下限
WAL 的每条已提交记录,在确认之前必须 fsync 落盘——这是断电安全的最低要求,也是 14.3 节慢盘故事的根源。fsync 之所以贵,是因为它要等数据真正刷到稳定存储,不能靠内核页缓存糊弄。
典型量级(真实磁盘,非缓存):
| 存储 | 单次 fsync 典型耗时 |
|---|---|
| NVMe SSD | 0.1–1 ms |
| SATA SSD | 1–3 ms |
| 网络/云盘(高负载) | 5–20 ms 甚至更高 |
fsync 是单成员写延迟的物理下限:无论网络优化得多好,Leader 的本地写不可能快过一次 fsync。这也解释了为什么 etcd 官方建议 etcd 跑在本地 NVMe 而不是共享网络盘上——网络盘把下限抬高到毫秒级甚至十毫秒级,写延迟就整体跟着涨。
还要理解为什么 fsync 落在 WAL 而不是后端库上:后端库(bbolt)只在提交时批量写一次,而 WAL 记录的是「已确认但可能还没落库」的日志——断电后靠 WAL 重放把库补到一致。所以每次写都必须先确认 WAL 已落盘,这是「确认即持久」的唯一依据;库的落盘反而可以在自己的批量窗口内拖一拖(后端提交有自己的批量机制)。把 fsync 放在一条小而快的 WAL 上,是用最小的每次开销换「每条确认都安全」。
fsync 的失败还有一层容错含义,正好衔接 14.3 节:WAL 写不进去时,成员不能把这条写入当作已确认——它要么返回失败让客户端重试,要么该成员保持落后、由多数派继续推进。fsync 在这里既是性能下限,也是持久性的守门员:确认过的条目一定在盘上,盘上没有的条目一定没有确认过。这条「确认 ⇔ 落盘」的双向约束,是 WAL 设计里最值得记的一条。
批量提交:用一次 fsync 摊薄多次写
如果每次写都触发一次 fsync,fsync 的固定成本就反复成为瓶颈。批量提交的思路是:攒一批写,做一次 WAL 追加 + 一次 fsync,把固定成本摊到多笔写上。
| 模式 | 每批笔数 | fsync 次数 | 单笔平均 fsync 成本 |
|---|---|---|---|
| 逐笔提交 | 1 | N | 每次一个完整 fsync |
| 批量提交 | B | N/B | 摊薄到 1/B |
etcd 的批量提交有两类触发:条目数或字节数攒够一个阈值,或一个时间窗口到点。写压力越高,批次越容易被填满,fsync 摊得越薄——所以高 QPS 下 etcd 的写吞吐能远高于「每次写都 fsync」的直觉。
代价在延迟侧:进入一个批次的写,要等批次攒满或窗口到点才能落盘。假设窗口 5ms,第一笔写最多多等 5ms。这就是经典的吞吐 vs 延迟交换——用「首笔写的额外等待」换「所有写的 fsync 摊薄」。
用一个数字感受批量摊薄:假设 fsync 固定成本 1ms、单笔写处理 0.1ms。逐笔提交时,1000 笔写要 1000 次 fsync,总耗时 ≈ 1000 × 1.1ms = 1.1s;若 10 笔一档、攒够就刷,1000 笔只需 100 次 fsync,总耗时 ≈ 100 × 1ms + 1000 × 0.1ms = 0.2s——吞吐提升约 5 倍。代价是第一笔进档的写最多多等「攒满 10 笔」的时间;低 QPS 下档口长期攒不满,还要被时间窗口兜底。所以批量窗口越大越偏吞吐,越小越偏低延迟。etcd 在毫秒级窗口与千级条数阈值之间取平衡,正是这两端的折中。
批量提交在 etcd 里还有一层天然来源:Raft 层的 Ready 循环。Leader 在一个处理周期内收到的多条写,会一起放进同一个 Ready、一次性写进 WAL——客户端并发写入越密集,一个 Ready 里攒的条目越多,fsync 摊得越薄。所以 etcd 的批量不是「定时攒」,而是「Leader 收到什么、攒成一批、刷一次」:高并发下自动高批量,低并发下靠时间窗口兜底。理解这一点,就能解释为什么 etcd 的写吞吐曲线在并发升高时先陡峭上升、后趋于平缓——上升段是批量摊薄生效,平缓段是多数派往返与 fsync 下限逼近。
网络 RTT:跨机房写延迟的支配项
网络段的花费是一次多数派往返:Leader 发出去,等到凑齐多数(3 节点即 Leader + 1 个 follower)确认才回复。多数派确认至少要一轮往返,这是共识的物理成本——线性一致读也逃不掉这一轮(第 10.2 节 ReadIndex 就是在复用这轮确认)。
不同网络尺度的 RTT:
| 部署形态 | 典型 RTT | 写延迟量级 |
|---|---|---|
| 同机架 | 0.1–0.5 ms | fsync 主导 |
| 同可用区跨机架 | 0.5–2 ms | fsync + RTT 相当 |
| 跨可用区 | 1–5 ms | RTT 主导 |
| 跨区域 | 30–100+ ms | RTT 绝对主导 |
跨可用区部署时,写延迟从「本地 fsync 毫秒级」变成「跨区 RTT 毫秒级」,网络成了支配项。etcd 官方因此建议控制面 etcd 成员尽量落在同一个区域/可用区内——跨区部署虽能提高容错,代价是每一笔写都买一次跨区往返。
多数派确认的延迟还有一个精细性质:它等的不是「最慢的 follower」,而是第 ⌊n/2⌋+1 快的那一个——3 节点等第 2 快,5 节点等第 3 快:
| 节点数 | 需要确认数 | 写延迟取决于 |
|---|---|---|
| 3 | 2 | 第 2 快成员 |
| 5 | 3 | 第 3 快成员 |
单个 follower 卡住(比如 14.3 节的慢盘)时,只要它不是多数派里的那个临界成员,写延迟不受影响;但 5 节点里如果有 2 个变慢,第 3 快就变成慢的那个,写延迟整体抬升。这个「多数派中第 f+1 快」的视角,是把容错和性能放进同一张延迟账本的关键。
有人会问:多数派往返能不能省?答案在第 10.1 节——不能。写必须多数派确认是共识的定义,省掉往返就等于省掉共识:要么退化成单点写(失去容错),要么接受不同成员各自为政(失去线性一致)。所以「网络 RTT 是写延迟支配项」不是实现的缺陷,而是「一个写要由多个副本共同确认」的必然价格。etcd 能把价格压到「一轮往返」,已经是共识下的最优形态。
心跳间隔与选举超时的尺度匹配
第 5.1 节的心跳与第 5.3 节的选举超时,本质也是网络往返的预算问题。etcd 默认心跳约 100ms、选举超时约 1s(10 倍余量),这套默认值是按「同机房毫秒级 RTT」校准的。
心跳走网络:Leader 每个心跳周期发一次,follower 收到才刷新自己的选举超时。一旦 RTT 接近甚至超过心跳间隔,心跳会乱序或迟到,follower 的选举计时器反复逼近超时——于是出现 5.3 节讲过的假选举:集群没坏,却因为心跳不够快而不断重选。
所以参数必须随网络尺度放大:
| 部署 | 建议放大 | 代价 |
|---|---|---|
| 同机房 | 默认心跳/超时即可 | 无 |
| 跨可用区 | 心跳与超时按 RTT 倍数放大 | 故障发现变慢(MTTR 上升) |
放大换来稳定,代价是故障检测变迟钝:选举超时越长,Leader 真正死了之后集群察觉越慢。这是 5.1 节的随机化之外,选举参数的另一层权衡——它不在「正确性」里,而在「活性的及时性」里。
用数字看参数匹配:同机房 RTT 0.3ms,默认心跳 100ms、选举超时 1s,余量几十倍,心跳乱序概率极低;跨可用区 RTT 3ms,心跳余量仍有 30 倍,一般仍安全;跨区域 RTT 50ms,心跳余量只剩 2 倍,一次网络抖动就可能让心跳迟到、触发选举——这时必须显式放大:
| RTT 量级 | 建议心跳 | 建议选举超时 |
|---|---|---|
| < 1 ms | 默认 100 ms | 默认 1 s |
| ~ 5 ms | 200–500 ms | 2–5 s |
| ~ 50 ms | 1 s 级 | 5–10 s |
放大之后,心跳与选举超时的比例(10 倍左右)保持不变,余量重新回到安全区间。代价前面说过:Leader 真死后,集群察觉时间随超时线性变长。
放大参数要同时放大两处:心跳与选举超时。如果只把心跳间隔放大、选举超时不动,Leader 的心跳变得更稀疏,follower 反而更容易到期触发选举——超时没有跟着留出余量。反之只放超时、心跳不动,则故障发现变慢却换不来心跳稳定性。etcd 把两个参数暴露成 --heartbeat-interval 与 --election-timeout,就是要运维把它们成对调整、保持 10 倍余量的原因。
这里要强调心跳本身也是网络往返,和写路径共享网络预算。Leader 的每个心跳周期、每个 AppendEntries、每次 ReadIndex 确认,都在占用同一块网络带宽与延迟预算;网络拥塞时心跳、日志复制、租约续约会互相拖累——这不是三个独立问题,而是同一个网络账户的三笔开销。监控里「心跳延迟升高」往往和「写延迟升高」同时出现,原因就在这。
租约续约的 RTT 预算
租约(第 11.2 节挂 key、第 12.2 节 fencing token)的续约也是一次网络往返,和写路径共享同一块网络预算。续约机制的两个约束:
- 续约周期必须小于 TTL:否则租约在两次续约之间就会过期,key 被误删;
- TTL 必须大于 RTT + 时钟偏差:否则续约请求在途中,租约就已经到期——续约赶不上过期。
把三者画成一条时间轴:0 → 续约发送 → (RTT) → 服务端刷新 TTL → 下次续约。只要「服务端刷新」落在 TTL 之内,租约就活着。TTL 越短,RTT 占 TTL 的比例越高,越容易因为一次网络抖动丢租约。K8s 的控制器选主(基于 Lease)同样遵守这个预算:leaseDuration 要覆盖往返与偏差,renew 周期要明显小于 leaseDuration。
举个例子:K8s 控制器选主常用的 Lease 配置,租约时长 leaseDuration 15s、续约周期 renewInterval 10s——续约周期只有 TTL 的三分之二,留出的 5s 余量远大于 RTT(哪怕跨可用区几毫秒)加时钟偏差(通常亚秒级)。反过来,如果把 TTL 压到 1s、RTT 却要 200ms,余量只剩 0.6s,一次网络毛刺就可能丢租约。设计租约参数的经验口径是:TTL ≥ 2 ×(RTT + 时钟偏差),续约周期 ≤ TTL 的 2/3,才既不会误删又不会频繁续约。
吞吐与延迟的权衡:batch 不是免费午餐
把本节的变量收进一张权衡表:
| 手段 | 提升 | 付出 |
|---|---|---|
| 批量提交 | 写吞吐 | 首笔写 + 一个批量窗口的延迟 |
| 本地 NVMe | 磁盘预算(fsync 下限) | 硬件成本、容量规划 |
| 同区部署 | 网络预算(RTT) | 容错域变小 |
| 放大心跳/超时 | 跨机房稳定 | 故障发现变慢 |
| 拉长 TTL | 租约抗抖动 | 丢失后回收变慢 |
性能调优的实质是给延迟做预算分配:先量出磁盘与网络两块各占多少,再决定把预算花在哪。磁盘慢就上 NVMe 或加大批量;跨机房就接受 RTT 并在参数上买稳定;什么都想要——本地 NVMe + 单机房 + 默认参数——通常已经是延迟最优,剩下的每一项优化都是拿别的属性换的。
把「先量再调」落成四个步骤:
- 先量:
etcdctl endpoint status观察写延迟,用监控看磁盘 fsync 与网络 RTT 两个分项; - 定位:写延迟大 → 看磁盘预算(fsync 慢?);读延迟大 → 看网络预算(ReadIndex 往返);
- 调参:磁盘慢 → 换本地 NVMe 或加大批量窗口;跨机房 → 放大心跳/超时;租约丢失 → 拉长 TTL 或缩短续约周期;
- 复测:改完重新量,确认改动没有把延迟从一个账户挪到另一个账户。
这套流程把本节的每一块预算变成可执行的排查路径。性能问题从「玄学」变成「先量账本,再改账户」。
本节 lab
本节验证「租约靠定期网络往返保活」这个预算模型。代码在 private/labs/k8s-etcd-lab/lease/lease.go 的 KeepAlive 与 Tick,测试在 lease_test.go:
cd private/labs/k8s-etcd-lab
go test ./lease -run TestKeepAlivePreventsExpiry -v
TestKeepAlivePreventsExpiry 的断言路径:Grant(3) 创建一个 TTL=3 的租约,循环 10 轮,每轮 Tick()(时间推进一秒)后立即 KeepAlive(l.ID)——每一轮租约都必须存活(保活把剩余时间重置为 TTL),10 轮下来绝不因 Tick 过期。随后停止续约:再推进 2 秒租约必须仍在(TTL=3 的余量),推进到第 3 秒必须过期。
这个用例就是租约 RTT 预算的最小模型:KeepAlive 等价于一次网络往返,TTL 等价于往返 + 偏差的余量;只要「往返」赶在 TTL 内到达(续约周期 < TTL),租约就永不过期;一旦往返停止,恰好 TTL 秒后过期。运行通过,即验证「续约是定期网络往返保活」这一节的机制结论。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。