13.3 断连续读与一致性书签
13.2 的结论是:慢消费者会被取消,服务端宁可让客户端重连也不拖垮成员。但「重连」不是重新打开一条流那么简单——重连期间的事件如果丢了,客户端缓存就和真实状态脱节;如果重复消费,又可能把同一事件应用两次。本节讲断连后的恢复机制:为什么事件流会断、如何靠 revision 边界做到不丢不重、以及 progress notify 这个一致性书签怎么让客户端知道自己该从哪续起。
断连是常态不是异常
先接受一个事实:watch 断连是常态,不是事故。断连的来源多种多样:
| 断连原因 | 谁触发 | 典型场景 |
|---|---|---|
| 网络抖动 | 网络层 | 客户端与服务端之间丢包、重连 |
| 成员切换 | 服务端 | etcd 成员下线,连接被重置 |
| 超时 | 客户端 | 读超时/写超时,流被关闭 |
| 限流取消 | 服务端 | 13.2 的积压超限,watcher 被取消 |
K8s 集群里,节点重启、etcd 滚动升级、负载均衡空闲超时都会让 informer 的 watch 断掉。一个健壮的控制面组件必须把「断连→恢复」当成循环里的常规一步,而不是异常分支。恢复的关键不在「尽量不断」,而在「断了以后能从正确的位置续上」——这个位置由 revision 唯一确定。
从设计上承认断连不可避免,会改变工程做法:与其让 watch 流无限重试、越来越慢,不如给每条流设一个明确的失败语义(错误返回、超时判定),让客户端拿到确定的失败信号后干净利落地走重连协议。这就是 13.2 节「宁可取消、不可拖垮」在客户端侧的呼应——服务端负责有界地失败,客户端负责有界地重连。
从客户端视角,识别断连通常靠两个信号:一是流上返回错误(ErrCanceled、ErrCompacted、gRPC 状态码),这是显式失败;二是静默超时——一段时间内既没有事件也没有 progress notify,客户端主动判定流已死,这是隐式失败。健壮的客户端两个都要处理,只依赖前者会在「连接无声断掉」时卡死。
etcd 滚动升级就是一个真实的断连窗口:升级过程中成员逐个重启,客户端与旧成员的 watch 流全部断开,重连到新成员。一次升级可能让所有 informer 几乎同时重连——这正是 13.2 节提过的「watcher 数量波动到峰值」的来源。没有重连协议兜底,一次常规升级就能引发全集群的 relist 风暴。
这个认知也改变了监控指标的设计:与其盯着「watch 连接数」这种稳态指标,不如盯「重连次数」「relist 次数」「被取消数」。连接数只反映当前状态,重连次数反映健康波动——后者才是判断集群是否出现批量失联的敏感信号。
不丢不重的数学基础:revision 边界
为什么能「不丢不重」?因为事件挂在一个全局单调的 revision 上,而每个 revision 恰好对应一次变更(13.1 的结论)。这个性质给了客户端一把精确的尺子:
- 不丢:只要续读点
lastRev + 1之前的事件没有被压缩(13.1 的 compact 断流条件),从lastRev + 1开始读,就能覆盖断连期间发生的全部事件——每个 revision 大于 lastRev 的变更都会被包含; - 不重:
lastRev及更早的事件在续读时被显式排除,客户端已经应用过它们,不会收到第二遍。
把这条边界画出来更直观:
已消费区 断连空窗 未发生
────────────────┼────────────────┼──────────────────►
lastRev lastRev+1 当前rev
↑ ↑
重连后不重读 重连后从这里续
关键前提是客户端能精确知道自己的消费边界。只要它严格按 revision 顺序消费,并记录「最后一个已应用事件」的 revision,重连就是一次确定性的补区间:补 (lastRev, 当前],不多不少。这也是 13.1「事件永不重复」性质在恢复场景下的复用——同一把 revision 尺子,既保证了实时流不重复,也保证了断连续读不重复。
为什么每个 revision 只对应一个事件?因为 mvcc 的每次写(Put/Delete)都恰好推进一次主 revision,并在事件日志里追加一条记录(第 12.1 节的模型)。revision 与事件一一对应,不存在「同一个 revision 挂两个事件」或「一个事件占用两个 revision」的可能。这个一一对应是「不丢不重」的根基:不丢靠覆盖区间,不重靠区间不重叠,而区间的刻度就是一一对应的 revision。
再补充一个边界情形:delete 也占一个 revision。第 12.1 节的墓碑在 watch 上是一条 DELETE 事件,它与 PUT 一样只出现一次;relist 后的快照不含被删对象,续读收到的则是「删除发生在断连期间」这一事实。所以「不丢不重」同样适用于删除——被删对象不会在重连后被错误地保留在缓存里。
重连策略:记录 lastRev,从 lastRev + 1 续读
把重连协议写成可执行的步骤:
- 记录消费边界:客户端消费每个事件时,记录它的 revision 为
lastRev; - 检测断连:流关闭或返回错误(包括 13.2 的
ErrCanceled),进入恢复流程; - 重新 List:拿最新快照,记录新的 revision
rv1(这一步同时处理 13.1 的压缩断流:若lastRev + 1已被压缩,List 的快照就是新的重建起点); - 重建 watch:从
rv1 + 1创建 watch,追平后恢复实时消费; - 继续:把
rv1之后的事件逐条应用,更新本地缓存与lastRev。
时间线上看一次完整重连:
客户端: 消费到rev2 ──── 断连空窗 ────► relist(rv1=4) → watch(rv1+1=5)
服务端: rev1 rev2 rev3 rev4
事件: a@1 b@2 c@3 d@4
▲
relist快照已含c@3、d@4;watch从5只收之后的增量
快照负责「补齐断连前的状态」,watch 负责「续上断连后的增量」,两者以 relist 返回的 rv1 为界。这条路径不依赖 lastRev,也不依赖历史是否还在——它是所有路径里最稳的,代价就是一次全量 List。
两条恢复路径的区别只在起点:若 lastRev + 1 还能用(未被压缩),理论上可以跳过 List 直接重 watch 续读;但 K8s 的 informer 实践上总是先 relist 一次——因为不知道断连期间服务端压缩到了哪里,List 拿到的快照 + rv1 + 1 重建是唯一不依赖「历史还在」的稳妥做法。13.1 说压缩断流要求「重 List + 重建 watch」,这里的重连策略把它从故障处理升级成了常规路径:每次重连都当历史可能已被压缩来处理,就永远不会踩 410。
注意 List 在这一协议里的双重角色:它既是「拿全量快照」的数据来源,也是「探测压缩边界」的探测手段。List 返回的响应头带当前 revision,客户端据此知道服务端现在到哪了,也间接知道了 lastRev + 1 是否还有效——如果返回的 revision 还远小于被压缩掉的点,说明历史可能已回收,必须走 relist 分支。
实践中「relist 先于重 watch」还有一个理由:List 响应里带 resourceVersion,客户端可以用它作为后续 watch 的起点;若直接重 watch 而不 relist,客户端必须依赖自己的 lastRev,而 lastRev 可能因为积压被取消(13.2)或压缩(13.1)而变得不可用。relist 把「起点」重新锚定到服务端的当前事实,是代价更高但更稳的选择——这也是 informer 默认走 relist 路径、只在少数场景走纯续读的原因。
一致性书签:progress notify 返回服务端确认的 revision
上面假设客户端总能知道服务端「现在到哪了」。但一个安静的前缀可能长时间没有事件:没有事件 = 没有响应 = 客户端无法区分「服务端活着但没变化」和「连接已经死了」。progress notify(进度通知)解决这个盲区。
| 机制 | 行为 | 客户端得到什么 |
|---|---|---|
| 普通 watch | 有事件才有响应 | 事件本身 |
| progress notify | 无事件时周期性返回一条空响应 | 响应头的 revision = 服务端当前已确认的 revision |
客户端在创建 watch 时打开 progress_notify(WatchCreateRequest 里置位),服务端按固定间隔(以 etcd v3.5 为例,默认约 10 分钟,可通过 --experimental-watch-progress-notify-interval 调整)主动推送一条带响应头的空消息,响应头里的 revision 就是服务端当前已生成的 revision——这个值称为一致性书签(sync point)。它有两个用途:一是活性探测——收到书签即证明服务端活着;二是进度对齐——客户端拿自己的 lastRev 与书签比较,就知道自己落后了多少、服务端有没有异常停滞。
注意书签读数是「服务端已确认到哪」,不是「客户端已消费到哪」:服务端推进到 rev N,不代表客户端就收到了 N。客户端用它判断的是服务端进度,自己消费到什么程度仍然以 lastRev 为准。两个数字配合使用:书签防「服务端死了还不知道」,lastRev 决定「重连时从哪续起」。若客户端长时间没有收到书签、也没有事件,它就能断定连接出了问题,主动进入重连流程——这正是 13.2 节「取消不会无声抛弃客户端」的另一半保证。
响应头的字段值得展开:每条 WatchResponse(包括空的书签响应)都带 cluster_id、member_id、revision、raft_term。revision 是服务端已确认的主 revision;raft_term 是 Raft 任期(第 5 章)。客户端据此不仅能读到进度,还能判断响应是否来自同一任期/同一成员——若任期变化,说明发生过选举,进度坐标可能需要重新校准(第 10.1 节讲过旧 leader 场景)。一个实现细节:bookmark 响应在 etcd 里有专门的复用机制,apiserver 的 informer 打开 progress_notify 后,即使资源长时间无事件,也能定期收到响应头,避免缓存与真实状态的偏差被长期掩盖。
书签的收益与资源的事件密度成反比:事件稀疏的资源(如很少变化的 CRD)受益最大——没有书签,一条长期无事件的 watch 完全静默,客户端只能靠超时猜;有书签,客户端每个间隔都能确认「服务端还在、进度没卡」。事件密集的资源书签意义较小(事件本身就持续提供进度),但开启成本也低,K8s 的做法是默认打开。
从 13.1 backlog 到 13.3 书签:两条路径的衔接
把 13.1 和 13.3 拼在一起,watch 客户端完整的状态机是:
- 创建:
Watch(startRev)——服务端先 backlog 追平[startRev, now],再转实时; - 实时:持续收事件,更新
lastRev;无事件期间靠 progress notify 拿书签; - 断连/取消:记录边界,走重连协议;
- 重连:List 拿快照 +
rv1 + 1重建 watch——本质是一次以快照为起点的 backlog 追平,只是这次的「历史区间」是断连期间漏掉的部分。
所以 13.3 的重连没有引入新机制,它复用 13.1 的 backlog 追平:服务端不知道也不关心这个 watch 是「新创建」还是「重连」,它只按 start_revision 回放。重连的智慧全在客户端选对起点——lastRev + 1 或 rv1 + 1,而 progress notify 只是帮客户端确认这个起点是否还成立、服务端是否在推进。backlog 是协议层能力,书签是客户端定位自己的工具,两者各司其职。
把 backlog 与书签并排比较,边界更清晰:
| 维度 | 13.1 backlog 追平 | 13.3 一致性书签 |
|---|---|---|
| 触发时机 | 创建 watch 时 | 周期性(服务端主动) |
| 携带内容 | 一段历史事件 | 空响应 + header.revision |
| 回答的问题 | 从起点到现在发生了什么 | 服务端现在确认到哪了 |
| 消费方 | 客户端 | 客户端(活性 + 进度判断) |
| 失败含义 | 起点被压缩 → ErrCompacted | 书签长期不来 → 判定流已死 |
用一个具体的重连数据流走一遍:客户端消费到 rev 2(与最近一次书签一致),随后断连;断连期间服务端写入 rev 3(键 c)。两条恢复路径都成立:
- 路径一(relist):
List返回 rv1=3 的快照,快照本身已包含 c 的状态,从rv1 + 1 = 4重建 watch——状态不丢,因为快照把断连期间的变更一次性补齐了; - 路径二(续读):客户端判断
lastRev + 1 = 3仍有效(未被压缩),直接重建 watch 从 3 开始,收到 c@3 这一个事件——事件不丢,也不重放 a@1、b@2。
两条路径都对,选哪条取决于历史是否可能已被压缩;书签的作用是在路径二里确认 3 这个起点还成立(服务端已确认到 2,3 之后的事件是断连期间新产生的)。路径一不需要书签也能自洽,但它以一次全量 List 为代价;路径二省去 relist,但要求客户端对「起点未被压缩」有把握。
这也解释了 progress notify 为什么叫「一致性书签」而不是「心跳」:它不只是告诉客户端连接还活着,更给出一个明确的 revision 坐标,让客户端知道服务端的一致性进度。重连时若客户端打算走路径二(续读),书签就是「起点有效性」的最好证据——书签都确认到 2 了,从 3 续读当然是安全的。
与 resourceVersion 的衔接:K8s informer 的续读与 relist
放到 K8s 里,这套协议就是 informer 的日常。第 12.3 节说过对象身上的 resourceVersion 就是它的 mod_revision;对象级续读和 watch 级续读用的是同一把尺子:
- 对象级:客户端拿对象 A 的 resourceVersion 去做带条件的更新(第 12.2 节的 CAS),本质是「我对 A 的理解停留在 rv 这个版本,只有别人没改过才继续」;
- watch 级:informer 记录流上最后一个事件的 revision,断连后 relist + 从
rv1 + 1重建,本质是「我对这个前缀的理解要续上断连期间漏掉的部分」。
两者的共同点是:revision 是客户端判断「我落后多少」的唯一依据。informer 收到 progress notify 或任意事件,都会拿响应头的 revision 校验自己的缓存是否滞后;收到 410 就强制 relist。控制器调谐循环之所以能容忍几十秒滞后而不错乱,正是因为每条 watch、每个对象身上都有精确的 revision 坐标——断连只是把坐标对齐推迟了一点,从不错位。
落到 K8s 工程实践,还有两个可操作的建议:一是把 watch 的 bookmarks(progress notify)默认打开——它让 informer 在事件稀疏的资源上也能拿到定期的心跳与进度,避免「看似连接正常实则已死」的假象;二是把 relist 的重试做退避——多个 informer 同时断连后如果同时 relist,会叠加成 etcd 与 apiserver 的读峰值,退避能把波峰摊平。这两点都是「断连是常态」这一前提的自然推论。
一个更深的联系:第 12.2 节的 CAS 用 resourceVersion 做乐观锁,本质也是「revision 边界」的应用——只不过它用对象上的 mod_revision 判断「我读的状态是否还是当前」,而 watch 用事件 revision 判断「我追的增量是否完整」。两者共享同一个版本坐标,所以一个控制器既能拿 informer 缓存做周期调谐,又能拿对象 resourceVersion 做精确的条件写——不需要在两套版本概念之间来回翻译。这再次印证了 12.3 节的核心结论:resourceVersion 不是 K8s 的私有概念,它就是 mvcc revision 在 API 层的投影。
informer 的续读还有一个实践细节:收到 bookmark 时,它不只要校验缓存是否滞后,还要用它更新内部资源的 resourceVersion 水位,作为后续续读的参考起点。这样即使本地缓存的事件稀疏,resourceVersion 也不会长期停在旧值上,控制器之间的版本比较始终有据可依。
本节 lab
本节用 private/labs/k8s-etcd-lab/watcher/ 的 TestProgressNotifySyncPoint 验证书签与书签重连:
- 写入
a@1、b@2后ProgressNotify()返回 2(服务端确认到 rev 2,即一致性书签); - 断连期间写入
c@3; - 从书签点
syncPoint + 1 = 3重建 watch,只收到c一个事件——断连期间的变更不丢,书签点之前的事件不重。
运行命令:
cd private/labs/k8s-etcd-lab
go test ./watcher -run TestProgressNotifySyncPoint -v
预期断言:
- 书签用例:
ProgressNotify()必须返回 2; - 重连用例:从 rev 3 重建后必须收到恰好 1 个事件,事件键为
c(revision 3),不含a@1、b@2的重复。
测试通过即表示一致性书签返回服务端确认的 revision、以及从书签点 rev+1 重建 watch 做到不丢不重的语义符合本节描述。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。