《Kubernetes 分布式系统原理深入解析》10.3 节点 Lease 心跳与失联判定

节点『还活着吗』是控制面做调度、驱逐与修复决策的地基。本节讲节点心跳如何从全量 NodeStatus 演进到轻量 Lease、失联判定的超时与宽限双条件、node controller 对失联节点的处置路径,以及心跳参数与调度决策的关系。lab 用 kubelet 包的 Lease 用例验证租约超时判定与续租重新计时。

10.3 节点 Lease 心跳与失联判定

前两节讲的是单 Pod 的节点侧生命周期,本节把视角拉回整台节点:控制面怎么知道一台节点还活着。这个答案决定调度器敢不敢往节点上放新 Pod、节点控制器要不要驱逐 Pod、修复逻辑什么时候介入。节点心跳是控制面所有决策的时间地基。

心跳的演化:从全量状态到 Lease

早期版本里,kubelet 每 --node-status-update-frequency(默认 10s)把完整的 NodeStatus 写回 apiserver,控制面靠它判断节点健康。但完整 NodeStatus 对象很大——包含容量、可分配资源、地址、镜像列表、卷、条件——在数千节点集群里,10s 一次的全量写放大是 apiserver 与 etcd 的显著压力源。

Lease(coordination.k8s.io/v1)把「心跳」从状态对象里剥离出来:

  • kubelet 每 --node-lease-renew-interval-seconds(默认 10s)只 renew 一个很小的 Lease 对象(一次 PATCH),表示「我还活着」。
  • 完整 NodeStatus 只在有实质变化、或每 --node-status-report-frequency(默认 5m)到期时上报。
  • 结果:心跳写放大从「10s 一次大对象」变成「10s 一次小对象 + 5m 一次大对象」,降了一个数量级。

这是一个典型的设计取舍:把『你还活着吗』这个布尔问题的探测,和『你的详情是什么』这个状态同步,拆成两个不同频率的通道。布尔问题高频低开销,详情低频高开销。

用数字看这个取舍(1000 节点集群的估算):

方案每节点每分钟写入全集群每分钟写入量
旧方案:每 10s 全量 NodeStatus6 次 × 几十 KB 大对象6 千次 × 大对象
新方案:10s 一次 Lease + 5m 一次 NodeStatus6 次 × 小对象 + 0.2 次 × 大对象6 千次 × 小对象 + 200 次 × 大对象

Lease 对象只有几个字段,写入体量比 NodeStatus 小一到两个数量级。所以同样是「每 10s 一次写入」,新方案的心跳通道占用 apiserver/etcd 的带宽小得多——把规模扩展的瓶颈从「心跳写入」里挪走,是 Lease 引入的真正收益。这也是大集群调优时「别把续租频率调得过小」的数学背景。

Lease 对象:字段与语义

每台节点在 kube-node-lease 命名空间里有一个与节点同名的 Lease:

字段语义
spec.holderIdentity持有者标识(节点名 + 实例标识)
spec.leaseDurationSeconds租约时长(默认 40):超过不续租视为过期
spec.acquireTime租约被获取的时间
spec.renewTime最近一次续租时间——失联判定的主要依据
spec.leaseTransitions租约持有者转移次数

renewTime 是关键:node controller 以它为心跳时间戳。Lease 对象本身还复用了 leader election 的语义(holderIdentity/acquireTime/leaseTransitions),所以同一套 API 既能服务节点心跳,也能服务组件选主——一个资源类型,两种用途。

NodeReady 与 NodeStatus 上报机制

Lease 管「还活着吗」,NodeStatus 管「状态详情」。NodeReady 是 NodeStatus 里一组 Conditions 中的一个:

  • kubelet 把节点状态(容量、可分配、地址、条件、镜像列表)写进 node.status;Ready 条件由 kubelet 汇总自身健康检查(kubelet 服务、运行时连通、磁盘/内存压力)得出。
  • 控制面(scheduler、各 controller)读 node.status.conditions[type=Ready] 与污点做决策。
  • 两个通道的分工:Lease 高频小更新回答心跳,NodeStatus 低频大更新回答详情。kubelet 只在有变化或 --node-status-report-frequency(5m)到期时上报全量状态,避免每次心跳都搬一个满对象。

这个分工也解释了一个运维直觉:kubectl get node 里看到的 Ready 可能滞后于实际——它来自低频全量上报,而真实心跳在 Lease 里,不在你读到的 NodeStatus 上。排查节点失联要看 Lease 的 renewTime,而不是 NodeStatus。

失联判定的双条件

node controller 判定「节点失联」不是单一条件,而是两个条件叠加:

条件依据默认阈值
心跳过期now - lease.spec.renewTime > leaseDurationSeconds40s
宽限耗尽now - 最后心跳 > node-monitor-grace-period40s

node controller 每 --node-monitor-period(默认 5s)巡检一次节点。它把心跳时间戳(有 Lease 时取 renewTime)与「当前时间 − grace period」比较:心跳太旧 → 第一个条件(租约过期)已满足;再过了宽限 → 第二个条件满足。两个条件都满足才标记 NotReady。默认配置下,节点断联后最早约 40s 被标记——具体时刻取决于巡检周期的对齐位置,实际会略晚。

两段式的价值:leaseDurationSeconds 是 kubelet 承诺的「心跳死线」(我 40s 不续租就当我死了),node-monitor-grace-period 是控制面愿意多等的「容忍窗口」(给网络抖动、时钟偏差留缓冲)。它们默认相等,但语义一在租约、一在监控,可以独立调。

node controller 的处置路径

节点被判失联后,node controller 沿一条固定路径处置:

  1. 标记状态 + 打污点:节点置 NotReady / Unknown,打 node.kubernetes.io/not-ready:NoExecute(NotReady)或 node.kubernetes.io/unreachable:NoExecute(不可达)污点。
  2. 已有 Pod 按容忍度驱逐:默认 Pod 带 300s 容忍(仅当未显式写 tolerations 时由 API 默认注入),容忍到期后驱逐;DaemonSet Pod 无限容忍,留在原地等节点恢复。
  3. 超时强制删除:失联超过 --pod-eviction-timeout(默认 5m)后,node controller 标记 Pod 删除(force delete),由控制器在其他节点重建。
  4. 修复:节点恢复 → kubelet 恢复续租并上报状态 → node controller 在巡检中发现心跳恢复 → 清除污点 → 节点重新 Ready。

处置是分阶段的,不是一步到位:先标记(快),再等容忍(5m 量级),最后强制删除。每一段延迟都是给「节点可能只是网络抖动」留的挽回窗口。

节点失联引发的驱逐不是无差别清扫,PDB(PodDisruptionBudget)是它的重要边界:

  • 有 PDB 的 Pod:驱逐前会先检查 PDB 允许的可用副本下限,低于下限会阻止驱逐。但注意,node controller 对不可达节点的强制删除会绕过 PDB——节点级故障不被当作可计划的主动中断。
  • 默认容忍:未显式写 tolerations 的 Pod 自动带 not-ready/unreachable 的 300s NoExecute 容忍;DaemonSet Pod 无限容忍。
  • 容忍度的作用:把「驱逐」从节点控制器手里交给时间——容忍期内节点若恢复,Pod 不会被白白杀掉。

一句话:PDB 保护的是「别一次打死太多副本」,容忍保护的是「给节点恢复留时间」。两者叠加,让失联驱逐从「立刻清扫」变成「有条件的、分阶段的收敛」。

关键参数与默认值

参数默认值作用
kubelet --node-lease-duration-seconds40sLease 租约时长,心跳死线
kubelet --node-lease-renew-interval-seconds10skubelet 续租周期
kubelet --node-status-update-frequency10s有变化时上报全量 NodeStatus
kubelet --node-status-report-frequency5m无变化时全量 NodeStatus 的下限周期
kube-controller-manager --node-monitor-period5snode controller 巡检周期
kube-controller-manager --node-monitor-grace-period40s失联宽限,超过才标记 NotReady
kube-controller-manager --pod-eviction-timeout5m失联 Pod 强制删除延迟
kube-controller-manager --node-startup-grace-period1000s节点首次注册未 Ready 前的额外宽限

参数调优:租约时长与探测延迟

调参的核心关系是 「续租间隔 ≪ 租约时长 ≪ 宽限期」的余量:

  • 续租间隔与租约时长的关系:40s 租约对 10s 续租留了 4 倍余量。网络抖动或一次 GC 尖峰导致几次续租失败,不会触发失联。把两者调得很接近(例如续租 30s、租约 35s),任何短暂故障都会误判。
  • 宽限期是响应延迟的下限:调大更宽容(不易误判)但失联标记慢;调小发现更快但更容易误判。40s 是误判概率与响应速度的常见平衡点。
  • 别把续租调得过小:大集群里续租频率直接决定 apiserver 写压力。想「更快发现失联」的正确旋钮是宽限期和巡检周期,不是把续租频率推到极限。
  • 节点启动宽限:node-startup-grace-period(默认 1000s)只在节点首次注册、尚未 Ready 的窗口生效,避免启动慢的节点刚注册就被误判。

心跳与调度的关系

失联判定最终影响调度决策,路径是「心跳 → 污点 → 调度器过滤」:

  • 失联节点被 node controller 打上 NoExecute 污点。调度器的 TaintToleration 插件把「有限容忍(tolerationSeconds > 0)」视为不可调度——因为有限容忍意味着「该 Pod 不久会被驱逐」,放上去没有意义。
  • 因此新 Pod 默认不会再被调度到失联节点;只有显式写无限容忍(tolerationSeconds: -1 或省略)的 Pod(典型如 DaemonSet)才可能被放上去。
  • 注意「失联 ≠ 节点真死」:网络分区时节点上的 Pod 可能还在正常跑。调度器避开它,但不会撤销已经在跑的 Pod——撤销要等驱逐与强制删除阶段。

这也是 10.1/10.2 与调度章节的连接点:节点健康信息(Ready/污点)是调度器 Filter 阶段的输入,而它由心跳机制持续供给。

节点失联不只影响调度,也影响流量与副本健康,是一条完整的代价链:

  • 流量黑洞:失联节点上的 Pod 若仍在 Service 后端,流量会持续路由过去形成黑洞——只有强制删除 Pod(endpoints 随之移除)或节点恢复才止损。这也是 pod-eviction-timeout 不能调太大的原因:它同时是流量的止损线。
  • 异地重建:超过 pod-eviction-timeout 被强制删除的 Pod,由控制器在其他节点重建——重建走第 1–5 章的完整调度链路(排队、过滤、评分、绑定)。
  • 节点恢复:kubelet 恢复续租 → node controller 清污点 → 节点重新 Ready;容忍期内未删的 Pod 继续在原节点跑,调度器恢复把它当作可调度节点。

把这条链和第 10 章前两节串起来:心跳是整条「健康闭环」的输入信号——探针决定单个容器健不健康,心跳决定整台节点还值不值得信任。调度器、EndpointSlice、节点控制器都在消费这个信号做各自的收敛动作。

失联的时间线

把参数串成一条可验证的时间线(默认值):

t=0       kubelet 最后一次成功续租(renewTime)
t≈40s     Lease 过期(leaseDurationSeconds 40s)
t≈40s+    node controller 巡检发现心跳超宽限 → 标记 NotReady、打 NoExecute 污点
t≈340s    默认 300s 容忍到期 → 无容忍/容忍到期的 Pod 被驱逐
t=5m      超过 pod-eviction-timeout → node controller 强制删除 Pod,控制器重建
t=恢复     kubelet 恢复续租 → node controller 清污点 → 节点 Ready,可再接收 Pod

这条时间线解释了生产里的常见现象:节点断联后,Pod 不是立刻消失,而是先经历「NotReady → 容忍到期 → 强制删除」的延迟链。每段延迟都是设计出来的容错窗口。

调参时把这段延迟链和五个旋钮对上:leaseDurationSeconds、node-monitor-grace-period、默认容忍秒数、pod-eviction-timeout、节点恢复后的巡检周期——知道哪段慢了,就动对应的旋钮,而不是盲目改续租频率。

三个常见误解

  • 「节点一失联,Pod 马上被驱逐」——错误。有完整的延迟链:40s 宽限才标记 NotReady,默认 300s 容忍后才驱逐,超过 5m 才强制删除。快的只有标记,驱逐很慢。
  • 「Lease 心跳只是把上报频率调快了,本质没变」——错误。它把「心跳」从大而全的 NodeStatus 里剥离成独立小对象,写放大大幅下降——这是架构性变化,不是参数微调。
  • 「失联节点永远不能再调度 Pod」——错误。节点恢复后 kubelet 续租、node controller 清污点、节点重新 Ready,新 Pod 会再次被调度上去。失联是可恢复状态,不是永久状态。

本节 lab

本节把租约超时判定落到 kubelet/kubelet.go 的 Lease 与 TestLeaseExpiryAndRenewal(3 个断言):

cd private/labs/k8s-sched-lab
go test ./kubelet -run TestLeaseExpiryAndRenewal -v

用例验证三个点:未到租约时长不判失联、超过租约时长判失联、续租后重新计时。这正是本节「心跳过期 → 宽限判定 → 续租重置」的可运行验证——失联判定建立在「租约超时 + 续租重新计时」这个最小状态机之上。

一句话总结本节

节点心跳是控制面决策的时间地基:Lease 把「活着吗」变成高频小对象,node controller 用「租约过期 + 宽限耗尽」双条件判失联,再经污点→容忍→强制删除的分阶段处置收敛,最后通过污点影响调度器是否继续往节点放 Pod。第 10 章到此收束:从绑定认领、探针重启到节点心跳,节点的「健康闭环」完整闭合。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图