《Kubernetes 分布式系统原理深入解析》10.2 探针与重启策略状态机

探针是 kubelet 判断容器『活着』与『就绪』的机制,重启策略决定判死后怎么办。本节拆解三类探针的职责与时机差异、连续成败阈值的状态机语义、liveness 失败到重启的完整循环,以及探针参数的成本与调参思路。lab 用 kubelet 包的四个探针/重启用例验证阈值推进、恢复、liveness 触发重启与策略分支。

10.2 探针与重启策略状态机

10.1 节把 Pod 跑起来,本节回答两个紧接着的问题:它还好吗?不好怎么办。前一个问题由探针回答(liveness 活着、readiness 就绪、startup 启动完成),后一个问题由重启策略回答(Always/OnFailure/Never 决定杀不杀、重不重启)。两者合起来是一个状态机:探针用连续成败计数输出结论,重启策略把结论翻译成动作。本节拆解这个状态机的每一环。

三类探针:职责与时机

三个探针按职责分工,判定后果完全不同:

探针回答的问题判失败的后果典型场景
startup容器启动完了吗杀容器,按重启策略处理启动耗时几分钟的容器
liveness容器还活着吗杀容器,按重启策略处理死锁、进程假死的检测
readiness容器能接流量吗从 Service endpoints 摘除,不杀依赖就绪的业务判断

时机差异是关键:startup 探针是守门员。startup 尚未成功期间,liveness/readiness 一律不执行——这就避免了「容器还在初始化、liveness 误杀」的问题。startup 判失败(连续失败到阈值)说明容器永远起不来,杀掉重启。一旦 startup 成功一次,它就让位,liveness/readiness 接管。init 容器与 startup 探针是两个不同的东西:init 容器跑完才启动主容器,startup 探针保护的是主容器自身的慢启动。

同一个探针概念,由四种执行方式实现,成本与语义不同:

方式探测内容成本特点
exec在容器内执行命令,看退出码最贵:每次 fork 一个进程
httpGet对容器内地址发 HTTP GET,看状态码中:一次 HTTP 往返
tcpSocket对容器内端口做 TCP 连接低:只验证端口在听
grpc调用容器内 gRPC 健康接口低:需应用实现健康协议

选择原则:探测内容越贴近「业务可用的真实条件」,越有价值。exec 能查进程内状态但最贵;httpGet 适合 Web 服务;tcpSocket 只证明端口在听,对「服务其实已死锁」无感——但这正是它便宜的原因。常见组合:tcpSocket 做 liveness(便宜、避免正常慢响应被误杀),httpGet 做 readiness(真实业务就绪判断)。

阈值状态机:连续成败计数

探针不是「一次探测定生死」,而是维护一个连续计数状态机:

  • failureThreshold:连续失败多少次判为失败(默认 3)。
  • successThreshold:连续成功多少次判为成功(默认 1;liveness/startup 必须为 1,readiness 可大于 1)。
  • 状态机推进规则:一次成功 → 失败计数清零、成功计数 +1;达到 successThreshold → 结论翻转为成功。一次失败 → 成功计数清零、失败计数 +1;达到 failureThreshold → 结论翻转为失败。

注意「连续」二字:任何一次相反结果都会清零对方的计数。这是经典的滞回(hysteresis)设计——单个抖动探测不能翻转结论,必须连续多次才能改变状态,从而避免状态来回翻转。

恢复语义:成功清空失败计数

恢复是即时的——只要连续成功达到阈值,结论立刻翻回成功,不需要「连续成功比失败更长」的对称条件:

  • readiness 恢复 → 容器重新 Ready → 重新加回 Service endpoints → 流量恢复。
  • 对应 lab 的 TestProbeRecovery:连续两次失败后一次成功,失败计数立即清零;再连续成功两次即判就绪。
  • 这个不对称(失败要 3 次、恢复只要 1–2 次)是刻意设计:恢复要快,判死要稳。流量恢复慢一秒的代价,远低于把健康容器误杀重启的代价。

liveness 失败 → 重启的完整循环

liveness 连续失败到阈值后,kubelet 的动作不是「删 Pod」,而是一个循环:

  1. kubelet kill 容器:先 SIGTERM 给优雅退出机会,terminationGracePeriodSeconds(默认 30s)内没退完再 SIGKILL。
  2. 按 restartPolicy 决定是否重启(见下一节)。要重启 → 重新走 10.1 的 CRI 流水线(重建沙箱内容器)。
  3. 启动即崩的容器进入 CrashLoopBackOff:kubelet 按指数退避重启(约 10s→20s→40s…封顶 5m),容器稳定运行一段时间后重置退避计数。
  4. status.containerStatuses[].restartCount 累加,Pod 的 lastState 记录上次退出码——CrashLoopBackOff 就是 kubectl 里最常见的失败态。

这个循环完全发生在原节点、原 Pod 内:重启是 kubelet 的本地动作,不是调度器参与的动作。调度器只在 Pod 整体消失(节点失联,见 10.3)时才会重新调度。

restartPolicy 三分支

重启策略只决定「同一个 Pod 内,容器退出后要不要重启、何时重启」:

策略判定适用
Always任何退出码都重启无状态服务(默认,Deployment 常用)
OnFailure退出码非零才重启任务型容器(exit 0 视为完成)
Never永不重启批处理、一次性 Job 容器

三分支的判定本质是一个布尔函数:ShouldRestart(policy, exitCode)。Always 恒真、Never 恒假、OnFailure 看退出码是否非零。容易混淆的一点:Pod 整体失败(比如节点失联、镜像永久拉不到)时,重建 Pod 的是控制器(ReplicaSet/Deployment/Job),不是重启策略——重启策略管的是「容器」,控制器管的是「Pod」。

readiness 只摘流量不重启

readiness 失败与 liveness 失败是两条完全不同的处理路径:

  • readiness 失败 → 摘流量:Pod 从 Service endpoints 移除,新请求不再路由过来,容器本身继续运行,等待恢复。
  • liveness 失败 → 杀 + 重启:容器已不可救,杀掉按策略重启。
  • Pod 的 Ready condition 是各容器 readiness 的汇总;Pod 不 Ready 不影响它留在原节点继续跑。

readiness 摘的是「流量层」,调度管的是「放置层」,两者正交:readiness 不触发重新调度、不触发驱逐。这也是「无状态服务多副本」模式的支柱——一个副本不 Ready,其它副本承接流量,无需重启。

readiness 判失败后,摘流量发生在控制面与网络数据面两侧:

  • kubelet 更新 Pod 的 Ready condition 为 False → apiserver 里的 Pod 对象变化。
  • EndpointSlice 控制器据此把该 Pod 地址从 Service 的后端集合里移除(kubectl get endpoints 可见)。
  • 数据面(kube-proxy/CNI)按 EndpointSlice 更新转发规则,新请求不再路由到该 Pod——从判失败到流量真正摘除,隔着「kubelet 判定 → apiserver → EndpointSlice → 数据面」的异步链路。

所以「readiness 失败摘流量」不是瞬时的。滚动发布里用 readiness 配合 maxUnavailable 控制同时摘除的副本数,本质是调节这条链路在多个副本间的并行度。readiness 是流量侧唯一的健康门,而调度决策不读它——调度只看资源与放置约束(第 3–4 章),健康状态由节点侧独立维持。

探针成本与调参

每次探测都是真实开销:exec 探针在节点上 fork 一个进程、HTTP 探针发一次 GET、TCP 探针做一次连接、gRPC 探针调一次健康接口(默认超时 1s)。节点上探针总量 ≈ 容器数 × 每容器探针数 ÷ periodSeconds——千容器节点上,每把 periodSeconds 从 10s 降到 5s,探针频率就翻倍。

调参清单:

参数默认值调参思路
periodSeconds10s取「能接受的检测延迟」,不是越小越好
timeoutSeconds1s调到真实响应所需,避免正常慢响应被误杀
failureThreshold3抖动容忍度;网络不稳时适当调大
initialDelaySeconds0慢启动优先用 startupProbe,而不是硬等固定时间
successThreshold1只有 readiness 需要 >1(多副本渐进就绪)

算一笔具体的账:单节点 500 个容器,每个容器配 2 个探针、periodSeconds=10,则探针频率是 500×2×0.1 = 100 次/秒;exec 探针每次 fork 一个进程,100 次/秒的进程创建就是可感知的节点开销。把 periodSeconds 从 10s 调到 30s,开销降到 1/3,代价是发现故障慢 3 倍。探针预算要和节点容量一起规划,而不是每个应用各配各的。

核心取舍:探测越频繁发现越快,但 CPU 与运行时开销越大。exec 探针最贵(进程创建),能用 TCP/HTTP/gRPC 就少用 exec;能用一个 liveness 探针解决的就不要三个探针叠满。

给「这个服务该配什么探针」一个可执行的答案:

服务特征建议理由
启动耗时不确定(30s–3m)加 startupProbe保护慢启动不被 liveness 误杀
Web 服务、有就绪接口readiness 用 httpGet真实业务就绪,摘流量准确
无就绪接口的后台进程readiness 用 tcpSocket只验证端口在听即可
需要检测死锁/假死liveness 用 exec/httpGet 深入检查便宜探针检测不到业务死锁
任务型短生命周期容器liveness 可不配退出即完成,无需持续健康维护

清单的核心是按「业务怎么才算好」反推探针,而不是按探针类型从大到小铺满。大多数服务的标配:1 个 readiness(管流量)+ 1 个 liveness(管生死),慢启动再加 1 个 startup——三个探针各司其职,够用就好。

与 QoS/驱逐的关系

探针判失败 不是驱逐。驱逐是另一个机制:节点资源压力(内存/磁盘)或节点失联(10.3)由 kubelet/节点控制器触发,按 QoS 顺序牺牲 Pod(BestEffort 先、Guaranteed 最后)。探针失败只导致「容器重启」或「摘流量」,Pod 仍留在节点上。

但两者会叠加:一个 BestEffort Pod 反复 liveness 失败重启,占用的资源不降反升(重启窗口重叠),节点压力增大时,驱逐顺序里它排前面。探针治的是「容器健康」,驱逐治的是「节点资源」——治理对象不同,不要混为一谈。

startup 与 liveness 组合:一个调参案例

一个真实场景:服务启动需要约 90 秒。误配的典型结果,是「启动到一半被 liveness 杀掉,无限 CrashLoopBackOff」:

错误配法:liveness 用 initialDelaySeconds=10、periodSeconds=10、failureThreshold=3
→ 约第 40 秒连续 3 次失败,容器被杀,永远起不来。

正确配法:startupProbe periodSeconds=10、failureThreshold=12(容忍最长 120s 启动)
         liveness/readiness periodSeconds=10、failureThreshold=3(启动后接管)
→ startup 判成功一次后 liveness 才生效,慢启动被保护。

要点:startup 的 failureThreshold × periodSeconds 就是「允许的最长启动时间」(例子里 12×10=120s)。它把「启动时长」从 liveness 的误杀问题里单独挪出来兜底。这也是慢启动容器的标准答案从「拉大 initialDelaySeconds」迁移到「加 startupProbe」的原因——前者是固定硬等,后者是动态判定启动完成。

三个常见误解

  • 「readiness 失败会重启容器」——错误。readiness 失败只把 Pod 从 Service endpoints 摘除,容器继续跑;只有 liveness/startup 失败才杀容器并重启。
  • 「restartPolicy=Always 的 Pod 挂了会被控制器重建」——错误。restartPolicy 决定的是 kubelet 在同一 Pod 内重启容器;Pod 整体失败(如节点失联)才由控制器重建 Pod。重启「容器」和重建「Pod」是两件事。
  • 「initialDelaySeconds 调大就能解决慢启动」——错误。固定等待对启动耗时不确定的容器不可靠:等短了 liveness 仍会误杀,等长了又拖慢就绪。startupProbe 用「连续成功」动态判定启动完成,是更稳的解法。

本节 lab

本节把探针状态机与重启策略落到 kubelet/kubelet.go 的 ProbeState、ShouldRestart 与四个测试(共 10 个断言):

cd private/labs/k8s-sched-lab
go test ./kubelet -run 'TestProbeFailureThreshold|TestProbeRecovery|TestLivenessTriggersRestart|TestRestartPolicy' -v

TestProbeFailureThreshold 验证连续失败 3 次才判不 Ready(未到阈值不误判);TestProbeRecovery 验证一次成功即清零失败计数、连续成功 2 次判就绪;TestLivenessTriggersRestart 验证 liveness 连续失败才触发重启标记;TestRestartPolicy 验证 Always 恒重启 / OnFailure 按退出码 / Never 恒不重启。这正是本节「连续成败计数 → 结论翻转 → 策略分支」状态机的最小验证。

一句话总结本节

探针与重启策略构成 kubelet 的容器健康状态机:startup 守启动、liveness 判生死、readiness 管流量;连续计数保证判死稳、恢复快;restartPolicy 把 liveness 结论翻译成重启动作,readiness 则只摘流量不重启。下一节把视角从单个 Pod 拉回整台节点——节点心跳与失联判定。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图