《Kubernetes 分布式系统原理深入解析》9.3 Quorum 类应用的有状态表达

有状态应用里有一类最麻烦:需要法定人数(Quorum)才能工作的系统,如 etcd、ZooKeeper、Raft 集群。它们对『几号节点、谁在主谁在从、节点数是否为奇数』有硬性要求。本节分类有状态应用,聚焦 Quorum 类应用在 StatefulSet 上的表达:稳定标识满足寻址、有序创建满足启动依赖、独立卷满足数据独立。lab 用 statefulset 验证这套表达。

9.3 Quorum 类应用的有状态表达

有状态应用里最难部署的一类是需要法定人数(Quorum)的系统:etcd、ZooKeeper、Consul、任何 Raft 集群。它们对节点身份、数量、启动顺序有硬性要求。本节分类有状态应用,看 StatefulSet 如何表达 Quorum 类的需求。

有状态应用的三种类型

类型特征例子需要的 K8s 表达
Leader 类一个主 + 多个从MySQL 主从、Redis 哨兵稳定标识 + 序
Quorum 类多数达成才工作etcd、ZooKeeper、Raft稳定标识 + 序 + 奇数节点
Worker 类分片工作、可寻址Kafka 分片、Cassandra稳定标识 + 独立卷

Quorum 类最严格:少于法定人数整个系统停止工作(卷一第 3 章)。StatefulSet 的表达能力恰好覆盖它的三个需求。

Quorum 类的三个硬需求

  1. 节点有身份:Raft 里每个节点是「member 0 / member 1 / member 2」,初始集群成员固定。STS 的稳定标识(web-0/web-1/web-2)正好提供。
  2. 节点数必须正确:3 或 5(奇数),容 f=(n-1)/2 故障。STS 的 desired 就是固定节点数。
  3. 启动有顺序:先起的节点初始化集群,后起的加入。STS 的有序创建(9.1 节)正好匹配。

对照 STS 能力:

Quorum 需求STS 表达
节点身份固定PodName 稳定序号
节点数固定spec.replicas
启动有序有序创建(前驱就绪)
数据独立volumeClaimTemplates(9.2 节)

StatefulSet 几乎是「Quorum 类应用的专用表达」——它的每个特性都对应 Quorum 应用的一个硬需求。

为什么不能直接用 Deployment 跑 etcd

用 Deployment 跑 etcd 会破坏三个前提:

  1. 身份随机:Pod 名随机,重建变化。Raft 成员配置的是固定地址,换地址 = 集群重构。
  2. 无启动顺序:三个 etcd 同时启动,没有「先初始化、后加入」的次序。
  3. 无独立卷:共享卷/无卷 = 数据丢失。

用 Deployment 跑 Quorum 类应用,等于让一个「要求确定性」的系统跑在「强调无状态」的平台上——结构冲突。

Quorum 类在 STS 上的典型部署

一个 3 节点 etcd 的 STS 表达:

对象值对应 Quorum 语义
replicas33 节点,容 1 故障
serviceNameetcd稳定域名寻址
volumeClaimTemplatesdata每节点独立数据卷
PodNameetcd-0/1/2固定成员身份

启动序列(有序创建):

etcd-0 就绪 → 初始化集群(第一个 member)
etcd-1 就绪 → 加入(member 2)
etcd-2 就绪 → 加入(member 3)

如果乱序(etcd-1 先起),它会等 etcd-0 就绪才能加入——STS 的序控制恰好编码了「第一个节点必须先行」的依赖。

Quorum 类的故障恢复:有序删除 + 数据保留

节点故障时,STS 的恢复路径体现 Quorum 语义:

故障行为Quorum 影响
etcd-1 崩溃重建 etcd-1(同卷,数据在)集群仍 3 节点,可恢复
多数故障集群失 quorum数据保留,等恢复
节点永久坏换节点(新 Pod 同名同卷)数据恢复后重新加入

关键点:有状态 + 独立卷让 Quorum 应用能「从数据恢复」。etcd-1 的卷保留它的日志,重建的 etcd-1 用同一卷恢复状态再重新加入集群——这是无状态平台给不了的。

集群初始化:STS 不负责的最后一环

STS 提供身份、序、独立卷,但「谁初始化 etcd 集群」不是 STS 的职责。初始化有三种模式:

模式做法适用
手动进第一个 Pod,etcd member add一次性、小规模
Job一个初始化 Job 探测成员并配置脚本化、可重复
Operator控制器自动配成员、做扩缩迁移大规模、全自动

为什么 STS 自己不初始化:STS 的调谐目标是「Pod 数量」,不是「应用集群的成员状态」。成员配置(谁加入、谁退出、quorum 状态)是应用层的状态,需要应用感知的逻辑——这正是 operator 模式(13 章)的用武之地。

初始化的重要细节:

  1. 初始成员必须与稳定标识对应:etcd-0, etcd-1, etcd-2 的初始集群配置,正是用 STS 的 Pod 名(9.1 节)。
  2. 有序创建保证第一个节点先行:等 etcd-0 就绪再初始化,是「第一个节点建立集群」的自然结果。
  3. 初始化要幂等:Job 重跑或 operator 重调,不能重复 add 成员——这是 6.2 节幂等原则在应用层的应用。

STS 是「骨架」,初始化是「灵魂」:骨架(身份/序/卷)保证集群能正确地搭起来,灵魂(成员配置)由应用层填充。

Quorum 应用升级还有一个专门要求:滚动升级也要保 quorum。STS 的滚动更新默认从最大序号开始(先 web-2 再 web-1 再 web-0),正好是「先升级非核心节点」——但若升级中途多数节点不可用,仍会丢 quorum。所以 Quorum 类升级要配「有序 + 每次只动一个」的策略(9.1 节 partition 的作用),并观察「每次升级一个节点后 quorum 是否保持」:

升级阶段节点状态quorum 是否保持
升级 web-22 旧 + 1 新是(新旧都算)
升级 web-11 旧 + 2 新是
升级 web-03 新是(最后瞬间可能抖)

Quorum 应用升级的纪律:每步之后确认「多数存活」再动下一步。这比「一步到位全部重启」慢,但保证系统在升级全程可用——有状态系统的「稳」优先于「快」。

Quorum 类 vs 非 Quorum 类:选型判断

有状态应用是否走「Quorum 完整配置」,取决于一个关键问题:节点是「可寻址的工作单元」还是「必须投票的成员」?

问题Quorum 类非 Quorum 类
少数节点挂,系统继续吗?否(丢 quorum 即停)是(分片还在)
节点间有成员协商吗?是(选举/投票)否(各自干活)
需要奇数节点吗?是否
例子etcd、ZooKeeper、ConsulKafka、Cassandra、Elasticsearch

判断方法:读卷一第 3 章的 quorum 定义,看你的应用「少数存活能不能工作」。能 → 非 Quorum(用 STS 但不用配成员);不能 → Quorum(STS + 初始化 + 奇数副本)。

这个区分决定运维复杂度:Quorum 类要多配成员管理、要多注意「缩容可能丢 quorum」、要严格奇数。选型不是「用不用 STS」,而是「STS 之上还要不要一层成员管理」。

三类有状态应用在 STS 上的运维对照:

运维动作Leader 类Quorum 类Worker 类
扩容直接扩先加成员再扩直接扩(分片迁移)
缩容直接缩先移 quorum 再缩先迁分片再缩
升级逐节点逐节点(保证 quorum)逐节点
故障恢复重调度多数还在才恢复重平衡

共同点:三类都是「先做应用层的状态动作,再做 Pod 级动作」。STS 只保证 Pod 层面的有序与稳定,应用层的成员、分片、角色状态都由上层(operator/Job/人工)在合适时机驱动。这解释了为什么有状态应用运维比无状态复杂——每步扩缩容都多了一层「应用状态先于 Pod 状态改变」的约束。

三个常见误解

  • 「Quorum 应用要奇数节点,所以 replicas 必须奇数」——对,但这是应用层约束,STS 只是按 replicas 执行;要你自己设对(3/5/7)。
  • 「STS 会自动配置 etcd 的集群成员」——错误。STS 只提供 Pod 身份与序,集群成员配置(etcd 的 member add)由初始化 Job 或 operator 完成(13 章)。
  • 「Quorum 应用不能跑在 K8s 上」——错误。可以,但要用 StatefulSet + 显式的集群初始化;用 Deployment 才不行。

本节 lab

本节验证 Quorum 应用的基础表达——有序创建与删除:

cd private/labs/k8s-ctrl-lab
go test ./controller -run 'TestStatefulSetOrderedCreate|TestStatefulSetOrderedDelete' -v
  • TestStatefulSetOrderedCreate:按 0→1→2 顺序创建,前驱未就绪不建下一个——「第一个节点先行」的编码。
  • TestStatefulSetOrderedDelete:按 2→1→0 顺序删除——「最后加入的先退出」的逆序关停。

Quorum 类应用在 STS 上的表达 = 稳定标识(身份)+ 有序创建(启动依赖)+ 独立卷(数据),再加一层应用层的成员管理(operator/Job)。STS 保证 Pod 层面的序与稳定,应用状态由上层在合适时机驱动。

最后对照卷一第 3 章收束:quorum 是「多数达成才工作」的一致性基础,Quorum 类应用在 K8s 上的部署就是「用 STS 提供身份与序,用应用层保证 quorum 状态」。两者的分工——平台给确定性的骨架,应用给一致性的灵魂——是这类应用上云的标准姿势。

本节最后留一个判断工具:看到一个有状态应用要上 K8s,先问三个问题——节点有没有稳定身份?(没有就未必用 STS)、节点间有没有依赖顺序?(有才要序控制)、少数节点挂了系统还能不能工作?(不能就是 Quorum 类)。三问对完,该用什么表达、要不要成员管理层,就都清楚了。

本节 lab 验证的正是这套表达的底座:有序创建保证「第一个节点先行」,有序删除保证「最后加入的先退出」——Quorum 应用的正确启动与关停,从这两个测试开始。

9.3 节至此完整:先按三种类型给有状态应用分类,再看 Quorum 类如何被 STS 表达,最后用三问(身份/顺序/少数存活)做选型判断——Quorum 应用上 K8s 的路就此清晰。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图