《大规模分布式计算深入解析》5.2 NameNode 高可用:QJM 与主备切换

以 Hadoop 3.4.2 解释 Active/Standby、QJM 多数派、写者 epoch 与故障转移中的 fencing。

5.2 NameNode 高可用:QJM 与主备切换

同一命名空间由一个 Active NameNode 执行元数据写入,Standby 跟随编辑日志、维护接管所需状态。DataNode 向 NameNode 发送心跳及块报告。启用自动切换时,ZKFC 负责健康监测和选主协调。

日志确认与写者隔离

以三个 JournalNode 为例,当前写者向 JN 集合提交编辑日志,任意两个有效确认构成多数派。新写者开始时建立更高的 epoch。接受更高 epoch 的 JN 会拒绝旧 epoch 的请求。两个多数派必然相交,因此旧写者无法再获得一个有效写入多数派。三节点容忍一个 JN 不可用,失去两个 JN 后无法继续安全写入。

Active 失联与接管

阶段参与者与可观察结果
检测ZKFC 或运维发现原 Active 失联,触发故障切换
隔离能联系旧 Active 时优雅降级,其他情况按部署配置执行 fencing。旧服务继续响应可能返回陈旧状态
恢复候选建立新的写者 epoch,恢复未完成日志段并追平有效 edits
激活新 Active 接受写入,客户端 HA 代理切换到可用实例

QJM 保护编辑日志的单写者边界,服务层 fencing 约束旧实例继续服务。看操作延迟时应分别测故障检测、隔离、日志追平与客户端重试。QJM 成功写日志也不会替代 DataNode 对用户数据块的复制。

来源:Hadoop 3.4.2 QJM 高可用 。

QJM 接管与旧写者隔离

三个 JournalNode 只是算例。候选无法取得新 epoch 的多数派确认时,不能安全激活。

flowchart TD
    A[监测到 Active 故障] --> B[协调选主与旧服务隔离]
    B --> C[候选请求更高写者 epoch]
    C --> D{取得 JN 多数派}
    D -->|否| E[停止激活并报告故障]
    D -->|是| F[恢复未完成日志段并追平 edits]
    F --> G[接管 Active,客户端切换]
    C --> H[接受新 epoch 的 JN 拒绝旧写者]

三个常见误解

  • “配置两个 NameNode 后可同时写”。同一命名空间同一时刻由一个 Active 写入。
  • “固定任意两份日志就够”。确认需要上一层处于有效 epoch,且数量满足当前 JN 集合的多数派。
  • “超时选主已经完成隔离”。日志写者隔离与旧服务隔离应分别检查。

一句话总结本节

QJM 多数派确认保证编辑日志能跨单节点故障,写者 epoch 保证旧写者失去提交能力,主备切换还要协调旧服务隔离和客户端切换。

本节 lab

下载 bd-fs-lab 源码 · 实验运行与版本说明

在 bd-fs-lab/ 中复现 QJM 多数派:

  • 源码:src/hdfs/MiniHDFS.java(JournalNode.down 模拟故障、QJM.log 要求多数派 ack、QJM.quorumUp 判断 quorum)与 src/hdfs/HDFSSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:HDFSSuite 用例 19/20 验证「全活时多数派提交成功」;用例 21 验证「单台故障仍构成多数派(3 台里 2 台可提交)」;用例 22 验证「超过半数故障后无法形成 quorum」。
  • 整卷 runner 的预期汇总为 TOTAL: 140 passed, 0 failed。

对应本节判断链:提交需多数派 → 容忍 1 台故障 → 超过半数故障不可用——QJM「3 台多数派」容错边界的运行证明。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路