5.2 NameNode 高可用:QJM 与主备切换
同一命名空间由一个 Active NameNode 执行元数据写入,Standby 跟随编辑日志、维护接管所需状态。DataNode 向 NameNode 发送心跳及块报告。启用自动切换时,ZKFC 负责健康监测和选主协调。
日志确认与写者隔离
以三个 JournalNode 为例,当前写者向 JN 集合提交编辑日志,任意两个有效确认构成多数派。新写者开始时建立更高的 epoch。接受更高 epoch 的 JN 会拒绝旧 epoch 的请求。两个多数派必然相交,因此旧写者无法再获得一个有效写入多数派。三节点容忍一个 JN 不可用,失去两个 JN 后无法继续安全写入。
Active 失联与接管
| 阶段 | 参与者与可观察结果 |
|---|---|
| 检测 | ZKFC 或运维发现原 Active 失联,触发故障切换 |
| 隔离 | 能联系旧 Active 时优雅降级,其他情况按部署配置执行 fencing。旧服务继续响应可能返回陈旧状态 |
| 恢复 | 候选建立新的写者 epoch,恢复未完成日志段并追平有效 edits |
| 激活 | 新 Active 接受写入,客户端 HA 代理切换到可用实例 |
QJM 保护编辑日志的单写者边界,服务层 fencing 约束旧实例继续服务。看操作延迟时应分别测故障检测、隔离、日志追平与客户端重试。QJM 成功写日志也不会替代 DataNode 对用户数据块的复制。
来源:Hadoop 3.4.2 QJM 高可用 。
QJM 接管与旧写者隔离
三个 JournalNode 只是算例。候选无法取得新 epoch 的多数派确认时,不能安全激活。
flowchart TD
A[监测到 Active 故障] --> B[协调选主与旧服务隔离]
B --> C[候选请求更高写者 epoch]
C --> D{取得 JN 多数派}
D -->|否| E[停止激活并报告故障]
D -->|是| F[恢复未完成日志段并追平 edits]
F --> G[接管 Active,客户端切换]
C --> H[接受新 epoch 的 JN 拒绝旧写者]
三个常见误解
- “配置两个 NameNode 后可同时写”。同一命名空间同一时刻由一个 Active 写入。
- “固定任意两份日志就够”。确认需要上一层处于有效 epoch,且数量满足当前 JN 集合的多数派。
- “超时选主已经完成隔离”。日志写者隔离与旧服务隔离应分别检查。
一句话总结本节
QJM 多数派确认保证编辑日志能跨单节点故障,写者 epoch 保证旧写者失去提交能力,主备切换还要协调旧服务隔离和客户端切换。
本节 lab
在 bd-fs-lab/ 中复现 QJM 多数派:
- 源码:
src/hdfs/MiniHDFS.java(JournalNode.down模拟故障、QJM.log要求多数派 ack、QJM.quorumUp判断 quorum)与src/hdfs/HDFSSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
HDFSSuite用例 19/20 验证「全活时多数派提交成功」;用例 21 验证「单台故障仍构成多数派(3 台里 2 台可提交)」;用例 22 验证「超过半数故障后无法形成 quorum」。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:提交需多数派 → 容忍 1 台故障 → 超过半数故障不可用——QJM「3 台多数派」容错边界的运行证明。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。