《大规模分布式计算深入解析》3.1 HDFS 架构:NameNode/DataNode 职责

HDFS 的主从架构:NameNode 只存元数据(目录树、块位置)不存数据,DataNode 只存数据块。讲清职责分离为什么是设计的核心——把「元数据可靠」和「数据可靠」拆成两个独立问题——以及单 NameNode 的性能与可用性边界(为 HA 章节铺垫)。lab 用迷你 HDFS 复现文件写读。

3.1 HDFS 架构:NameNode/DataNode 职责

MapReduce 需要一个「存得下全量数据、且每个块有确定位置」的存储层,这就是 HDFS(Hadoop Distributed File System)。这一节讲它的主从架构,重点在职责分离——谁管元数据、谁管数据,以及为什么这样拆。

一个文件系统的两个问题

任何文件系统要解决两件事:

  1. 元数据问题:文件叫什么、目录结构、每个文件由哪些块组成、每个块在哪些机器上。
  2. 数据问题:文件内容本身(块的字节数据)存哪里、怎么冗余、怎么读写。

单机文件系统把两者都放在本地磁盘。HDFS 把两者彻底拆开:元数据归 NameNode 管,数据归 DataNode 管。

        ┌─────────────────────┐
        │    NameNode(元数据)│  ← 目录树、块位置表(不存数据)
        └─────────────────────┘
         ▲ 心跳/块报告         ▲ 读写指令(仅元数据)
  ┌──────┴───────┬─────────────┴────────┐
  │ DataNode     │ DataNode              │ DataNode
  │ 块数据       │ 块数据                │ 块数据
  └──────────────┴──────────────────────┘

NameNode:元数据的大脑

NameNode 负责三件事:

  • 命名空间管理:维护目录树,映射「路径 → 该文件的块列表」。这是 HDFS 的「文件系统」语义所在。
  • 块位置跟踪:维护「块 → 副本所在 DataNode 列表」。DataNode 启动时上报自己持有的块(块报告 block report),运行时周期性更新;NameNode 据此回答「某块在哪些机器上」——调度器做本地性判断就要用这个表。
  • 副本管理:决定每块该有 3 个副本、副本放哪(机架感知放置,见 3.2)、副本不足时触发补副本。

NameNode 不参与数据流动:客户端读写数据直接跟 DataNode 通信,NameNode 只告诉客户端「这个文件有哪些块、各在哪」。

DataNode:数据的仓库

DataNode 是普通节点,负责:

  • 存块:把块以本地文件的形式存在磁盘上,一个块一个/几个本地文件。
  • 上报:周期向 NameNode 上报块报告与心跳,证明自己活着、自己有什么。
  • 服务读写:响应客户端的读块、写块(配合写入 pipeline,见第 4 章)。
  • 参与复制/删除:按 NameNode 指令复制块(补副本)、删除块、校验数据。

DataNode 是「无脑的仓库」:它不决策,只执行 NameNode 的元数据指令。设计上故意让 DataNode 保持简单、可替换、可大规模水平扩展。

职责分离:为什么这样拆

把元数据与数据分开是 HDFS 设计的核心决策,理由有三:

  1. 数据可以廉价地横扩展:DataNode 只是「存块的普通机器」,加机器就扩容,且互相不依赖(每个 DataNode 只管自己的块)。
  2. 元数据可以精确地可靠化:元数据量小(一个块位置表几行),可以把可靠性做得很高(QJM 日志复制、主备切换,第 5 章)而不牺牲性能——因为「保证元数据可靠」的成本与「数据量」解耦。
  3. 调度需要中央目录:计算调度要按「块在哪」做本地性判断,所以「块位置表」必须是一个全局一致的视图——由唯一的 NameNode 维护,各调度器查它。分布式地分散存元数据会导致「看不到全局」,这正是下一节讲的单 NameNode 的边界。

一句话:把「小而重要、需要全局一致」的元数据交给一个精心保障可靠的节点;把「大而普通、需要水平扩展」的数据交给一群廉价节点。 这个分工在分布式系统里反复出现(K8s 的 etcd + 节点数据同理)。

单 NameNode 的性能与可用性边界

职责分离有代价:NameNode 成为单点。它的三个限制是理解后续章节的线索:

  • 内存边界:整个命名空间(目录树 + 块位置)要常驻 NameNode 内存,所以「能管多少文件」受单机内存限制(HDFS 一个块的元数据约几百字节,内存 64 GB 可管约 1–2 亿块)。超过就要联邦(第 5 章)。
  • 吞吐边界:所有「创建/删除/列出」的元数据操作都过 NameNode,它是元数据操作的串行瓶颈。数据读写不走它,所以吞吐大头(数据流)不受影响。
  • 可用性边界:NameNode 挂了,元数据操作全停——文件系统「目录层」不可用(已部署的数据读写会受影响)。所以必须做 HA(第 5 章),让元数据高可用追上数据的高可用。

NameNode 的两种持久化:fsimage 与 edits log

NameNode 的元数据不能只放内存(重启即丢),要持久化。持久化分两部分,这一对概念后面(5.2 的 QJM)还会用到:

文件内容写入时机特点
fsimage元数据的完整快照(目录树 + 块位置)周期性(如 1 小时)或触发时大,但写入低频
edits log两次快照之间的增量操作日志(每条「创建/删除/改名」)每次元数据操作实时追加小,写入高频

NameNode 启动/恢复时「加载 fsimage + 重放 edits log」得到最新元数据。fsimage 是基线、edits 是增量——这是「快照 + 日志」的组合,与数据库的 checkpoint + WAL 同理。edits log 的可靠性是 NameNode HA 的核心(5.2 用 QJM 复制它)。

元数据的内存模型:为什么会成为容量瓶颈

NameNode 的元数据是「树状结构 + 大量小对象」,内存占用可观:

  • 每个文件/目录 ≈ 150–300 字节(名字、权限、时间戳、INode 对象)。
  • 每块 ≈ 150–250 字节(块 ID、大小、副本位置列表)。
  • 1 亿个文件 + 每文件 4 块 ≈ 6–10 GB 常驻内存。

这正是 5.3 联邦要拆的「内存墙」:一个 NameNode 能管多少文件 ≈ 内存 ÷ 每项元数据字节数。这也是为什么 HDFS 文档建议「每块 128 MB、文件数受内存限制」——块越大,同样容量下块数越少,元数据越省。

客户端如何与 NameNode/DataNode 交互(协议视角)

客户端一次「创建文件 + 写数据」的协议序列,直观展示「NameNode 管元数据、DataNode 管数据」的分工:

  1. 客户端 create(path) → NameNode 校验权限、登记文件 → 返回成功。
  2. 客户端对每个块:addBlock → NameNode 返回「按机架感知选好的 3 个 DataNode」。
  3. 客户端直连第一个 DataNode 建立 pipeline,写入块数据(4.1)。
  4. 全部写完:客户端 close(path) → NameNode 确认文件「已提交」。

注意第 2、3 步:块位置的决策在 NameNode,块数据的流动在客户端与 DataNode 之间——这正是「元数据与数据分离」在协议层面的体现。读路径同理(4.2 定位走 NameNode、数据走 DataNode)。

HDFS 架构与其他存储的对照

把 HDFS 的架构放在更广的坐标里,理解「为什么这么设计」:

系统元数据/协调数据/分片一致性适用
HDFSNameNode(单点,HA)DataNode(块)write-once + 租约批处理大数据
对象存储(S3/OSS)无中心目录,桶 + 对象键对象(无分片概念)最终一致(S3 读后写)云原生存储底座
本地文件系统内核 inode 表本地盘单机强一致单机
K8s + etcdetcd(Raft 多数派)节点数据 + 远程卷线性一致容器编排

HDFS 的特点是与「批处理计算」深度绑定:块 = 调度单元、本地性 = 计算优化、write-once = 只读输入承诺。它不是为了「通用文件系统」设计的,而是为了「给 MapReduce 一个理想的输入层」设计的——理解这一点,才理解它的很多「反常识」选择(单写者、大块、不支持随机写)。

NameNode 的读写路径:为什么元数据不成为瓶颈

很多人担心「NameNode 是单点,所有操作都过它,会不会成为瓶颈」。答案藏在「元数据操作与数据操作分离」的细节里。看一次写文件的路径:

步骤过 NameNode?数据量说明
创建文件是几个字节登记目录项
申请块位置是几个字节返回 3 个 DataNode 地址
写块数据(pipeline)否GB 级客户端 ↔ DataNode 直连
关闭文件是几个字节确认块列表、登记完成

NameNode 只处理每文件、每块一次的小请求(创建、申请、关闭),而数据流量(GB 级)完全不经过它。所以 NameNode 的吞吐边界由「每秒元数据操作数」决定,而不是「每秒数据字节数」——大数据量作业的瓶颈在数据面,不在 NameNode。

更精确地说,NameNode 的元数据操作是「每块一次」级别:一个 1 TB 文件 = 约 8000 个块,写它产生约 8000 次 addBlock 请求(每次几字节),而数据流量是 1 TB。元数据操作数与数据量之比随块增大而下降——这正是 3.2 选大块的又一个理由,也是「元数据不是瓶颈」这句话的条件:只要块够大、元数据操作频率可控,NameNode 就不是数据路径的瓶颈。

一条贯穿 HDFS 的主线:元数据与数据的分层

把 HDFS 架构放在「元数据/数据分层」的视角下,它与其他系统共享同一套逻辑:

系统元数据层数据层分层收益
HDFSNameNode(目录 + 块位置)DataNode(块)数据横扩展、元数据精可靠
数据库数据字典/索引表数据文件索引快、数据大
对象存储Bucket/对象索引对象数据海量对象、扁平索引
大数据湖Catalog/元数据服务对象存储/文件多引擎共享目录

「元数据小而关键、数据大而平凡,因此把两者分离管理」是分布式存储的通用骨架——HDFS 的 NameNode 只是这个骨架的一个实例。理解这个通用骨架,后续读卷四数据湖的 Catalog、以及站内其他存储专题时,都能直接复用这套视角。

这也是 3.1 的「收束」:HDFS 架构不是一堆孤立组件,而是「元数据与数据分层」原则的一次具体实现。之后的章节(块、放置、租约、写读、HA、联邦)都是在「分层」这个骨架上补肉。

HDFS 元数据面与块数据面

客户端从 NameNode 获得可访问的块信息,随后与 DataNode 传输数据。HA 的编辑日志走独立通道。

flowchart LR
    C[DFSClient] -->|创建、打开及块位置 RPC| N[Active NameNode]
    N -->|同步 edits| J[(JournalNode 多数派)]
    J -->|回放日志| S[Standby NameNode]
    C -->|读写块| D[DataNode 数据面]
    D -->|块报告及心跳| N
    D -->|块报告及心跳| S

三个常见误解

误解一:NameNode 存数据,DataNode 存备份。 真相:NameNode 只存元数据(目录树 + 块位置表),不存任何文件内容;所有文件内容都作为块存在 DataNode 上,并且块本来就有 3 个副本分布在 DataNode 上。NameNode 挂掉丢的是「地图」,不是「数据」。

误解二:读写数据都要经过 NameNode。 真相:NameNode 只在建立/定位时参与(告诉客户端块在哪),数据字节流是客户端与 DataNode 直连传输的。这也是为什么 NameNode 不会成为数据吞吐瓶颈——它只处理元数据小请求,不碰大数据流。

误解三:DataNode 之间有副本同步协议。 真相:DataNode 之间不主动互相协调副本——补副本、删副本都是 NameNode 下发指令执行。副本冗余(pipeline 写入、坏块恢复)由「客户端写入 + NameNode 调度」共同完成,DataNode 保持无状态、可替换。

DataNode 的「无状态」意味着什么

说 DataNode 是「无脑仓库」,精确含义是:DataNode 不保存「哪个文件由哪些块组成」这类全局信息,只知道自己本地存了哪些块。

  • DataNode 启动时把本地块列表上报给 NameNode(块报告);NameNode 汇总所有报告得到全局「块 → 副本位置」表。
  • DataNode 挂了,NameNode 只要把它从副本位置表中移除即可——没有任何 DataNode 是「不可替代」的。
  • 因此加节点、换节点都不需要「数据迁移协议」:新节点加入后,NameNode 把需要补副本的块派给它复制。

无状态带来的工程价值:DataNode 可以廉价地水平扩展、随时替换、随意故障——这是数据层高可用的根源(块有 3 副本 + 任意节点可替换)。

一句话总结本节

HDFS 用主从架构把「小而重要的元数据」与「大而普通的数据」分离:NameNode 维护目录树与块位置表(全局一致、精保障可靠)、不碰数据流,DataNode 存块、上报心跳与块报告、响应读写;分离换来了数据的廉价横扩展,代价是 NameNode 成为内存、吞吐、可用性三个边界上的单点。

本章实现对照

HDFS 块、机架与副本

本节 lab

下载 bd-fs-lab 源码 · 实验运行与版本说明

在 bd-fs-lab/ 中复现 NameNode/DataNode 分工:

  • 源码:src/hdfs/MiniHDFS.java(NameNode 持 fileTable 目录树与 blocks 块位置表,DataNode 持块数据)与 src/hdfs/HDFSSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:HDFSSuite 用例 1 验证「写入后文件存在、块有 3 个副本、读取内容一致」——数据读写直接作用于 DataNode,NameNode 只维护元数据。
  • 整卷 runner 的预期汇总为 TOTAL: 140 passed, 0 failed。

对应本节判断链:写入 pipeline 落到 3 个 DataNode 副本、NameNode 只更新目录与块位置表——主从职责分离在代码里的最小形态。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路