3.1 HDFS 架构:NameNode/DataNode 职责
MapReduce 需要一个「存得下全量数据、且每个块有确定位置」的存储层,这就是 HDFS(Hadoop Distributed File System)。这一节讲它的主从架构,重点在职责分离——谁管元数据、谁管数据,以及为什么这样拆。
一个文件系统的两个问题
任何文件系统要解决两件事:
- 元数据问题:文件叫什么、目录结构、每个文件由哪些块组成、每个块在哪些机器上。
- 数据问题:文件内容本身(块的字节数据)存哪里、怎么冗余、怎么读写。
单机文件系统把两者都放在本地磁盘。HDFS 把两者彻底拆开:元数据归 NameNode 管,数据归 DataNode 管。
┌─────────────────────┐
│ NameNode(元数据)│ ← 目录树、块位置表(不存数据)
└─────────────────────┘
▲ 心跳/块报告 ▲ 读写指令(仅元数据)
┌──────┴───────┬─────────────┴────────┐
│ DataNode │ DataNode │ DataNode
│ 块数据 │ 块数据 │ 块数据
└──────────────┴──────────────────────┘
NameNode:元数据的大脑
NameNode 负责三件事:
- 命名空间管理:维护目录树,映射「路径 → 该文件的块列表」。这是 HDFS 的「文件系统」语义所在。
- 块位置跟踪:维护「块 → 副本所在 DataNode 列表」。DataNode 启动时上报自己持有的块(块报告 block report),运行时周期性更新;NameNode 据此回答「某块在哪些机器上」——调度器做本地性判断就要用这个表。
- 副本管理:决定每块该有 3 个副本、副本放哪(机架感知放置,见 3.2)、副本不足时触发补副本。
NameNode 不参与数据流动:客户端读写数据直接跟 DataNode 通信,NameNode 只告诉客户端「这个文件有哪些块、各在哪」。
DataNode:数据的仓库
DataNode 是普通节点,负责:
- 存块:把块以本地文件的形式存在磁盘上,一个块一个/几个本地文件。
- 上报:周期向 NameNode 上报块报告与心跳,证明自己活着、自己有什么。
- 服务读写:响应客户端的读块、写块(配合写入 pipeline,见第 4 章)。
- 参与复制/删除:按 NameNode 指令复制块(补副本)、删除块、校验数据。
DataNode 是「无脑的仓库」:它不决策,只执行 NameNode 的元数据指令。设计上故意让 DataNode 保持简单、可替换、可大规模水平扩展。
职责分离:为什么这样拆
把元数据与数据分开是 HDFS 设计的核心决策,理由有三:
- 数据可以廉价地横扩展:DataNode 只是「存块的普通机器」,加机器就扩容,且互相不依赖(每个 DataNode 只管自己的块)。
- 元数据可以精确地可靠化:元数据量小(一个块位置表几行),可以把可靠性做得很高(QJM 日志复制、主备切换,第 5 章)而不牺牲性能——因为「保证元数据可靠」的成本与「数据量」解耦。
- 调度需要中央目录:计算调度要按「块在哪」做本地性判断,所以「块位置表」必须是一个全局一致的视图——由唯一的 NameNode 维护,各调度器查它。分布式地分散存元数据会导致「看不到全局」,这正是下一节讲的单 NameNode 的边界。
一句话:把「小而重要、需要全局一致」的元数据交给一个精心保障可靠的节点;把「大而普通、需要水平扩展」的数据交给一群廉价节点。 这个分工在分布式系统里反复出现(K8s 的 etcd + 节点数据同理)。
单 NameNode 的性能与可用性边界
职责分离有代价:NameNode 成为单点。它的三个限制是理解后续章节的线索:
- 内存边界:整个命名空间(目录树 + 块位置)要常驻 NameNode 内存,所以「能管多少文件」受单机内存限制(HDFS 一个块的元数据约几百字节,内存 64 GB 可管约 1–2 亿块)。超过就要联邦(第 5 章)。
- 吞吐边界:所有「创建/删除/列出」的元数据操作都过 NameNode,它是元数据操作的串行瓶颈。数据读写不走它,所以吞吐大头(数据流)不受影响。
- 可用性边界:NameNode 挂了,元数据操作全停——文件系统「目录层」不可用(已部署的数据读写会受影响)。所以必须做 HA(第 5 章),让元数据高可用追上数据的高可用。
NameNode 的两种持久化:fsimage 与 edits log
NameNode 的元数据不能只放内存(重启即丢),要持久化。持久化分两部分,这一对概念后面(5.2 的 QJM)还会用到:
| 文件 | 内容 | 写入时机 | 特点 |
|---|---|---|---|
| fsimage | 元数据的完整快照(目录树 + 块位置) | 周期性(如 1 小时)或触发时 | 大,但写入低频 |
| edits log | 两次快照之间的增量操作日志(每条「创建/删除/改名」) | 每次元数据操作实时追加 | 小,写入高频 |
NameNode 启动/恢复时「加载 fsimage + 重放 edits log」得到最新元数据。fsimage 是基线、edits 是增量——这是「快照 + 日志」的组合,与数据库的 checkpoint + WAL 同理。edits log 的可靠性是 NameNode HA 的核心(5.2 用 QJM 复制它)。
元数据的内存模型:为什么会成为容量瓶颈
NameNode 的元数据是「树状结构 + 大量小对象」,内存占用可观:
- 每个文件/目录 ≈ 150–300 字节(名字、权限、时间戳、INode 对象)。
- 每块 ≈ 150–250 字节(块 ID、大小、副本位置列表)。
- 1 亿个文件 + 每文件 4 块 ≈ 6–10 GB 常驻内存。
这正是 5.3 联邦要拆的「内存墙」:一个 NameNode 能管多少文件 ≈ 内存 ÷ 每项元数据字节数。这也是为什么 HDFS 文档建议「每块 128 MB、文件数受内存限制」——块越大,同样容量下块数越少,元数据越省。
客户端如何与 NameNode/DataNode 交互(协议视角)
客户端一次「创建文件 + 写数据」的协议序列,直观展示「NameNode 管元数据、DataNode 管数据」的分工:
- 客户端
create(path)→ NameNode 校验权限、登记文件 → 返回成功。 - 客户端对每个块:
addBlock→ NameNode 返回「按机架感知选好的 3 个 DataNode」。 - 客户端直连第一个 DataNode 建立 pipeline,写入块数据(4.1)。
- 全部写完:客户端
close(path)→ NameNode 确认文件「已提交」。
注意第 2、3 步:块位置的决策在 NameNode,块数据的流动在客户端与 DataNode 之间——这正是「元数据与数据分离」在协议层面的体现。读路径同理(4.2 定位走 NameNode、数据走 DataNode)。
HDFS 架构与其他存储的对照
把 HDFS 的架构放在更广的坐标里,理解「为什么这么设计」:
| 系统 | 元数据/协调 | 数据/分片 | 一致性 | 适用 |
|---|---|---|---|---|
| HDFS | NameNode(单点,HA) | DataNode(块) | write-once + 租约 | 批处理大数据 |
| 对象存储(S3/OSS) | 无中心目录,桶 + 对象键 | 对象(无分片概念) | 最终一致(S3 读后写) | 云原生存储底座 |
| 本地文件系统 | 内核 inode 表 | 本地盘 | 单机强一致 | 单机 |
| K8s + etcd | etcd(Raft 多数派) | 节点数据 + 远程卷 | 线性一致 | 容器编排 |
HDFS 的特点是与「批处理计算」深度绑定:块 = 调度单元、本地性 = 计算优化、write-once = 只读输入承诺。它不是为了「通用文件系统」设计的,而是为了「给 MapReduce 一个理想的输入层」设计的——理解这一点,才理解它的很多「反常识」选择(单写者、大块、不支持随机写)。
NameNode 的读写路径:为什么元数据不成为瓶颈
很多人担心「NameNode 是单点,所有操作都过它,会不会成为瓶颈」。答案藏在「元数据操作与数据操作分离」的细节里。看一次写文件的路径:
| 步骤 | 过 NameNode? | 数据量 | 说明 |
|---|---|---|---|
| 创建文件 | 是 | 几个字节 | 登记目录项 |
| 申请块位置 | 是 | 几个字节 | 返回 3 个 DataNode 地址 |
| 写块数据(pipeline) | 否 | GB 级 | 客户端 ↔ DataNode 直连 |
| 关闭文件 | 是 | 几个字节 | 确认块列表、登记完成 |
NameNode 只处理每文件、每块一次的小请求(创建、申请、关闭),而数据流量(GB 级)完全不经过它。所以 NameNode 的吞吐边界由「每秒元数据操作数」决定,而不是「每秒数据字节数」——大数据量作业的瓶颈在数据面,不在 NameNode。
更精确地说,NameNode 的元数据操作是「每块一次」级别:一个 1 TB 文件 = 约 8000 个块,写它产生约 8000 次 addBlock 请求(每次几字节),而数据流量是 1 TB。元数据操作数与数据量之比随块增大而下降——这正是 3.2 选大块的又一个理由,也是「元数据不是瓶颈」这句话的条件:只要块够大、元数据操作频率可控,NameNode 就不是数据路径的瓶颈。
一条贯穿 HDFS 的主线:元数据与数据的分层
把 HDFS 架构放在「元数据/数据分层」的视角下,它与其他系统共享同一套逻辑:
| 系统 | 元数据层 | 数据层 | 分层收益 |
|---|---|---|---|
| HDFS | NameNode(目录 + 块位置) | DataNode(块) | 数据横扩展、元数据精可靠 |
| 数据库 | 数据字典/索引 | 表数据文件 | 索引快、数据大 |
| 对象存储 | Bucket/对象索引 | 对象数据 | 海量对象、扁平索引 |
| 大数据湖 | Catalog/元数据服务 | 对象存储/文件 | 多引擎共享目录 |
「元数据小而关键、数据大而平凡,因此把两者分离管理」是分布式存储的通用骨架——HDFS 的 NameNode 只是这个骨架的一个实例。理解这个通用骨架,后续读卷四数据湖的 Catalog、以及站内其他存储专题时,都能直接复用这套视角。
这也是 3.1 的「收束」:HDFS 架构不是一堆孤立组件,而是「元数据与数据分层」原则的一次具体实现。之后的章节(块、放置、租约、写读、HA、联邦)都是在「分层」这个骨架上补肉。
HDFS 元数据面与块数据面
客户端从 NameNode 获得可访问的块信息,随后与 DataNode 传输数据。HA 的编辑日志走独立通道。
flowchart LR
C[DFSClient] -->|创建、打开及块位置 RPC| N[Active NameNode]
N -->|同步 edits| J[(JournalNode 多数派)]
J -->|回放日志| S[Standby NameNode]
C -->|读写块| D[DataNode 数据面]
D -->|块报告及心跳| N
D -->|块报告及心跳| S
三个常见误解
误解一:NameNode 存数据,DataNode 存备份。 真相:NameNode 只存元数据(目录树 + 块位置表),不存任何文件内容;所有文件内容都作为块存在 DataNode 上,并且块本来就有 3 个副本分布在 DataNode 上。NameNode 挂掉丢的是「地图」,不是「数据」。
误解二:读写数据都要经过 NameNode。 真相:NameNode 只在建立/定位时参与(告诉客户端块在哪),数据字节流是客户端与 DataNode 直连传输的。这也是为什么 NameNode 不会成为数据吞吐瓶颈——它只处理元数据小请求,不碰大数据流。
误解三:DataNode 之间有副本同步协议。 真相:DataNode 之间不主动互相协调副本——补副本、删副本都是 NameNode 下发指令执行。副本冗余(pipeline 写入、坏块恢复)由「客户端写入 + NameNode 调度」共同完成,DataNode 保持无状态、可替换。
DataNode 的「无状态」意味着什么
说 DataNode 是「无脑仓库」,精确含义是:DataNode 不保存「哪个文件由哪些块组成」这类全局信息,只知道自己本地存了哪些块。
- DataNode 启动时把本地块列表上报给 NameNode(块报告);NameNode 汇总所有报告得到全局「块 → 副本位置」表。
- DataNode 挂了,NameNode 只要把它从副本位置表中移除即可——没有任何 DataNode 是「不可替代」的。
- 因此加节点、换节点都不需要「数据迁移协议」:新节点加入后,NameNode 把需要补副本的块派给它复制。
无状态带来的工程价值:DataNode 可以廉价地水平扩展、随时替换、随意故障——这是数据层高可用的根源(块有 3 副本 + 任意节点可替换)。
一句话总结本节
HDFS 用主从架构把「小而重要的元数据」与「大而普通的数据」分离:NameNode 维护目录树与块位置表(全局一致、精保障可靠)、不碰数据流,DataNode 存块、上报心跳与块报告、响应读写;分离换来了数据的廉价横扩展,代价是 NameNode 成为内存、吞吐、可用性三个边界上的单点。
本章实现对照
本节 lab
在 bd-fs-lab/ 中复现 NameNode/DataNode 分工:
- 源码:
src/hdfs/MiniHDFS.java(NameNode持fileTable目录树与blocks块位置表,DataNode持块数据)与src/hdfs/HDFSSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
HDFSSuite用例 1 验证「写入后文件存在、块有 3 个副本、读取内容一致」——数据读写直接作用于 DataNode,NameNode 只维护元数据。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:写入 pipeline 落到 3 个 DataNode 副本、NameNode 只更新目录与块位置表——主从职责分离在代码里的最小形态。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。