《大规模分布式计算深入解析》4.1 写入流程:pipeline 复制与 ack

跟踪一条 HDFS 写管线的分配、packet ACK、同步与故障重建,区分读者可见、设备同步和文件完成。

4.1 写入流程:pipeline 复制与 ack

Hadoop 3.4.2 的复制块写入由 DFSClient 驱动。客户端向 NameNode 申请块,NameNode 按放置策略返回目标 DataNode。假定本例的初始目标有三个,客户端将带校验信息的 packet 发给 DN1,DN1 转发给 DN2,DN2 再转发给 DN3。多个 packet 可同时在途。NameNode 维护块和目标节点等元数据,数据载荷经 DataNode 流转。

确认、可见性与持久性

事件读者可以据此判断什么
普通 packet ACK当前管线已对该 packet 成功响应,客户端可推进待确认队列
hflush() 返回已冲刷的数据可供新打开的读取流观察,原有读取流可能需要重新打开
hsync() 返回已同步的数据按同步契约被推到存储设备层,设备内部缓存仍受设备契约约束
close() 成功客户端完成写入,文件从构建中走到完成状态。额外的设备同步要求仍应按同步契约处理

块长度、文件长度的元数据查询和读取流可观察的内容也有不同更新路径。监测仍在写入的文件时,分别记录读到的字节和 NameNode 返回的长度。

当前管线失败后的重放

例如在 DN2 把 packet 7 转发给 DN3 后,DN3 断开,客户端没有得到该 packet 的成功 ACK。客户端从错误状态识别坏节点,协调更新块的 generation stamp 与管线信息,按可用节点及替换策略重建管线,再发送待确认 packet。副本使用块身份、代次以及字节位置处理恢复边界。若只剩两个可用节点,是否继续、补节点或失败取决于配置和写入状态。目标副本数由副本恢复机制继续维护。

三副本的链式路径让客户端只向首跳发送一份数据,后续传输由 DataNode 承担。性能诊断应同时观察发送窗口、节点间带宽和 ACK 延迟。实际 packet 选项与上限以所部署版本为准。

来源:HDFS 设计 、Hadoop Syncable 契约 。

HDFS 写入时序示意

三副本是此例初始配置。普通 packet ACK 与调用者要求的同步阶段分别标示。

sequenceDiagram
    participant C as DFSClient
    participant N as NameNode
    participant A as DataNode 1
    participant B as DataNode 2
    participant D as DataNode 3
    C->>N: 获取块与写入目标
    N-->>C: 返回块和目标列表
    C->>A: packet k
    A->>B: 转发 packet k
    B->>D: 转发 packet k
    alt 当前管线全部确认
        D-->>B: 本跳状态
        B-->>A: 汇总状态
        A-->>C: packet k ACK
        opt 应用请求持久同步
            C->>A: hsync 对应同步请求
            Note over A,D: 当前管线执行同步
            A-->>C: 同步请求完成
        end
    else 遇到管线错误
        A-->>C: 错误或超时
        C->>N: 协调恢复与更新块信息
        Note over C,D: 重建当前管线并重发待确认 packet
    end

三个常见误解

  • “初始三副本意味着每次 ACK 都来自三台机器”。确认对应当时的活动管线。
  • “普通 ACK 等于持久同步”。应用对设备同步有要求时,需要使用同步 API 并处理失败。
  • “恢复要重发整个文件”。客户端利用已确认位置和当前块的恢复状态缩小重发范围。

一句话总结本节

写入管线负责复制与逐包确认,应用同步调用决定可见与同步语义,管线恢复按代次和待确认位置延续写入。

本节 lab

下载 bd-fs-lab 源码 · 实验运行与版本说明

HDFSSuite 用例 1–2 验证教学模型的副本数、跨机架放置和内容一致。执行整卷 runner 可看到 TOTAL: 140 passed, 0 failed。原生 HDFS 实验进一步观察写入未关闭时的可见性,以及停止管线节点后继续写入的结果。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路