《大规模分布式计算深入解析》4.3 append、块校验与恢复

默认append先填未满尾块,NEW_BLOCK另走新块;校验、复制和恢复边界分别解释。

4.3 append、块校验与恢复

HDFS的追加不允许任意位置覆盖,但默认append并非“只增加新块”。关闭的文件若最后一个复制块未满,重新append通常继续填充该块;满块或指定NEW_BLOCK时才分配新块。关闭文件也不意味着未满尾块永远禁止重新打开追加。

两条追加路径

条件块布局应观察的值
默认append,尾块未满原尾块延长,必要时再分新块原block ID、字节数与内容
默认append,尾块已满分配新块新block ID
APPEND+NEW_BLOCK保留原未满尾块并另分块块数增加,原尾块不填
原写者未结束/恢复未完成可能拒绝或恢复中租约、generation与异常

本节限定复制文件;纠删码布局的append能力按版本和API支持另判,不能照搬复制块行为。

机制图

flowchart TD
  A["append已存在文件"] --> L["核对租约/恢复与布局支持"]
  L --> N{"指定NEW_BLOCK?"}
  N -- 是 --> NEW["分配新块,保留原尾块长度"]
  N -- 否 --> P{"最后块未满且可继续?"}
  P -- 是 --> EXT["开启相应管线并填尾块剩余空间"]
  P -- 否 --> NEW
  EXT --> MORE{"仍有待写字节?"}
  MORE -- 是 --> NEW
  MORE -- 否 --> ACK["按写入/flush/sync/close合同分别确认"]
  NEW --> ACK

校验与恢复的职责

HDFS按chunk保存校验数据,客户端读时及DataNode相应扫描可以发现随机损坏;配置影响算法、粒度和是否检查。CRC不是密码学认证,不能据它声称被攻陷的DataNode无法伪造数据。校验失败的副本、换副本读取与NameNode补冗余是不同动作,不保证坏副本一被发现就瞬间回到目标冗余。

hflush可见、hsync同步、close元数据完成和副本数量各有合同;普通packet ACK不能直接替代设备断电保证。尾块恢复还要同步代际/有效长度,详见3.3。

可复现布局

教学块64B,写60B再append10B,得到64B和6B两个块;再NEW_BLOCK追加1B,变成三个块,第二块仍6B。模型修改各在线副本字节和尾块长度,不等价真实包确认或generation协议。

原生AppendLeaseProbe先close含2字节的文件,默认追加1字节仍保持同一block ID且总长3,再NEW_BLOCK追加1字节产生第二块。Probe另验证hflush新读取流可见、停一实际管线成员后3→2、hsync和close后内容完整。两者需新的隔离数据目录。

一手实现

DFSOutputStream的append构造 · 文件输出流合同 。

实验入口

下载Java教学包 · Hadoop原生探针 · 运行说明 。在解包目录执行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll,预期140条通过。具体模型与原生断言的范围见README,不把未执行的产品故障记为实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路