4.3 append、块校验与恢复
HDFS的追加不允许任意位置覆盖,但默认append并非“只增加新块”。关闭的文件若最后一个复制块未满,重新append通常继续填充该块;满块或指定NEW_BLOCK时才分配新块。关闭文件也不意味着未满尾块永远禁止重新打开追加。
两条追加路径
| 条件 | 块布局 | 应观察的值 |
|---|---|---|
| 默认append,尾块未满 | 原尾块延长,必要时再分新块 | 原block ID、字节数与内容 |
| 默认append,尾块已满 | 分配新块 | 新block ID |
| APPEND+NEW_BLOCK | 保留原未满尾块并另分块 | 块数增加,原尾块不填 |
| 原写者未结束/恢复未完成 | 可能拒绝或恢复中 | 租约、generation与异常 |
本节限定复制文件;纠删码布局的append能力按版本和API支持另判,不能照搬复制块行为。
机制图
flowchart TD
A["append已存在文件"] --> L["核对租约/恢复与布局支持"]
L --> N{"指定NEW_BLOCK?"}
N -- 是 --> NEW["分配新块,保留原尾块长度"]
N -- 否 --> P{"最后块未满且可继续?"}
P -- 是 --> EXT["开启相应管线并填尾块剩余空间"]
P -- 否 --> NEW
EXT --> MORE{"仍有待写字节?"}
MORE -- 是 --> NEW
MORE -- 否 --> ACK["按写入/flush/sync/close合同分别确认"]
NEW --> ACK
校验与恢复的职责
HDFS按chunk保存校验数据,客户端读时及DataNode相应扫描可以发现随机损坏;配置影响算法、粒度和是否检查。CRC不是密码学认证,不能据它声称被攻陷的DataNode无法伪造数据。校验失败的副本、换副本读取与NameNode补冗余是不同动作,不保证坏副本一被发现就瞬间回到目标冗余。
hflush可见、hsync同步、close元数据完成和副本数量各有合同;普通packet ACK不能直接替代设备断电保证。尾块恢复还要同步代际/有效长度,详见3.3。
可复现布局
教学块64B,写60B再append10B,得到64B和6B两个块;再NEW_BLOCK追加1B,变成三个块,第二块仍6B。模型修改各在线副本字节和尾块长度,不等价真实包确认或generation协议。
原生AppendLeaseProbe先close含2字节的文件,默认追加1字节仍保持同一block ID且总长3,再NEW_BLOCK追加1字节产生第二块。Probe另验证hflush新读取流可见、停一实际管线成员后3→2、hsync和close后内容完整。两者需新的隔离数据目录。
一手实现
DFSOutputStream的append构造 · 文件输出流合同 。
实验入口
下载Java教学包
· Hadoop原生探针
· 运行说明
。在解包目录执行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll,预期140条通过。具体模型与原生断言的范围见README,不把未执行的产品故障记为实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。