《大规模分布式计算深入解析》6.1 输入分片与任务划分

MapReduce 并行度的来源:输入分片(split)如何决定 map 任务数量,分片的大小与数量如何与块大小、数据倾斜、调度粒度权衡。讲清「分片是逻辑概念」「分片数 = map 任务数」「分片与本地性绑定」三个要点,以及分片元数据的记录方式。lab 用迷你 MapReduce 验证任务划分与并行产出。

6.1 输入分片与任务划分

2.1 讲过「分片数 ≈ map 任务数」,这一节把「分片」这个 MapReduce 并行度的来源讲透:分片是什么、分片数怎么定、分片元数据怎么记录,以及分片如何成为本地性与倾斜的地基。

分片(Split):map 任务的工作单元

输入分片是 map 任务的输入单元。它不是一个物理文件,而是一个逻辑概念:

  • 一个分片通常对应 HDFS 的一个块(默认 128 MB),但不是强制一一对应:一个文件可以被切成多个分片,多个小文件也可以合并成一个分片。
  • 分片被「按需生成」:框架不一次性把全部分片造出来,而是流式地按需产生(避免百万分片的元数据一次驻留内存)。
  • 每个分片由一个 map 任务处理——分片数 = map 任务数 = 并行度。

「分片是逻辑概念」这句话的工程含义:分片不需要「存在磁盘上」,它只是一个「描述」(文件路径 + 偏移范围 + 位置信息),真正执行时 map 任务按这个描述去读对应字节。

分片大小与块大小的关系

分片大小默认与块大小一致(128 MB),这是「数据本地性」的最优匹配:

场景分片 vs 块本地性
分片 = 块(默认)一个分片正好是一个块最佳:任务调度到持有该块的节点
分片 > 块(如 256 MB)一个分片跨多个块差:任务要读多个节点上的块
分片 < 块(如 64 MB)一个块拆成多个分片可接受:块在单节点,多个分片都本地

关键洞察:分片大小刻意「不随意调」。若分片大于块,一个 map 任务就要读跨节点的多个块,本地性被破坏;若远小于块,map 任务数爆炸、调度开销上升。所以「分片 = 块」是本地性(2.2)与并行度(2.1)的最优点。

分片元数据:文件 + 偏移 + 位置

每个分片要携带哪些信息?一个 InputSplit 的元数据:

字段内容用途
文件路径数据在哪个文件定位数据源
起始偏移从哪个字节开始读精确读到自己的那一段
长度读多少字节界定分片范围
位置列表该分片在哪些节点有副本本地性判断依据(2.2 的核心输入)

「位置列表」是最关键的一项:调度器(6.2)拿到分片的位置列表,才能做「任务派到持有数据的节点」。所以分片元数据就是「块位置表」在计算侧的镜像——存储层(3.2)维护块在哪,计算层(6.1)把「块在哪」变成「分片能本地调度到哪」。

分片数量与倾斜的关系

分片数 = map 任务数,但分片数多不等于不倾斜。倾斜发生在两个层面:

倾斜层面发生位置分片能否缓解
数据量不均各分片数据量接近,但 key 分布不均不能:分片只管「字节」,不管「key」
分片大小不均有的分片 1 GB、有的 100 MB(大文件未对齐)部分:分片切齐可缓解

分片解决的倾斜是「分片大小不均」(把大文件切成均匀分片);不解决「key 分布不均」(那是分区函数与 reduce 层的问题,7.1/8.1 讲)。理解分片只治「字节层面」的倾斜,才不会把 reduce 倾斜的锅记在分片上。

小文件问题在分片层的表现

小文件问题(9.2 详述)在分片层的表现很直接:一个 10 KB 的文件也占一个分片、一个 map 任务、一次完整的调度与启动开销。对比:

输入形态分片数map 任务数开销
1 个 1 GB 文件8 个分片8 个任务8 次启动,每任务读大块
10 万个 10 KB 文件10 万分片10 万任务10 万次启动,每任务读 10 KB

后者的调度开销(6.2)与启动开销碾压数据本身——这就是为什么「合并小文件」是重要优化。但注意:现代引擎(Spark)用「分区合并」手段,在分片层之上做一层聚合,避免一个任务读一个小文件(卷二讲)。

分片的产生方式:客户端切 vs 服务端算

分片在哪里「切」出来,不同系统选择不同:

方式做法优点缺点
客户端切(经典 MR)客户端读文件元数据,按块大小切分片简单、可定制客户端要知道文件布局
服务端算(新引擎)存储/目录服务返回分片描述位置信息更准依赖存储的块信息接口

分片位置信息的准确性决定本地性调度的质量:位置信息越准,调度器的本地性命中率越高。经典 Hadoop 的 InputFormat 返回分片及其位置,正是「客户端切」的典型——它调用 HDFS 的块位置接口拿到「每块的节点列表」,填入分片元数据。

分片与「可重放」的关系

分片层为容错(2.3)提供了一件事:分片是「可重放的最小单元」。

  • 一个 map 任务失败,重放的是「这一个分片」——任务重新读同一分片的数据、重新计算。
  • 分片的元数据(路径 + 偏移 + 长度)是确定的,所以重放读到的数据确定。
  • 分片在 HDFS 上有 3 副本(3.2),所以重放总能找到可读的副本。

这个「确定 + 有副本」正是重放安全的前提:如果分片元数据不确定(比如偏移记错),重放会读到错的数据;如果分片没有副本,重放无从读起。 分片层把「重放什么」定义清楚了,容错模型(2.3)才有抓手。

分片数的工程权衡

分片数不是「越多越好」,它有三个约束:

约束分片太多分片太少
调度开销每次调度都要查询/计算并行度不足、集群空转
本地性判断位置列表多、判断复杂单分片跨多块、本地性差
失败重放重放单元小、但重试频繁重放单元大、一个失败浪费大

工程直觉:分片数 ≈ 集群可用 map 槽位的数倍(如 3–5 倍),既保证集群满载,又留出调度与重试的余量。这个「任务数 = 槽位数 × 倍数」的比例,是后续所有引擎(Spark 分区数、Flink 并行度)调参的同源直觉。

分片粒度与「数据局部性」的呼应

6.1 与 2.2 的本地性直接呼应:分片的「位置列表」就是本地性判断的输入,分片大小就是本地性粒度。

  • 位置列表 → 调度器选「离任务最近」的副本(2.2 三级本地性)。
  • 分片大小 → 决定「一个本地任务读多少数据」:128 MB 分片 = 本地任务读 128 MB,远小于一个分片跨块(本地性崩坏)。
  • 因此「分片 = 块」这条默认,是把「本地性」从抽象原则落到「可调度的粒度」的关键一步。

分片与「并行度 + 吞吐」的两级关系

分片数决定并行度,分片大小决定单任务吞吐——它们是两级不同的杠杆:

杠杆控制什么调高的效果调低的效果
分片数并行度(同时跑的 map 任务数)并行更多、吞吐更高并行不足、节点空转
分片大小单任务吞吐(每个任务读多少)每任务吞吐高、任务数少每任务吞吐低、开销占比高

一个作业的总吞吐 ≈ 并行度 × 单任务吞吐。看两级各自的「失效模式」:

失效模式症状病灶
并行不足部分节点空转、作业慢分片数 < 可用槽位
粒度过碎任务数爆炸、调度开销大分片远小于块

判别卡在哪:「槽位空着但任务排队慢」→ 并行度问题;「任务跑得快但任务太多」→ 粒度问题。先看集群资源利用率,再决定调哪一级。

分片数与集群规模的匹配也要动态看:

  • 集群 100 槽、分片 50 → 一半节点空转(并行不足)。
  • 集群 100 槽、分片 500 → 全部满载、多出的排队(并行充足,多出的当重试余量)。

「任务数 ≈ 槽位数 × 3–5」的直觉(前面讲过)正是「满载 + 余量」的折中:既让集群跑满,又留出失败重放与慢任务的空间。

这个「并行度 × 单任务吞吐」的分解,也是后面所有引擎调参的同源框架:Spark 的分区数管并行度、Flink 的算子并行度管并行、块大小管单任务吞吐——看吞吐问题,先分清「卡在并行度」还是「卡在粒度」。

分片数还有一个「调度余量」作用:任务数略多于槽位,失败重放时(2.3)有候补可立即顶替。
各引擎都保留这个「略多」余量:

引擎余量的体现
MapReduce分片数 = 槽位 × 3–5
Sparktask 数略多于 core 数
Flink并行度与分区匹配、留重试余地

余量垫底,容错才不打断流水——「略多」是并行度与容错的共同需求。

三个常见误解

误解一:分片就是一个块,文件有几个块就有几个分片。 真相:分片是逻辑概念,通常对应一个块,但文件可以拆成更多分片、多个小文件也可以合并成一个分片(InputFormat 的可定制性)。「分片 = 块」是默认与最优,不是定义。

误解二:分片越多并行度越高,所以分片越细越好。 真相:分片数受三个约束——调度开销、本地性、失败重放粒度。分片过多导致调度与启动开销碾压数据处理;合适的数量是「槽位数的 3–5 倍」,不是无脑切细。

误解三:分片解决了数据倾斜。 真相:分片只解决「分片大小不均」(字节层面);「key 分布不均」的倾斜发生在 reduce 层,由分区函数与二次分发解决(7.1、8.1)。把两者混为一谈,会错误地「加大分片数治倾斜」。

一句话总结本节

输入分片是 map 任务的工作单元:分片数 = map 并行度,分片默认与块对齐以保证本地性,分片元数据(路径 + 偏移 + 位置列表)既驱动本地性调度、也定义可重放的最小单元——分片把「并行度、本地性、容错」三个目标绑在同一个粒度上。

本章实现对照

MapReduce InputFormat 和任务配置

本节 lab

下载 bd-fs-lab 源码 · 实验运行与版本说明

在 bd-fs-lab/ 中复现任务划分与并行产出:

  • 源码:src/mapreduce/MiniMR.java(run 按输入行数切分 map 任务、Job.lines 即输入分片集合)与 src/mapreduce/MapReduceSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:MapReduceSuite 用例 1 验证「3 行输入 → 词频统计输出 a=2;b=2;c=1、2 个 reduce 分区都有产出」——输入行的划分驱动了 map 任务的并行执行。
  • 整卷 runner 的预期汇总为 TOTAL: 140 passed, 0 failed。

对应本节判断链:输入分片(每一行/每一段)被分配给 map 任务、任务并行执行、结果经 shuffle 归并——「分片划分驱动并行度」在断言里直接可见。

机制边界与故障路径

逻辑InputSplit与物理块不是同一概念:reader可能跨块读记录边界,压缩可切分性也影响任务。重试需要固定split合同,不能把文件字节简单平均后忽略记录完整性。

flowchart TD
    FILE["输入文件/格式/压缩"] --> BLOCK["物理块与副本位置"]
    FILE --> SPLIT["InputFormat生成逻辑split"]
    BLOCK --> LOC["调度位置提示"]
    SPLIT --> TASK["map task attempt"] --> READER["RecordReader处理记录边界"]
    LOC --> TASK
    READER --> MAP["逻辑记录传给map"]
    TASK -. "失败重试" .-> NEW["同一split的新attempt"] --> READER

这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路