6.2 本地化调度(数据本地性优先级)
2.2 讲了「移动计算而非移动数据」的为什么,这一节讲调度器具体怎么做:拿到分片(6.1 的位置列表),怎么决定把 map 任务派到哪个节点。答案是三级优先级 + 延迟调度——调度器不是「有空槽就派」,而是「先等本地、再降级」。
调度器面对的选择
一个 map 任务的输入分片在节点 X(副本在 X、Y 两个节点)。调度器要给它找个执行节点,候选有三档:
| 候选节点 | 本地性等级 | 数据从哪读 | 成本 |
|---|---|---|---|
| 持有分片的节点 X | LOCAL | 本地磁盘 | 零网络,最快 |
| 同机架的另一节点 | RACK | 机架内网络 | 跨节点、同机架 |
| 跨机架的节点 | REMOTE | 跨机架网络 | 跨机架,最慢 |
调度器的目标不是「随便找个空槽」,而是尽可能把任务派到 LOCAL 节点。为什么值得为「本地」多等一会?因为读本地磁盘(数百 MB/s)比跨网络(机架间 1–10 GB/s,且有争抢)快一个量级——一个本地任务省下的读数据时间,远超调度等待的几秒。
三级优先级的精确语义
Hadoop/Spark 的调度按「LOCAL > RACK > REMOTE」取节点:
对每个任务:
1. 找持有分片的节点(LOCAL):有空槽 → 派;无空槽 → 记下「等待本地」
2. 等本地一段时间(延迟调度阈值,如 3 秒):
出现本地空槽 → 派(LOCAL)
超时无本地空槽 → 进入下一步
3. 找同机架节点(RACK):有空槽 → 派;无 → 继续等
4. 再等一段时间(如 5 秒),仍无同机架 → 跨机架兜底(REMOTE)
关键点:降级不是「立刻」,而是「等待后」。 调度器给「本地」一个机会窗口,而不是一见本节点满就直接跨机架——用几秒等待换「大概率命中本地」,是分布式调度「时间换带宽」的经典手法(2.2 已提到延迟调度,这里是它的实现细节)。
为什么「等本地」值得:数字直觉
用一个量级估算看「等 3 秒 vs 跨机架读」:
| 场景 | 数据量 | 本地读耗时 | 跨机架读耗时 |
|---|---|---|---|
| 128 MB 分片 | 128 MB | ~0.5 秒(本地磁盘) | 数秒(网络 + 争抢) |
| 1 GB 分片 | 1 GB | ~4 秒 | 10–30 秒 |
对比可见:跨机架读的额外耗时(几秒到几十秒)远大于「等本地」的 3 秒。所以调度器「等本地」几乎总是划算——除了集群负载极高、本地节点长期不空的情况。这就是为什么调度器愿意为本地性付出等待。
本地性与负载均衡的张力
「都派到本地节点」会让持有热数据的节点过载、冷节点空转。调度器如何平衡?
| 策略 | 做法 | 代价 |
|---|---|---|
| 纯本地优先 | 只派本地节点 | 本地节点过载、冷节点闲置 |
| 纯负载均衡 | 按空槽平均分配 | 本地性命中率崩、数据都要跨网络 |
| 延迟调度(采用) | 先等本地,超时降级 | 少数任务晚启动几秒 |
延迟调度的妙处:它把「本地优先」与「负载均衡」变成同一个动作的两面——本地节点有空槽就本地派(均衡自动达成,因为空槽所在节点被派了任务),本地节点长期不空则降级(避免任务空等)。「等本地」本身就是一个隐式的负载均衡器:空槽在本地 → 本地被利用;空槽在别处 → 降级去用。
调度器的数据结构:任务队列 + 位置索引
调度器要高效地回答「哪个节点有空槽、哪个分片在哪」,需要两个结构:
| 结构 | 内容 | 用途 |
|---|---|---|
| 资源报告 | 每个节点的空闲槽位(来自心跳) | 找「有空槽的节点」 |
| 位置索引 | 分片 → 副本节点(来自 6.1 元数据) | 找「持有该分片的节点」 |
调度主循环:对一个任务,查「它分片的副本节点」,再查这些节点「是否有空槽」;没有就进入等待。位置索引必须实时准确——如果位置信息是旧的(副本已移动),调度器会错误地「等一个已经没数据的节点」,本地性判断失效。所以调度器与 HDFS 的块位置表(3.2)保持同步是正确性的前提。
调度在作业生命周期中的位置
一次作业的执行,调度器介入两次:
| 阶段 | 调度什么 | 目标 |
|---|---|---|
| map 阶段 | 把 map 任务派到持有分片的节点 | 本地性(本节) |
| reduce 阶段 | 把 reduce 任务派到节点 | 平衡 shuffle 读(7 章) |
map 阶段是本地性的主战场(读的是永久数据,位置已知);reduce 阶段读的是 shuffle 中间数据(7 章),本地性「尽力而为」。所以「本地化调度」主要是 map 阶段的策略——读者不要把「调度」想成铁板一块,它分阶段、分目标。
调度失败的处理:黑名单与重调度
调度器选完节点后,任务可能在该节点执行失败。工程上的处理:
- 单任务失败 → 重新调度(重放,2.3)。
- 某节点反复失败 → 加入黑名单(6.3 详述),不再向它派任务。
- 某分片所有副本节点都失败 → 读其他副本(存储层兜底,4.2)或重放。
所以「本地化调度」的正确性不仅靠「选对节点」,还靠「选错后的补救」——调度是一次决策,执行是一系列容错动作(黑名单、重调度、换副本),两者配合才完整。
本地性命中率的监控
调度器跑得怎么样,用「本地性命中率」衡量(2.2 已定义指标):
| 指标 | 含义 | 健康线 |
|---|---|---|
| LOCAL 命中率 | 任务在分片所在节点执行的比例 | 90%+(批量 map 密集) |
| RACK 命中率 | 任务在分片所在机架内执行的比例 | 与 LOCAL 之和尽量高 |
| 平均等待时间 | 任务为等本地等待的时长 | 越低越好,但等待是「投资」 |
命中率低 ≠ 调度器 bug:可能是副本布局差(副本少、跨机架分布差)、节点数远多于副本分布、或负载过高导致频繁降级。命中率是「调度策略 + 数据布局 + 集群负载」三者的合力——单看命中率不能定位,要三个维度一起排查。
与「移动计算而非移动数据」的闭环
把 2.2、6.1、6.2 串起来:
- 2.2 说明为什么移动计算(量级差:代码小、数据大)。
- 6.1 定义分片,提供「位置列表」这一本地性判断的输入。
- 6.2 用三级优先级 + 延迟调度,把「任务派到数据节点」变成可执行的调度策略。
「移动计算」不是一个口号,而是分片元数据(6.1)+ 本地化调度(6.2)共同实现的一条数据面优化链路。 调度器每把一个任务派到 LOCAL 节点,就少一次跨网络读——这是 MapReduce 高性能的命脉之一。
延迟调度与心跳:时间尺度的配合
调度器做本地性决策,依赖节点状态的「快照」——这个快照来自 NM 心跳:
| 时间尺度 | 周期 | 用途 |
|---|---|---|
| 心跳周期 | 每 NM 数秒上报一次 | 更新「哪些节点有空槽」 |
| 延迟等待窗口 | 每任务几秒(如 3 秒) | 给本地出现空槽的机会 |
| 任务执行时长 | 数分钟 | 超过它再谈本地性没意义 |
三个时间尺度要「匹配」才能让延迟调度生效:
- 心跳太慢(几十秒):调度器看到的是「过期的空槽快照」,把任务派到已满的节点。
- 等待窗口太短(< 心跳周期):本地空槽还没上报,等待就超时了。
- 等待窗口太长(几分钟):任务迟迟不启动,空等本地。
工程经验:延迟等待窗口要略大于心跳周期——这样「本地空槽」能被调度器及时看到、又不至于空等太久。
心跳快照还有一个副作用:本地性命中率的瞬时波动。某节点刚释放槽位、还没心跳上报,此刻调度它看到的「无空槽」是假象——所以命中率要看「较长窗口的均值」,别被秒级抖动误导。
调度器与 NM 的配合,本质是「用周期性的状态快照,做接近实时的决策」——这与 RM 的全局资源账本(10.1)同源:分布式系统中「状态」永远是「某时刻的快照」,决策永远带着延迟。
另一个实践细节:等待窗口可按数据分布调——热点数据节点竞争激烈,给更大窗口;冷节点等也白等,给短窗口。
| 节点类型 | 等待窗口 | 理由 |
|---|---|---|
| 热点数据节点 | 大(如 5 秒) | 竞争激烈,等得起 |
| 冷数据节点 | 小(如 1 秒) | 等了也不一定有本地空槽 |
把等待预算花在「等得起的节点」上,是延迟调度的高级用法——等待不是「一律几秒」,而是「按命中概率分配」。
三个常见误解
误解一:调度器「有空槽就派」,把任务塞给任意空闲节点。 真相:调度器优先等本地——有空槽但不在数据节点时,先等待本地空槽出现(延迟调度),超时才降级。无脑「有空槽就派」会牺牲几乎全部本地性。
误解二:本地性调度一次决定,之后不用管。 真相:调度选完节点后,任务可能失败——需要黑名单、重调度、换副本等容错动作配合。调度是「决策 + 一系列补救」,不是一锤子买卖。
误解三:本地性命中率低就是调度器有问题。 真相:命中率 = 调度策略 × 数据布局 × 集群负载。副本布局差(跨机架分布不好)、节点数远大于副本分布、负载过高都会压低命中率——要三维排查,不能只怪调度器。
一句话总结本节
本地化调度用 LOCAL > RACK > REMOTE 三级优先级 + 延迟调度,把 map 任务「先等本地、再降级」地派到持有分片的节点:等本地是用几秒换大概率的大收益,降级是避免空等——「本地优先」与「负载均衡」在延迟调度里合二为一,调度是一次决策、执行是一套容错动作。
本节 lab
在 bd-fs-lab/ 中复现本地化调度:
- 源码:
src/scheduler/LocalityScheduler.java(三级打分LOCAL=0/RACK=1/REMOTE=2,选得分最低且有槽节点)与src/scheduler/SchedulerSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
SchedulerSuite用例 1 验证「输入在 dn1 → 任务调度到 dn1(LOCAL)」;用例 3 验证「dn1 满载 → 降级到同机架 dn2(RACK)」;用例 5 验证「同机架全满载 → 跨机架 dn3(REMOTE)」;用例 6 验证「混合输入全部 LOCAL」。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:LOCAL > RACK > REMOTE 三级优先、满载降级、无降级时全本地——「先等本地、再降级」的调度语义在断言里被直接证明。
本章组件与失败边界参见 6.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。