《大规模分布式计算深入解析》9.3 自适应 join 与倾斜处理

倾斜让少数分区拖住整个作业。本节用 10 个分区中 3 个超过 500MB 阈值说明判定口径,用 10GB 分区按 1GB 拆成 10 个子任务说明拆分方式,再用作业从 3600 秒降到 1200 秒、加速 3 倍说明倾斜处理为何是整条链路里回报最高的一步。

9.3 自适应 join 与倾斜处理

9.1 讲分区合并,9.2 讲分区裁剪,两者都在处理「分区数量」;这一节处理分区大小。一个 shuffle 作业有 100 个任务,其中 99 个几分钟就跑完,剩下 1 个跑了几个小时——总耗时由最慢的那个决定,其余 99 个任务早已空转等待。这就是数据倾斜。

倾斜处理的难点不在「发现」,而在「发现得准、拆得动、拆完不引入新问题」。AQE 把这三件事都放到运行时做,因为它要观测的正是「实际分区有多大」。

倾斜长什么样

倾斜的典型表现是任务耗时分布极端不均。从分区大小看,长这样:

分区大小状态
分区 1100MB正常
分区 2120MB正常
分区 390MB正常
分区 4600MB超阈值
分区 5700MB超阈值
分区 6800MB超阈值
分区 7110MB正常
分区 895MB正常
分区 9105MB正常
分区 10130MB正常

10 个分区里 3 个超过 500MB,其余都在 100MB 上下(用例 84)。这不是随机波动,而是 key 分布本身的问题:某几个热门 key 聚集了大量行,按 key 哈希后自然落进同几个分区。

判定:阈值怎么定

倾斜判定要回答两个问题:和谁比、超过多少算异常。AQE 的常用口径是「超过中位数的若干倍」,9.1 的用例 79 给出中位数 100MB、倍数 5、阈值 500MB:

倾斜阈值 = 中位数 × 倍数 = 100MB × 5 = 500MB
超过阈值的分区数 = 3 个(600、700、800MB)
口径数值来源
中位数100MB用例 79
倍数5用例 79
阈值500MB用例 79
超阈值分区3 个用例 84

判定阈值不能定得太低,否则正常的波动也会被当成倾斜,白白付出拆分成本;也不能太高,否则真正的长尾被漏掉。5 倍中位数是一个常见起点,实际值要按作业的容错程度调整。

为什么均值不可靠

如果拿平均值做阈值,倾斜本身会把均值拉高。以本例的 10 个分区做公式推导:总和 2750MB,均值 275MB,阈值若取均值 2 倍就是 550MB,仍然能抓到 600/700/800 三个;但若倾斜更极端,比如一个 5GB 加九个 100MB,均值会被拉到 590MB,阈值随之抬高,反而漏掉那个 5GB 的分区。

统计量抗倾斜能力适用
平均值差,被长尾拉高分布均匀时
中位数好,不受极端值影响倾斜判定
最大值无,只看极端发现最坏情况
分位数较好,可控精细判定

中位数的稳健性来自「一半样本在它下面」:少数超大分区改变不了中位数,阈值就不会被带偏。这也是 AQE 普遍用中位数而不是平均值的原因。

拆:10GB 变 10 个 1GB

发现倾斜分区后,处理方式通常是「拆」。把一个大分区按行切成若干子分区,让多个任务并行处理同一批 key。lab 用例 85 的口径是 10GB 分区按 1GB 拆分:

子任务数 = 分区大小 / 单任务目标
         = 10GB / 1GB
         = 10 个
口径数值说明
倾斜分区10GB拆分对象
单任务目标1GB拆分粒度
子任务数10 个用例 85

拆分的本质是把「一个长任务」变成「十个短任务」。原来一个任务要处理 10GB,现在十个任务各处理 1GB,若集群有空闲槽位,长尾时间约降到十分之一。注意这是理想情况:拆分有额外开销,子任务之间还要合并结果,实际加速会低于线性。

拆分之后还要复制另一侧

只拆 build 侧不够。若 join 的另一侧按 key 分区,同一个 key 的所有行仍在同一个分区里,拆开的大分区仍需与对应的另一侧分区关联。常见做法是把另一侧对应分区的数据复制到每个子任务:

方案做法代价
只拆一侧子任务各读一段另一侧需可重复读
拆一侧 + 复制另一侧小侧数据复制到各子任务网络与内存放大
加盐打散给热门 key 加随机后缀需二次聚合

复制的代价与「子任务数 × 另一侧分区大小」成正比。10 个子任务、另一侧 1GB,就要复制 10GB;这个成本必须小于长尾缩短带来的收益,拆分才划算。

整体收益:3600 秒变 1200 秒

单点优化最终要落到作业总时长。lab 用例 86 的口径是优化前 3600 秒、优化后 1200 秒:

加速比 = 优化前 / 优化后
       = 3600s / 1200s
       = 3 倍
口径耗时相对
优化前3600s1×
优化后1200s3×(用例 86)

3 倍加速的直觉解释是「长尾被摊平」:原来总时长约等于最长分区的时间,拆分后最长分区变成原来的十分之一量级,但还要加上拆分、复制、合并的开销,所以最终不是 10 倍而是 3 倍。这个差距正好说明:倾斜处理的收益有上限,不能按「拆几份就快几倍」线性外推。

三种常见手段

倾斜处理不只「拆」一种,工程上有三类手段:

手段做法适用
分区拆分大分区切成子任务单分区过大
加盐打散热门 key 加随机后缀少数 key 独占
广播小侧把小表复制到所有任务一侧足够小
两阶段聚合先局部聚合再全局聚合场景倾斜

加盐与拆分的区别在「谁来承担重复」:拆分让同一 key 的数据分散到多个子任务,另一侧要复制;加盐让同一 key 变成多个虚拟 key,聚合时要再合并一次。前者适合 join,后者适合聚合,选错会让结果或性能出问题。

边界:什么时候不该拆

拆分有成本,下列场景里收益可能为负:

场景判断
分区只略超阈值拆了收益小、开销固定
集群槽位已满子任务排队,长尾没缩短
另一侧很大复制成本压过收益
倾斜来自数据源拆分解决不了读取慢

「集群槽位已满」最容易被忽略:拆成 10 个子任务,如果没有空闲槽位,它们仍然要排队执行,总时长不会变短,反而多了调度开销。倾斜处理的前提是「有并行资源可用」,没有资源时该先扩容或错峰。

聚合场景的倾斜长什么样

join 的倾斜看分区大小,聚合的倾斜看 key 频次。GROUP BY user_id 时,如果某个 user_id 有上亿行,它所在的任务就会成为长尾,而其他任务早已结束。

场景倾斜源处理手段
join 大表热门 key 落在同一分区拆分 + 复制另一侧
GROUP BY单个 key 行数过大两阶段聚合、加盐
COUNT(DISTINCT)去重集合过大分桶去重
窗口函数单分区数据过多重分区或拆分

两阶段聚合是聚合倾斜的标准解法:先按「key + 随机后缀」做局部聚合,把单个 key 的压力打散;再按原 key 做一次全局聚合,把后缀去掉。它多了一次 shuffle,但把长尾摊成了多个短任务。

拆分的粒度怎么选

拆分粒度不是越细越好。子任务太小,调度与合并开销会吃掉收益;子任务太大,长尾仍然存在。

粒度子任务数风险
过大(如 5GB 一档)少长尾仍明显
适中(如 1GB 一档)10 个收益与开销平衡
过小(如 100MB 一档)多调度与合并开销上升

1GB 是一个常见的经验档位:它既能把 10GB 的大分区摊成 10 份,又不至于让子任务碎到调度成本占主导。实际值要结合集群槽位数、单任务内存与另一侧复制成本一起定,不能只看分区大小。

判断倾斜是否真的被解决,要看两个指标:最长任务耗时是否接近中位数,以及拆分后子任务是否都拿到了执行槽位。前者说明长尾被摊平,后者说明并行资源确实被用上;只看总时长下降,可能只是集群当时比较空闲。

  • 最长任务 / 中位数任务耗时:越接近 1 越均匀。
  • 子任务排队时间:长时间排队说明槽位不足。
  • 复制字节数:与节省的时间对照,判断是否划算。

倾斜处理的顺序应当是「先判定、再拆分、后观测」:没有判定就拆,容易把正常波动当倾斜;拆完不观测,无法知道复制成本是否吃掉了收益。三步都做完,3 倍加速才是可解释、可复现的结果。

三个常见误解

误解一:倾斜是随机波动,多跑几次就好。 真相:倾斜来自 key 分布,10 个分区里 3 个稳定超过 500MB(用例 84),重跑不会改变分布。

误解二:拆成 10 份就能快 10 倍。 真相:10GB 拆成 10 个 1GB 只是消除了单任务长尾,还要付拆分、复制与合并成本;本例整体从 3600 秒降到 1200 秒,是 3 倍而非 10 倍。

误解三:任何倾斜都值得拆。 真相:分区只略超阈值、集群无空闲槽位、另一侧很大时,拆分成本可能压过收益,应先判断资源与复制代价。

一句话总结本节

倾斜让总耗时由最慢分区决定:10 个分区里 3 个超过 500MB(中位数 100MB 乘 5)就是倾斜。把 10GB 分区按 1GB 拆成 10 个子任务,可把长尾摊平,但拆分、复制、合并都有成本;本例作业从 3600 秒降到 1200 秒、加速 3 倍,而非按拆分数线性外推的 10 倍。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证倾斜判定与拆分收益:

  • 源码:src/optimizer/Optimizer.java 与 src/optimizer/OptimizerSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 84 验证「10 个分区 {100,120,90,600,700,800,110,95,105,130}MB 中 3 个超过 500MB」;用例 85 验证「10GB 倾斜分区按 1GB 拆成 10 个子任务」;用例 86 验证「作业从 3600s 降到 1200s,加速 3 倍」。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:长尾任务拖住总时长 → 用中位数 100MB 乘 5 得 500MB 阈值,10 个分区里 3 个超限 → 10GB 分区按 1GB 拆成 10 个子任务,并把另一侧复制过去 → 拆分有复制与合并成本,整体 3600 秒降到 1200 秒是 3 倍 → 无空闲槽位或复制代价过高时不该拆。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图