《大规模分布式计算深入解析》14.3 从慢查询到根因

扫描占 90% 时根因判为 IO,因为剩余所有算子加起来也不到总时长的 10%;按扫描、算子、等待、估算四类分流,先看读字节、spill 量与 wall/CPU 比,再决定回看 3–5 章、6–7 章还是 8–9 章。

14.3 从慢查询到根因

慢查询排障最常见的错误是先改参数。把内存翻倍、把并行度调高、把批大小改大,这些动作的共同点是「不需要先理解问题」,因此也共同地经常无效。参数改的是资源分配,而慢的根因往往在数据路径上:读多了、溢写了、等太久、或者计划选错了。

本节沿一条判断链走:现象是同一条 SQL 有时 3 秒有时 3 分钟,机制是四类根因对应四组完全不同的证据,账本是扫描占 90% 时剩余可优化空间只有 10%(用例 115),判据是按时间占比先分流、再验证、最后才动手。

先量后调:三张必看的表

在改任何东西之前,先把三组计数器取出来。它们的共同优点是零成本——不需要重跑查询,引擎已经把数字记在统计里了。

指标从哪看正常形态异常信号
扫描字节扫描算子统计、IO 计数器接近「结果所需列 × 行数」实读远大于所需
溢写字节spill / temp file 统计0任何非零值都说明内存不足或倾斜
队列等待调度器指标、任务等待时长远小于执行时长等待占比超过一半

三组数字分别对应三种完全不同的病:读多了是格式与裁剪问题,溢写了是内存与算子问题,等久了是调度与资源问题。第四种病——计划选错——不在这三张表里,要靠估算与实际行数的偏差发现。

用例 115:扫描占 90%,根因判为 IO

lab 把分流写成一行判断:扫描时间占比达到一半,根因归类为 IO,否则归类为计算。

// 用例 115:扫描占比过半时根因优先判为 IO
String cause = Lakehouse.rootCause(0.9);
// 0.9 >= 0.5 → "io"
参数取值结论
扫描时间占比0.9用例 115 输入
阈值0.5判据
根因io用例 115 输出

断言只有一行,但它固定了一条重要的排障纪律:在看到扫描占比之前,不要讨论算子优化。

为什么阈值放在 50%

阈值不是随意的。如果扫描已经占了总时长的一半以上,那么剩下所有算子、表达式、序列化加起来的 CPU 时间都不足以解释总时长;优化它们的天花板就是剩下的那一半。

扫描占比剩余可优化上限该先做什么
0.910%(公式推导:1 − 0.9)治读放大(用例 115)
0.550%(公式推导)边界,两侧都要看
0.280%(公式推导)治算子与表达式

0.9 这个数字的含义是:即使把剩余 10% 全部优化到零,总时间最多降到原来的 90%。 而把读放大从 10 倍降到 1 倍,直接砍掉的就是那 90% 里的大头。这就是为什么必须先分流再动手。

分流四类根因

主导项时间占比信号根因类别回看章节验证手段
扫描≥ 50%IO 与格式3–5 章实读字节 ÷ 所需字节
算子CPU 时间集中在少数算子内存、溢写、倾斜6–7 章spill 字节、比较次数
等待wall 远大于 CPU调度与资源竞争10 章、并行度队列等待、并发度
估算计划与数据实际形状不符优化器选错8–9 章估计行数 vs 实际行数

四类的验证成本差别很大:前两类看计数器即可,第三类要算 wall/CPU 比,第四类要重跑并对比 EXPLAIN。所以顺序是从便宜到贵,而不是从「我猜是哪类」开始。

扫描主导:先算读放大

读放大 = 实读字节 ÷ 结果所需字节。它是扫描类问题唯一需要的公式。

手段账本收益
谓词下推1000 万行先过滤到 100 万行(用例 67)中间结果减 90%
存储层聚合100 万行在存储侧聚到 100 行(用例 91)传输量降 99.99%
选择率估算NDV 1000 的等值谓词选择率 0.001(用例 71)理论只需读 0.1% 的行

用例 71 的含义常被误读:它不是「优化器很准」,而是给出了读放大的理论下界。若表有 1000 个不同值、谓词命中其中一个,理论上只需读 0.1% 的数据;如果实读接近全表,读放大约 1000 倍(公式推导:1 ÷ 0.001)。这个倍数就是先做列裁剪、zone map 跳过与下推的空间。

判断链很短:先看实读字节,除以「所需列 × 命中行数」,得到读放大;只要大于个位数,就先回 3–5 章治格式与裁剪,不要碰算子。

算子主导:先看 spill

扫描占比不高、但某几个算子吃掉大部分 CPU 时,问题在算子内部。三个计数器足够定位:

计数器阈值判据典型账本
spill 字节大于 0 即异常内存不足或分区倾斜
聚合表内存分组数 × 每组字节10 万分组 × 32 字节 = 3.2MB(用例 55)
比较次数n log n 量级100 万行排序聚合 1993 万次比较(用例 59)

用例 55 的价值在于给出「能放下」的基准:10 万分组只占 3.2MB,完全放得进内存。如果同一查询发生溢写,说明真实分组数远超估计,或者键的宽度远超 32 字节——两种情况的处理方式不同,前者要治统计与倾斜,后者要治键设计。

用例 59 与用例 49 则给出排序的成本量级:100 万行排序聚合约 1993 万次比较,两表各 1 亿行排序是 26.5754 秒。当 spill 字节为零而算子仍然慢时,先算比较次数,再判断是不是算法选错了(排序聚合 vs 哈希聚合)。

等待主导:队列与并发

第三类根因的时间不在 CPU 上。用例 88 是个干净的样本:100 万对象、每页 1000 个,需要 1000 次 List 请求,每次 50ms,合计 50 秒。这 50 秒里没有任何计算,全是串行的元数据往返。

现象说明处理方向
wall 远大于 CPU在等 IO、等锁、等资源先确认等的是什么
请求数 × 单次延迟 ≈ 总时长串行往返减少请求数或提高并发
等待时间随并发上升队列竞争降并发或加资源

判据是「等待是否可被并发掩盖」:对象存储的 List 可以并发,队列竞争不能靠并发解决(并发越高越糟)。两者表现相似,处理方向相反。

估算偏差:优化器给错计划

第四类根因最隐蔽,因为查询本身写得没问题,数据也读得不多,就是计划选错了。用例 75 给出组合规模:3 表有 6 种连接顺序,4 表有 24 种。顺序选错,中间结果可能差一个数量级。

验证项看什么判据
估计行数 vs 实际行数EXPLAIN 的估算与运行统计偏差超过数倍即可疑
选择率谓词命中比例与 1/NDV 对比(用例 71 的 0.001)
连接顺序中间结果最大的那一步是否把大表放在中间

这类根因不能靠调参解决,只能靠更准的统计、更好的规则或运行时修正(9 章的自适应执行)。所以它排在验证顺序的最后:前三种都排除之后,才怀疑优化器。

假设—验证—排除的顺序

顺序假设一条证据排除条件
1读多了实读字节 ÷ 所需字节读放大接近 1
2溢写了spill 字节恒为 0
3等太久了wall ÷ CPU比值接近 1
4估错了估计行数 ÷ 实际行数偏差在数倍以内

四条按验证成本排序:前两条读现成计数器,第三条要一次计时,第四条要重跑并取执行计划。排在前面的假设被排除后,后面的假设才有意义——否则会在「优化器不准」上耗掉一天,而真实原因是读放大 1000 倍。

为什么不能先改参数

参数影响资源分配,不改变数据路径。用用例 115 的场景算一笔:扫描占 90%,把内存翻倍,扫描时间不会变,因为扫描的瓶颈是读字节而不是内存。即使把剩余 10% 的 CPU 时间砍半,总时间也只从 1.0 降到 0.95(公式推导:0.9 + 0.1 × 50%),加速 1.05 倍。

动作影响的那部分用例 115 场景下的收益
内存翻倍算子内存、spill对 90% 的扫描无效
并行度提高扫描与算子并行受限于存储带宽与分区数
列裁剪扫描字节直接作用于那 90%
调 JVM/运行时参数全局开销上限是剩余 10% 的一部分

先量后调不是流程洁癖,而是收益排序:同一份人力,投在 90% 上还是 10% 上,差的是一个数量级。

四类根因很少单独出现

真实故障通常是组合:读放大导致扫描变慢,扫描占满带宽后算子开始溢写,溢写又拉长了任务时长,调度器为了补偿而提高了并发,最后表现为「什么都慢」。

组合表面现象真正的第一因
读放大 + 溢写扫描与算子都慢读放大(溢写是分区变大的后果)
溢写 + 等待任务时长抖动溢写(磁盘与网络竞争)
估算错 + 读放大计划显示走了裁剪估算错(裁剪根本没生效)

处理组合故障的原则是只治第一因:把读放大降下来,分区变小,溢写与等待往往自动消失。反过来先治溢写,只是把同一份数据在更小的分区里再溢一次。

三个常见误解

误解一:慢查询先调参数最快见效。 真相:参数改的是资源分配,不改数据路径。扫描占 90% 时内存翻倍对那 90% 毫无作用,砍半剩余 CPU 也只有 1.05 倍。

误解二:CPU 利用率高就是 CPU 瓶颈。 真相:要看 wall 与 CPU 的比值。wall 10 秒、CPU 1 秒时利用率只有 10%,瓶颈在等待;反过来 wall 与 CPU 接近才说明真在算。

误解三:EXPLAIN 显示用了裁剪和索引就没问题。 真相:计划里的估计行数可能差出数量级,用例 71 的 0.001 选择率是理论下界,实际读了多少要以扫描字节为准,不能以计划为准。

一句话总结本节

扫描占 90% 时根因判为 IO(用例 115),因为剩余所有算子加起来也解释不了那 90%,优化它们的天花板只有 10%。分流靠三张表:读放大指向 3–5 章的格式与裁剪,spill 字节指向 6–7 章的内存与算子,wall/CPU 比指向调度与资源,估计与实际行数的偏差指向 8–9 章的优化器;四条按验证成本排序,先量后调。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证根因分流判据:

  • 源码:src/lakehouse/Lakehouse.java 与 src/lakehouse/LakehouseSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 115 验证「扫描占比 0.9 ≥ 阈值 0.5,根因判为 io」;同一 suite 的用例 67、71、91、49、55、59、75、88 提供本节点评的读放大、溢写、等待与估算账本。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:同一条 SQL 忽快忽慢 → 先取扫描字节、spill、队列等待三组计数器 → 用扫描 90% 判 IO、用 wall/CPU 判等待、用估计/实际行数判优化器 → 只对占比最大的那一类动手。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图