14.3 从慢查询到根因
慢查询排障最常见的错误是先改参数。把内存翻倍、把并行度调高、把批大小改大,这些动作的共同点是「不需要先理解问题」,因此也共同地经常无效。参数改的是资源分配,而慢的根因往往在数据路径上:读多了、溢写了、等太久、或者计划选错了。
本节沿一条判断链走:现象是同一条 SQL 有时 3 秒有时 3 分钟,机制是四类根因对应四组完全不同的证据,账本是扫描占 90% 时剩余可优化空间只有 10%(用例 115),判据是按时间占比先分流、再验证、最后才动手。
先量后调:三张必看的表
在改任何东西之前,先把三组计数器取出来。它们的共同优点是零成本——不需要重跑查询,引擎已经把数字记在统计里了。
| 指标 | 从哪看 | 正常形态 | 异常信号 |
|---|---|---|---|
| 扫描字节 | 扫描算子统计、IO 计数器 | 接近「结果所需列 × 行数」 | 实读远大于所需 |
| 溢写字节 | spill / temp file 统计 | 0 | 任何非零值都说明内存不足或倾斜 |
| 队列等待 | 调度器指标、任务等待时长 | 远小于执行时长 | 等待占比超过一半 |
三组数字分别对应三种完全不同的病:读多了是格式与裁剪问题,溢写了是内存与算子问题,等久了是调度与资源问题。第四种病——计划选错——不在这三张表里,要靠估算与实际行数的偏差发现。
用例 115:扫描占 90%,根因判为 IO
lab 把分流写成一行判断:扫描时间占比达到一半,根因归类为 IO,否则归类为计算。
// 用例 115:扫描占比过半时根因优先判为 IO
String cause = Lakehouse.rootCause(0.9);
// 0.9 >= 0.5 → "io"
| 参数 | 取值 | 结论 |
|---|---|---|
| 扫描时间占比 | 0.9 | 用例 115 输入 |
| 阈值 | 0.5 | 判据 |
| 根因 | io | 用例 115 输出 |
断言只有一行,但它固定了一条重要的排障纪律:在看到扫描占比之前,不要讨论算子优化。
为什么阈值放在 50%
阈值不是随意的。如果扫描已经占了总时长的一半以上,那么剩下所有算子、表达式、序列化加起来的 CPU 时间都不足以解释总时长;优化它们的天花板就是剩下的那一半。
| 扫描占比 | 剩余可优化上限 | 该先做什么 |
|---|---|---|
| 0.9 | 10%(公式推导:1 − 0.9) | 治读放大(用例 115) |
| 0.5 | 50%(公式推导) | 边界,两侧都要看 |
| 0.2 | 80%(公式推导) | 治算子与表达式 |
0.9 这个数字的含义是:即使把剩余 10% 全部优化到零,总时间最多降到原来的 90%。 而把读放大从 10 倍降到 1 倍,直接砍掉的就是那 90% 里的大头。这就是为什么必须先分流再动手。
分流四类根因
| 主导项 | 时间占比信号 | 根因类别 | 回看章节 | 验证手段 |
|---|---|---|---|---|
| 扫描 | ≥ 50% | IO 与格式 | 3–5 章 | 实读字节 ÷ 所需字节 |
| 算子 | CPU 时间集中在少数算子 | 内存、溢写、倾斜 | 6–7 章 | spill 字节、比较次数 |
| 等待 | wall 远大于 CPU | 调度与资源竞争 | 10 章、并行度 | 队列等待、并发度 |
| 估算 | 计划与数据实际形状不符 | 优化器选错 | 8–9 章 | 估计行数 vs 实际行数 |
四类的验证成本差别很大:前两类看计数器即可,第三类要算 wall/CPU 比,第四类要重跑并对比 EXPLAIN。所以顺序是从便宜到贵,而不是从「我猜是哪类」开始。
扫描主导:先算读放大
读放大 = 实读字节 ÷ 结果所需字节。它是扫描类问题唯一需要的公式。
| 手段 | 账本 | 收益 |
|---|---|---|
| 谓词下推 | 1000 万行先过滤到 100 万行(用例 67) | 中间结果减 90% |
| 存储层聚合 | 100 万行在存储侧聚到 100 行(用例 91) | 传输量降 99.99% |
| 选择率估算 | NDV 1000 的等值谓词选择率 0.001(用例 71) | 理论只需读 0.1% 的行 |
用例 71 的含义常被误读:它不是「优化器很准」,而是给出了读放大的理论下界。若表有 1000 个不同值、谓词命中其中一个,理论上只需读 0.1% 的数据;如果实读接近全表,读放大约 1000 倍(公式推导:1 ÷ 0.001)。这个倍数就是先做列裁剪、zone map 跳过与下推的空间。
判断链很短:先看实读字节,除以「所需列 × 命中行数」,得到读放大;只要大于个位数,就先回 3–5 章治格式与裁剪,不要碰算子。
算子主导:先看 spill
扫描占比不高、但某几个算子吃掉大部分 CPU 时,问题在算子内部。三个计数器足够定位:
| 计数器 | 阈值判据 | 典型账本 |
|---|---|---|
| spill 字节 | 大于 0 即异常 | 内存不足或分区倾斜 |
| 聚合表内存 | 分组数 × 每组字节 | 10 万分组 × 32 字节 = 3.2MB(用例 55) |
| 比较次数 | n log n 量级 | 100 万行排序聚合 1993 万次比较(用例 59) |
用例 55 的价值在于给出「能放下」的基准:10 万分组只占 3.2MB,完全放得进内存。如果同一查询发生溢写,说明真实分组数远超估计,或者键的宽度远超 32 字节——两种情况的处理方式不同,前者要治统计与倾斜,后者要治键设计。
用例 59 与用例 49 则给出排序的成本量级:100 万行排序聚合约 1993 万次比较,两表各 1 亿行排序是 26.5754 秒。当 spill 字节为零而算子仍然慢时,先算比较次数,再判断是不是算法选错了(排序聚合 vs 哈希聚合)。
等待主导:队列与并发
第三类根因的时间不在 CPU 上。用例 88 是个干净的样本:100 万对象、每页 1000 个,需要 1000 次 List 请求,每次 50ms,合计 50 秒。这 50 秒里没有任何计算,全是串行的元数据往返。
| 现象 | 说明 | 处理方向 |
|---|---|---|
| wall 远大于 CPU | 在等 IO、等锁、等资源 | 先确认等的是什么 |
| 请求数 × 单次延迟 ≈ 总时长 | 串行往返 | 减少请求数或提高并发 |
| 等待时间随并发上升 | 队列竞争 | 降并发或加资源 |
判据是「等待是否可被并发掩盖」:对象存储的 List 可以并发,队列竞争不能靠并发解决(并发越高越糟)。两者表现相似,处理方向相反。
估算偏差:优化器给错计划
第四类根因最隐蔽,因为查询本身写得没问题,数据也读得不多,就是计划选错了。用例 75 给出组合规模:3 表有 6 种连接顺序,4 表有 24 种。顺序选错,中间结果可能差一个数量级。
| 验证项 | 看什么 | 判据 |
|---|---|---|
| 估计行数 vs 实际行数 | EXPLAIN 的估算与运行统计 | 偏差超过数倍即可疑 |
| 选择率 | 谓词命中比例 | 与 1/NDV 对比(用例 71 的 0.001) |
| 连接顺序 | 中间结果最大的那一步 | 是否把大表放在中间 |
这类根因不能靠调参解决,只能靠更准的统计、更好的规则或运行时修正(9 章的自适应执行)。所以它排在验证顺序的最后:前三种都排除之后,才怀疑优化器。
假设—验证—排除的顺序
| 顺序 | 假设 | 一条证据 | 排除条件 |
|---|---|---|---|
| 1 | 读多了 | 实读字节 ÷ 所需字节 | 读放大接近 1 |
| 2 | 溢写了 | spill 字节 | 恒为 0 |
| 3 | 等太久了 | wall ÷ CPU | 比值接近 1 |
| 4 | 估错了 | 估计行数 ÷ 实际行数 | 偏差在数倍以内 |
四条按验证成本排序:前两条读现成计数器,第三条要一次计时,第四条要重跑并取执行计划。排在前面的假设被排除后,后面的假设才有意义——否则会在「优化器不准」上耗掉一天,而真实原因是读放大 1000 倍。
为什么不能先改参数
参数影响资源分配,不改变数据路径。用用例 115 的场景算一笔:扫描占 90%,把内存翻倍,扫描时间不会变,因为扫描的瓶颈是读字节而不是内存。即使把剩余 10% 的 CPU 时间砍半,总时间也只从 1.0 降到 0.95(公式推导:0.9 + 0.1 × 50%),加速 1.05 倍。
| 动作 | 影响的那部分 | 用例 115 场景下的收益 |
|---|---|---|
| 内存翻倍 | 算子内存、spill | 对 90% 的扫描无效 |
| 并行度提高 | 扫描与算子并行 | 受限于存储带宽与分区数 |
| 列裁剪 | 扫描字节 | 直接作用于那 90% |
| 调 JVM/运行时参数 | 全局开销 | 上限是剩余 10% 的一部分 |
先量后调不是流程洁癖,而是收益排序:同一份人力,投在 90% 上还是 10% 上,差的是一个数量级。
四类根因很少单独出现
真实故障通常是组合:读放大导致扫描变慢,扫描占满带宽后算子开始溢写,溢写又拉长了任务时长,调度器为了补偿而提高了并发,最后表现为「什么都慢」。
| 组合 | 表面现象 | 真正的第一因 |
|---|---|---|
| 读放大 + 溢写 | 扫描与算子都慢 | 读放大(溢写是分区变大的后果) |
| 溢写 + 等待 | 任务时长抖动 | 溢写(磁盘与网络竞争) |
| 估算错 + 读放大 | 计划显示走了裁剪 | 估算错(裁剪根本没生效) |
处理组合故障的原则是只治第一因:把读放大降下来,分区变小,溢写与等待往往自动消失。反过来先治溢写,只是把同一份数据在更小的分区里再溢一次。
三个常见误解
误解一:慢查询先调参数最快见效。 真相:参数改的是资源分配,不改数据路径。扫描占 90% 时内存翻倍对那 90% 毫无作用,砍半剩余 CPU 也只有 1.05 倍。
误解二:CPU 利用率高就是 CPU 瓶颈。 真相:要看 wall 与 CPU 的比值。wall 10 秒、CPU 1 秒时利用率只有 10%,瓶颈在等待;反过来 wall 与 CPU 接近才说明真在算。
误解三:EXPLAIN 显示用了裁剪和索引就没问题。 真相:计划里的估计行数可能差出数量级,用例 71 的 0.001 选择率是理论下界,实际读了多少要以扫描字节为准,不能以计划为准。
一句话总结本节
扫描占 90% 时根因判为 IO(用例 115),因为剩余所有算子加起来也解释不了那 90%,优化它们的天花板只有 10%。分流靠三张表:读放大指向 3–5 章的格式与裁剪,spill 字节指向 6–7 章的内存与算子,wall/CPU 比指向调度与资源,估计与实际行数的偏差指向 8–9 章的优化器;四条按验证成本排序,先量后调。
本节 lab
在 bd-engine-lab 中验证根因分流判据:
- 源码:
src/lakehouse/Lakehouse.java与src/lakehouse/LakehouseSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 115 验证「扫描占比 0.9 ≥ 阈值 0.5,根因判为 io」;同一 suite 的用例 67、71、91、49、55、59、75、88 提供本节点评的读放大、溢写、等待与估算账本。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:同一条 SQL 忽快忽慢 → 先取扫描字节、spill、队列等待三组计数器 → 用扫描 90% 判 IO、用 wall/CPU 判等待、用估计/实际行数判优化器 → 只对占比最大的那一类动手。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。