《大规模分布式计算深入解析》14.2 剖析与热点定位

10 秒执行按 99Hz 采样得 990 个样本,60% 占比的标准误约 1.56 个百分点;火焰图上 0.6+0.2+0.1 的前 3 个算子合计 90%,先修这三个就能拿到九成收益,但 on-CPU 采样看不见 IO 等待。

14.2 剖析与热点定位

慢查询排障的第二步是回答「时间花在哪个函数上」。最直接的办法是给每个函数加计时器,但那会改变被测程序:插桩本身有开销,调用次数一多,测出来的就是插桩后的世界。采样剖析换了个思路——不记录每一次调用,只定期抓一次当前调用栈,用样本比例估计时间比例。

本节沿一条判断链走:现象是「知道慢,但不知道慢在哪」,机制是采样把时间转成栈帧计数,账本是 10 秒 × 99Hz = 990 个样本、前 3 个算子占 90%,判据是样本量够不够分辨目标差距、以及样本是否只覆盖了 CPU 时间。

采样剖析:不问「哪行慢」,只问「栈在哪」

剖析器每隔固定时间中断一次线程,记录当时的完整调用栈,然后恢复执行。跑完之后,每个栈帧的出现次数除以总样本数,就是它占用的时间比例。

要素采样剖析的做法插桩剖析的做法
数据来源周期性抓栈每个函数进出打点
开销与采样频率成正比,与调用次数无关与调用次数成正比
结果形态统计分布,有误差精确计数,无误差
适用场景长时间运行、调用密集短函数、需要精确次数
主要风险样本不足或覆盖不全观察者效应改变程序行为

采样剖析的代价是「概率」而不是「精确」:它给出的 60% 不是精确的 60%,而是「按当前样本量,真值大概率落在某个区间里」。理解这个区间有多宽,比记住那个百分比更重要。

用例 113:10 秒 × 99Hz = 990 个样本

样本量只由两个量决定:执行时长与采样频率。

// 用例 113:样本数 = 时长 × 采样频率
long samples = Lakehouse.flameSamples(10, 99);
// 10 × 99 = 990
参数计算结果
执行时长常量10 秒(用例 113 场景)
采样频率常量99Hz(用例 113 场景)
采样间隔1 ÷ 99约 10.1ms(公式推导)
样本总数10 × 99990 个(用例 113)

990 个样本意味着:一个占 1% 的函数平均只被采到约 10 次(公式推导:990 × 1%)。10 次计数的波动足以让 1% 与 2% 难以区分,所以火焰图对「细碎但总量不小」的部分天生不敏感。

990 个样本的误差有多大

把每个样本看成一次伯努利试验:某栈帧要么在栈上,要么不在。占比 p 的标准误是 sqrt(p(1-p)/n),n = 990。

观测占比 p标准误95% 区间半宽(1.96σ)能否分辨的相邻差距
0.61.56 个百分点(公式推导)±3.05 个百分点(公式推导)5 个点以上
0.21.27 个百分点(公式推导)±2.49 个百分点(公式推导)3 个点以上
0.10.95 个百分点(公式推导)±1.87 个百分点(公式推导)2 个点以上
0.050.69 个百分点(公式推导)±1.36 个百分点(公式推导)1.5 个点以上

这张表给出一个实用判据:990 个样本能稳稳分辨「60% 对 20%」,不能分辨「5% 对 5%」。所以看到两个 5% 的算子,不要急着比较谁更大,它们的差距完全在误差之内。

火焰图的三个读法

读法看什么得出什么
宽度栈帧横向占比该函数(含其子调用)占用的时间份额
上下调用关系,下为调用者时间是从哪条路径流下来的
叶子最底层没有子帧的宽度自耗时(self time),真正花在该函数体内的部分

最宽的不一定最该改。一个被十个子调用共享的中间帧会很宽,但它的宽度是子调用加起来的;真正的动作点在叶子上。所以顺序是:先按宽度找到热点子树,再在子树里找宽叶子,最后确认这条路径是否可优化(有些宽叶子是 memcpy 或解压,只能换算法不能改代码)。

用例 114:前 3 个算子占 90%

lab 给了五个算子的时间份额:0.6、0.2、0.1、0.05、0.05,取前 3 个求和:

hotspotShare({0.6, 0.2, 0.1, 0.05, 0.05}, 3)
= 0.6 + 0.2 + 0.1
= 0.9
排序算子时间份额累计份额
1算子 A0.600.60(用例 114 输入)
2算子 B0.200.80(公式推导)
3算子 C0.100.90(用例 114)
4算子 D0.050.95(公式推导)
5算子 E0.051.00(公式推导)

90% 集中在前 3 个算子上,剩下两个各 5%,合计 10%。这条曲线决定了优化顺序,也决定了什么时候该停手。

优化顺序:为什么先修最宽的三个

假设每个被修的算子成本砍半,收益如下:

优化对象覆盖份额总时间下降相对收益
只修算子 A0.6030%(公式推导:0.6 × 50%)1.0
修前 3 个0.9045%(公式推导:0.9 × 50%)1.5
修全部 5 个1.0050%(公式推导:1.0 × 50%)1.67

从「修 1 个」到「修 3 个」,工作量可能翻三倍,收益只从 30% 涨到 45%;再从 3 个到 5 个,收益只多 5 个百分点。 这就是热点分析的经济学:先吃掉最宽的那几块,剩下的长尾留给下一次迭代。反过来说,如果前 3 个算子已经优化到极限,继续在它们身上找 2% 的收益,不如去确认那 5% 的算子是不是被误判了。

采样频率与剖析开销的取舍

样本量随频率线性增长,误差只按平方根下降:

采样频率10 秒样本数相对误差剖析开销(定性)
99Hz990(用例 113)1.00(基准)低,约 1% 量级
198Hz1980(公式推导)0.71(公式推导:1/√2)翻倍
396Hz3960(公式推导)0.50(公式推导:1/√4)四倍

频率翻四倍,误差只减半。 所以「把频率开到最大」是用四倍开销换一半误差,通常不划算。99Hz 这个取值的另一层考虑是避开整数定时器:略低于 100Hz 可以降低与系统时钟周期共振、导致采样点集中在同一段代码上的风险。

真正需要更高精度时,正确做法不是无限提频,而是延长采样时长:同样是 1980 个样本,跑 20 秒 99Hz 比跑 10 秒 198Hz 开销更低,而且覆盖了更多的执行阶段(冷启动、稳定期、收尾)。

把 IO 等待误判成 CPU 热点

on-CPU 采样只在线程真正占用 CPU 时抓栈。如果一条查询大部分时间在等对象存储,火焰图会显得很「薄」,因为等待期间根本没有样本。此时用 CPU 时间当分母,少量真实计算会被放大成 100%。

设一次 10 秒的执行(用例 113 的时长),CPU 时间只有 1 秒:

量取值含义
wall time10 秒用户感知的总时长
CPU time1 秒(假设)on-CPU 采样覆盖的部分
等待占比90%(公式推导:1 − 1/10)火焰图完全看不到
火焰图内的占比按 1 秒重新归一每个栈帧的份额被放大约 10 倍(公式推导)

判据是先算 wall/CPU 比,再看火焰图。比值接近 1,火焰图可信;比值远大于 1,先去做 off-CPU 剖析或直接看 IO 指标(对象存储请求延迟、队列深度、扫描字节),否则会把「等 IO」误诊成「算得慢」,然后去优化一段本来只占 1 秒的代码。

一次剖析至少要留下什么

火焰图是截图,结论要能复算。一次剖析的记录至少包含六项,否则下一次回归时无法判断「变快了」还是「采样点变了」:

记录项为什么必须留缺失后的误判
wall time 与 CPU time区分等待与计算把 IO 等待当成 CPU 热点
采样频率与样本数决定误差范围5% 对 5% 的差距被当真
前 N 个栈帧及份额优化的输入只记得「某个算子慢」
数据规模与分区数份额随规模变化小数据结论套到大数据
并发度与队列深度等待时间与并发强相关单线程剖析解释不了集群表现
引擎版本与配置默认值会变跨版本比较失去意义

这六项与 14.1 的四条件是一套东西:基准管「外部条件一致」,剖析记录管「内部观测一致」。两者都齐,结论才可以跨时间对比。

从样本到动作

现象要算的账结论
火焰图很薄、总时长却很长wall ÷ CPU等待主导,转 off-CPU 或 IO 指标
某帧很宽但有很多子帧叶子宽度优化点在叶子上,不在中间帧
两个算子占比接近标准误(990 样本约 1 个百分点起)差距在误差内则不做取舍
前 3 个算子占 90%累计份额只修这 3 个,长尾留到下一轮

剖析的产出不是一张图,而是一个带序号的待办列表:每个条目写明算子、份额、误差范围、预期收益。没有序号的火焰图只是好看。

三个常见误解

误解一:采样频率越高,结论越准,所以应该开到最大。 真相:误差按 1/√n 下降,频率翻四倍只让误差减半,开销却翻四倍;需要更高精度时应延长采样时长而不是提高频率。

误解二:火焰图上最宽的帧就是最该改的代码。 真相:中间帧的宽度是子调用之和,真正的自耗时要看叶子;被十个子调用共享的帧会很宽,但改它往往无从下手。

误解三:火焰图里没有 IO,说明 IO 不是瓶颈。 真相:on-CPU 采样只在占用 CPU 时抓栈。wall 10 秒、CPU 1 秒时,90% 的时间根本不会出现在火焰图上,那部分要靠 off-CPU 剖析或 IO 指标。

一句话总结本节

采样剖析用周期性抓栈把时间转成栈帧计数:10 秒按 99Hz 采样得 990 个样本,60% 占比的标准误约 1.56 个百分点,能分辨 60% 对 20%、不能分辨 5% 对 5%。用例 114 中前 3 个算子合计 90%,先修这三个拿 45% 的收益,剩下两个各 5% 只值 5 个百分点;但 on-CPU 采样看不见等待,wall 远大于 CPU 时必须换 off-CPU 口径。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证采样数与热点份额:

  • 源码:src/lakehouse/Lakehouse.java 与 src/lakehouse/LakehouseSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 113 验证「10 秒 × 99Hz = 990 个样本」;用例 114 验证「份额 0.6、0.2、0.1、0.05、0.05 中前 3 个合计 0.9」。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:知道慢但不知道慢在哪 → 用采样把时间转成栈帧计数 → 算样本量与标准误、按宽度定位前 3 个算子 → 只修 90% 覆盖的那部分,并先用 wall/CPU 比排除等待型假热点。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图