14.2 剖析与热点定位
慢查询排障的第二步是回答「时间花在哪个函数上」。最直接的办法是给每个函数加计时器,但那会改变被测程序:插桩本身有开销,调用次数一多,测出来的就是插桩后的世界。采样剖析换了个思路——不记录每一次调用,只定期抓一次当前调用栈,用样本比例估计时间比例。
本节沿一条判断链走:现象是「知道慢,但不知道慢在哪」,机制是采样把时间转成栈帧计数,账本是 10 秒 × 99Hz = 990 个样本、前 3 个算子占 90%,判据是样本量够不够分辨目标差距、以及样本是否只覆盖了 CPU 时间。
采样剖析:不问「哪行慢」,只问「栈在哪」
剖析器每隔固定时间中断一次线程,记录当时的完整调用栈,然后恢复执行。跑完之后,每个栈帧的出现次数除以总样本数,就是它占用的时间比例。
| 要素 | 采样剖析的做法 | 插桩剖析的做法 |
|---|---|---|
| 数据来源 | 周期性抓栈 | 每个函数进出打点 |
| 开销 | 与采样频率成正比,与调用次数无关 | 与调用次数成正比 |
| 结果形态 | 统计分布,有误差 | 精确计数,无误差 |
| 适用场景 | 长时间运行、调用密集 | 短函数、需要精确次数 |
| 主要风险 | 样本不足或覆盖不全 | 观察者效应改变程序行为 |
采样剖析的代价是「概率」而不是「精确」:它给出的 60% 不是精确的 60%,而是「按当前样本量,真值大概率落在某个区间里」。理解这个区间有多宽,比记住那个百分比更重要。
用例 113:10 秒 × 99Hz = 990 个样本
样本量只由两个量决定:执行时长与采样频率。
// 用例 113:样本数 = 时长 × 采样频率
long samples = Lakehouse.flameSamples(10, 99);
// 10 × 99 = 990
| 参数 | 计算 | 结果 |
|---|---|---|
| 执行时长 | 常量 | 10 秒(用例 113 场景) |
| 采样频率 | 常量 | 99Hz(用例 113 场景) |
| 采样间隔 | 1 ÷ 99 | 约 10.1ms(公式推导) |
| 样本总数 | 10 × 99 | 990 个(用例 113) |
990 个样本意味着:一个占 1% 的函数平均只被采到约 10 次(公式推导:990 × 1%)。10 次计数的波动足以让 1% 与 2% 难以区分,所以火焰图对「细碎但总量不小」的部分天生不敏感。
990 个样本的误差有多大
把每个样本看成一次伯努利试验:某栈帧要么在栈上,要么不在。占比 p 的标准误是 sqrt(p(1-p)/n),n = 990。
| 观测占比 p | 标准误 | 95% 区间半宽(1.96σ) | 能否分辨的相邻差距 |
|---|---|---|---|
| 0.6 | 1.56 个百分点(公式推导) | ±3.05 个百分点(公式推导) | 5 个点以上 |
| 0.2 | 1.27 个百分点(公式推导) | ±2.49 个百分点(公式推导) | 3 个点以上 |
| 0.1 | 0.95 个百分点(公式推导) | ±1.87 个百分点(公式推导) | 2 个点以上 |
| 0.05 | 0.69 个百分点(公式推导) | ±1.36 个百分点(公式推导) | 1.5 个点以上 |
这张表给出一个实用判据:990 个样本能稳稳分辨「60% 对 20%」,不能分辨「5% 对 5%」。所以看到两个 5% 的算子,不要急着比较谁更大,它们的差距完全在误差之内。
火焰图的三个读法
| 读法 | 看什么 | 得出什么 |
|---|---|---|
| 宽度 | 栈帧横向占比 | 该函数(含其子调用)占用的时间份额 |
| 上下 | 调用关系,下为调用者 | 时间是从哪条路径流下来的 |
| 叶子 | 最底层没有子帧的宽度 | 自耗时(self time),真正花在该函数体内的部分 |
最宽的不一定最该改。一个被十个子调用共享的中间帧会很宽,但它的宽度是子调用加起来的;真正的动作点在叶子上。所以顺序是:先按宽度找到热点子树,再在子树里找宽叶子,最后确认这条路径是否可优化(有些宽叶子是 memcpy 或解压,只能换算法不能改代码)。
用例 114:前 3 个算子占 90%
lab 给了五个算子的时间份额:0.6、0.2、0.1、0.05、0.05,取前 3 个求和:
hotspotShare({0.6, 0.2, 0.1, 0.05, 0.05}, 3)
= 0.6 + 0.2 + 0.1
= 0.9
| 排序 | 算子 | 时间份额 | 累计份额 |
|---|---|---|---|
| 1 | 算子 A | 0.60 | 0.60(用例 114 输入) |
| 2 | 算子 B | 0.20 | 0.80(公式推导) |
| 3 | 算子 C | 0.10 | 0.90(用例 114) |
| 4 | 算子 D | 0.05 | 0.95(公式推导) |
| 5 | 算子 E | 0.05 | 1.00(公式推导) |
90% 集中在前 3 个算子上,剩下两个各 5%,合计 10%。这条曲线决定了优化顺序,也决定了什么时候该停手。
优化顺序:为什么先修最宽的三个
假设每个被修的算子成本砍半,收益如下:
| 优化对象 | 覆盖份额 | 总时间下降 | 相对收益 |
|---|---|---|---|
| 只修算子 A | 0.60 | 30%(公式推导:0.6 × 50%) | 1.0 |
| 修前 3 个 | 0.90 | 45%(公式推导:0.9 × 50%) | 1.5 |
| 修全部 5 个 | 1.00 | 50%(公式推导:1.0 × 50%) | 1.67 |
从「修 1 个」到「修 3 个」,工作量可能翻三倍,收益只从 30% 涨到 45%;再从 3 个到 5 个,收益只多 5 个百分点。 这就是热点分析的经济学:先吃掉最宽的那几块,剩下的长尾留给下一次迭代。反过来说,如果前 3 个算子已经优化到极限,继续在它们身上找 2% 的收益,不如去确认那 5% 的算子是不是被误判了。
采样频率与剖析开销的取舍
样本量随频率线性增长,误差只按平方根下降:
| 采样频率 | 10 秒样本数 | 相对误差 | 剖析开销(定性) |
|---|---|---|---|
| 99Hz | 990(用例 113) | 1.00(基准) | 低,约 1% 量级 |
| 198Hz | 1980(公式推导) | 0.71(公式推导:1/√2) | 翻倍 |
| 396Hz | 3960(公式推导) | 0.50(公式推导:1/√4) | 四倍 |
频率翻四倍,误差只减半。 所以「把频率开到最大」是用四倍开销换一半误差,通常不划算。99Hz 这个取值的另一层考虑是避开整数定时器:略低于 100Hz 可以降低与系统时钟周期共振、导致采样点集中在同一段代码上的风险。
真正需要更高精度时,正确做法不是无限提频,而是延长采样时长:同样是 1980 个样本,跑 20 秒 99Hz 比跑 10 秒 198Hz 开销更低,而且覆盖了更多的执行阶段(冷启动、稳定期、收尾)。
把 IO 等待误判成 CPU 热点
on-CPU 采样只在线程真正占用 CPU 时抓栈。如果一条查询大部分时间在等对象存储,火焰图会显得很「薄」,因为等待期间根本没有样本。此时用 CPU 时间当分母,少量真实计算会被放大成 100%。
设一次 10 秒的执行(用例 113 的时长),CPU 时间只有 1 秒:
| 量 | 取值 | 含义 |
|---|---|---|
| wall time | 10 秒 | 用户感知的总时长 |
| CPU time | 1 秒(假设) | on-CPU 采样覆盖的部分 |
| 等待占比 | 90%(公式推导:1 − 1/10) | 火焰图完全看不到 |
| 火焰图内的占比 | 按 1 秒重新归一 | 每个栈帧的份额被放大约 10 倍(公式推导) |
判据是先算 wall/CPU 比,再看火焰图。比值接近 1,火焰图可信;比值远大于 1,先去做 off-CPU 剖析或直接看 IO 指标(对象存储请求延迟、队列深度、扫描字节),否则会把「等 IO」误诊成「算得慢」,然后去优化一段本来只占 1 秒的代码。
一次剖析至少要留下什么
火焰图是截图,结论要能复算。一次剖析的记录至少包含六项,否则下一次回归时无法判断「变快了」还是「采样点变了」:
| 记录项 | 为什么必须留 | 缺失后的误判 |
|---|---|---|
| wall time 与 CPU time | 区分等待与计算 | 把 IO 等待当成 CPU 热点 |
| 采样频率与样本数 | 决定误差范围 | 5% 对 5% 的差距被当真 |
| 前 N 个栈帧及份额 | 优化的输入 | 只记得「某个算子慢」 |
| 数据规模与分区数 | 份额随规模变化 | 小数据结论套到大数据 |
| 并发度与队列深度 | 等待时间与并发强相关 | 单线程剖析解释不了集群表现 |
| 引擎版本与配置 | 默认值会变 | 跨版本比较失去意义 |
这六项与 14.1 的四条件是一套东西:基准管「外部条件一致」,剖析记录管「内部观测一致」。两者都齐,结论才可以跨时间对比。
从样本到动作
| 现象 | 要算的账 | 结论 |
|---|---|---|
| 火焰图很薄、总时长却很长 | wall ÷ CPU | 等待主导,转 off-CPU 或 IO 指标 |
| 某帧很宽但有很多子帧 | 叶子宽度 | 优化点在叶子上,不在中间帧 |
| 两个算子占比接近 | 标准误(990 样本约 1 个百分点起) | 差距在误差内则不做取舍 |
| 前 3 个算子占 90% | 累计份额 | 只修这 3 个,长尾留到下一轮 |
剖析的产出不是一张图,而是一个带序号的待办列表:每个条目写明算子、份额、误差范围、预期收益。没有序号的火焰图只是好看。
三个常见误解
误解一:采样频率越高,结论越准,所以应该开到最大。 真相:误差按 1/√n 下降,频率翻四倍只让误差减半,开销却翻四倍;需要更高精度时应延长采样时长而不是提高频率。
误解二:火焰图上最宽的帧就是最该改的代码。 真相:中间帧的宽度是子调用之和,真正的自耗时要看叶子;被十个子调用共享的帧会很宽,但改它往往无从下手。
误解三:火焰图里没有 IO,说明 IO 不是瓶颈。 真相:on-CPU 采样只在占用 CPU 时抓栈。wall 10 秒、CPU 1 秒时,90% 的时间根本不会出现在火焰图上,那部分要靠 off-CPU 剖析或 IO 指标。
一句话总结本节
采样剖析用周期性抓栈把时间转成栈帧计数:10 秒按 99Hz 采样得 990 个样本,60% 占比的标准误约 1.56 个百分点,能分辨 60% 对 20%、不能分辨 5% 对 5%。用例 114 中前 3 个算子合计 90%,先修这三个拿 45% 的收益,剩下两个各 5% 只值 5 个百分点;但 on-CPU 采样看不见等待,wall 远大于 CPU 时必须换 off-CPU 口径。
本节 lab
在 bd-engine-lab 中验证采样数与热点份额:
- 源码:
src/lakehouse/Lakehouse.java与src/lakehouse/LakehouseSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 113 验证「10 秒 × 99Hz = 990 个样本」;用例 114 验证「份额 0.6、0.2、0.1、0.05、0.05 中前 3 个合计 0.9」。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:知道慢但不知道慢在哪 → 用采样把时间转成栈帧计数 → 算样本量与标准误、按宽度定位前 3 个算子 → 只修 90% 覆盖的那部分,并先用 wall/CPU 比排除等待型假热点。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。