《大规模分布式计算深入解析》14.1 基准方法学与 TPC-DS

99 条 1 秒查询加 1 条 1000 秒查询,算术平均被拉成 10.99 秒,几何平均只有 1.071518 秒,最慢那条独占 91% 话语权;基准可比要数据、硬件、并发、缓存四项同时一致,缺一项倍数就不成立。

14.1 基准方法学与 TPC-DS

性能讨论最常见的失败不是算错,而是比错。「我们比 Spark 快 3 倍」这句话里至少缺三个定义:测的是哪组查询、怎么把多条查询合成一个数、两边在什么条件下跑。三件事没定义,数字再精确也无法回答「谁更快」。

本节沿一条判断链走:现象是两份跑分互相矛盾,机制是汇总方式与可比条件不同,账本是一条 1000 秒查询把算术平均从 1 秒抬到 10.99 秒、几何平均只到 1.071518 秒,判据是四项可比全部为真才允许谈倍数。

一条慢查询如何主导算术平均

用例 111 的场景极其简单:100 条查询,99 条各 1 秒,1 条 1000 秒。算术平均就是总耗时除以条数。

参数计算结果
查询条数常量100 条(用例 111 场景)
99 条耗时99 × 1 秒99 秒(公式推导)
1 条耗时常量1000 秒(用例 111 场景)
总耗时99 + 10001099 秒(公式推导)
算术平均1099 ÷ 10010.99 秒(公式推导)

10.99 秒描述的不是任何一条查询:99 条查询都是 1 秒,没有一条接近 11 秒。这个数字是「把最慢那条摊到 100 条上」的产物。

几何平均:1.071518 秒

几何平均先取对数、求平均、再取指数。它衡量的是各条耗时的典型倍数,而不是总账。

几何平均 = exp( (Σ ln t_i) / n )
99 条 ln(1) = 0
1 条 ln(1000) = 6.907755
和 = 6.907755
平均 = 6.907755 / 100 = 0.06907755
exp(0.06907755) = 1.071518 秒
步骤计算结果
对数求和99 × ln1 + ln10006.907755(公式推导)
除以条数6.907755 ÷ 1000.06907755(公式推导)
取指数e^0.069077551.071518 秒(用例 111)

1.071518 秒的读法是:典型查询约 1 秒,整体被那条慢查询抬高了 7.15%。它没有假装慢查询不存在,只是不让它替其余 99 条发言。

两个平均差 10.26 倍,差在哪

把两种汇总放在一起,差距的来源一目了然:

汇总方式结果对 1000 秒查询的敏感度
算术平均10.99 秒(公式推导)该查询独占 10 秒,占结果的 91%(公式推导:10 ÷ 10.99)
几何平均1.071518 秒(用例 111)只把典型值抬高 7.15%(公式推导:1.071518 − 1)

两者相差约 10.26 倍(公式推导:10.99 ÷ 1.071518)。算术平均是一种「按耗时加权」的汇总:越慢的查询话语权越大。 这在容量规划上是对的——总时间确实由所有查询相加——但在「引擎 A 是否比引擎 B 快」这个问题上是错的,因为它测的是一条最差查询,不是整体水平。

去掉慢查询,两个平均就重合

场景算术平均几何平均
100 条,含 1 条 1000 秒10.99 秒(公式推导)1.071518 秒(用例 111)
99 条,全为 1 秒1.00 秒(公式推导)1.00 秒(公式推导)

这张表是判据本身:两种汇总的差距完全来自离群值。没有离群值时它们重合;一旦分开,说明结果正在被少数查询主导,此时报「平均耗时」必须同时报分位数或最大值,否则等于隐藏信息。

分位数也不完美,必须配最大值

被算术平均坑过的人常转向分位数,但同一组数据上海分位数会掩盖另一件事:

指标取值读法
p501 秒(公式推导)一半查询在 1 秒内
p991 秒(公式推导,第 99 个值仍是 1 秒)「99% 的查询很快」
max1000 秒(用例 111 场景)有一条查询彻底失控
几何平均1.071518 秒(用例 111)典型倍数被抬高 7.15%

在 nearest-rank 约定下,p99=1 秒,max=1000 秒。两列分别刻画该口径下的分位和极端值。

用例 112:可比四条件

lab 把「可比」写成四个布尔值的与运算:数据、硬件、并发、缓存,全部为真才返回真。断言里特意包含 benchmarkComparable(true, true, true, false) == false——只破坏缓存一项,结论就翻转。

条件含义反例被破坏后倍数失真方向
数据同一份数据、同一分区布局、同一统计信息A 读 1TB 宽表,B 读裁剪后的窄表读得少的一方虚快
硬件同 CPU 代际、同核数、同内存带宽、同存储介质A 本地 NVMe,B 对象存储本地盘一方虚快
并发同并发数、同队列深度A 单查询独占,B 与 20 条查询混跑独占一方虚快
缓存同缓存状态(冷/热)与同缓存容量A 第二次运行(热),B 首次运行(冷)热缓存一方虚快

四项里最容易被忽略的是缓存,因为它不写在配置里,只写在「你跑第几遍」里。10.2 节算过缓存命中率对平均延迟的影响,在基准里它的作用是让「同一份数据」这件事本身失效:冷读要打穿到对象存储,热读落在本地盘或页缓存,差的是存储层级而不是引擎能力。所以「先预热再计时」和「每次清缓存再计时」是两种基准,不能混着比。

TPC-DS 的 99 条查询代表什么

TPC-DS 用 99 条查询覆盖决策支持的典型形状。它的价值不在于每条都快,而在于形状分布:

维度TPC-DS 的设计对基准的意义
查询形状99 条覆盖扫描、连接、聚合、窗口、子查询单一形状的优势藏不住其他形状的劣势
数据模型星型/雪花模型、多事实表连接顺序与统计信息的作用被放大
规模可按比例缩放同一套 SQL 在不同数据量下可比
汇总口径规定了几何平均类的汇总单个慢查询不能主导结论
可复现数据生成器确定换引擎时数据完全一致

99 不是一个魔法数字,它保证的是覆盖度:只跑 3 条扫描查询得出的倍数,不能外推到 99 条。反过来,如果 99 条里有 60 条是同一形状的变体,覆盖度也会失真——看查询清单比看总数更重要。

「跑一次就宣布快 X 倍」的四个漏洞

漏洞具体表现账本上如何暴露
样本量为 1单次抖动被当成差距同配置重复跑,差值可能超过宣称的倍数
只跑有利形状只测扫描,不测连接与聚合99 条里被跳过的部分无人负责
挑选汇总方式用算术平均或只报总时长一条 1000 秒查询即可翻转结论(用例 111)
可比条件缺失缓存、并发、硬件有一项不同用例 112 的四项里任一为假

四条里前两条靠设计避免,后两条靠披露避免。一个可信的基准报告必须写出:查询集合、汇总方式、四条可比条件的取值、重复次数。 少写一项,读者就无法复算。

一份可复算的基准报告要写什么

字段必须写到什么程度缺失后的后果
查询集合引用 TPC-DS 哪 99 条,是否全部执行读者无法判断形状覆盖
汇总方式几何平均还是算术平均,是否剔除失败查询同一份数据能得出 10.99 与 1.071518 两个结论
数据规模、分区数、文件数、统计信息是否 ANALYZE 过优化器行为无法复现
硬件核数、内存、存储介质与网络位置无法判断差异是否来自硬件
并发单查询还是混合负载,队列深度独占跑分与生产负载无关
缓存冷/热、预热方式、缓存容量两次实验差一个存储层级
重复次数至少 3 次并给出离散范围无法区分差距与抖动

这张表和 14.2 的剖析记录、14.3 的根因结论合起来,才构成一次完整的性能工程闭环:基准回答「快多少」,剖析回答「快在哪」,根因回答「为什么」。三者缺一,数字都会在下一个环境里失效。

失败的查询怎么记账

基准里最容易被悄悄处理掉的是失败:超时、OOM、结果错误的查询,被直接从分母里删掉。三种记法给出的结论完全不同:

记法做法对结论的影响
剔除失败查询不计入平均分母变小,结果偏好的一方虚快
按超时上限计失败查询按超时阈值计入给出性能下界,保守但可比
单列失败率平均只统计成功查询,另报失败条数信息完整,但要求读者自己合成结论

可附带“超时按阈值计入”的截尾均值,但主结果应单列失败与超时。保持不同系统的查询集合和超时规则一致,说明样本是否排除了失败查询。

基准与生产负载的差距

TPC-DS 是标准负载,生产是另一回事。两者的差距不在查询写法,而在分布:

维度标准基准生产负载结论迁移的风险
查询分布99 条固定、等权少数模板高频重复高频模板的优化收益被低估
数据分布生成器造出的均匀/偏斜真实长尾与热点键倾斜处理能力无法体现
并发形态规定的查询流报表、点查、ETL 混跑隔离性差异被隐藏
数据新鲜度静态快照持续写入与 compaction读写互相干扰未计入

所以标准基准的结论只能回答「在这个负载形状下谁更快」,不能直接回答「在我的业务上谁更快」。要把基准结论迁移到生产,至少要用自己的 10 条高频查询在同一套四条件下复测一遍——这 10 条才是权重真正的来源。

判据与动作

看到的现象要算的账得出的结论
两份跑分互相矛盾各自用的是算术还是几何平均差异可能全部来自汇总口径(10.99 对 1.071518)
宣称快 N 倍四项可比是否全为真任一为假则倍数不成立
只有单次运行重复运行的离散程度无离散度就无法区分差距与抖动
只测了少数查询查询形状覆盖结论只能限定在被测形状内

基准的第一原则是先定义再测量:先写清查询集合、汇总方式、可比条件,再跑。反过来做,得到的数字无论多精确,都回答不了「谁更快」。

分位数、超时与标准基准

99 条 1 秒和 1 条 1000 秒的例子采用 nearest-rank 时,p99 是有序样本第 99 个值,即 1 秒。采用常见的线性插值时该例为 10.99 秒。报告应说明工具和分位数定义,同时给 p50、p99、max、超时和错误计数。用超时上限代入均值应标为截尾统计,不能恢复真实完成时间。

同时区分 TPC-DS 的正式结果和使用其查询模板的内部对照。发布内部对照时列出规模、执行的查询与改写、数据生成规则、缓存和并发,记录未成功及未执行的查询。 TPC-DS

三个常见误解

误解一:总耗时更短就是更快。 真相:总耗时由最慢的查询主导,100 条查询里 1 条 1000 秒就占了 1099 秒中的 1000 秒,结论只反映那条查询,不反映其余 99 条。

误解二:几何平均是为了让数字好看。 真相:几何平均让每条查询等权,衡量的是典型倍数;算术平均按耗时加权,等于让最慢的查询替所有查询发言。两者相差 10.26 倍不是美化,是口径差异。

误解三:只要用同一份数据就可比。 真相:用例 112 要求数据、硬件、并发、缓存四项同时一致。缓存状态不同就足以让同一份数据不可比,因为冷读与热读走的是不同存储层级。

一句话总结本节

100 条查询里 99 条 1 秒、1 条 1000 秒时,算术平均是 10.99 秒,几何平均只有 1.071518 秒;前者让最慢那条独占 91% 的话语权,后者把典型值只抬高 7.15%。基准可比必须同时满足数据、硬件、并发、缓存四项一致(用例 112),缺一项,倍数就只是两次不同实验的差值。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证基准汇总与可比条件:

  • 源码:src/lakehouse/Lakehouse.java 与 src/lakehouse/LakehouseSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 111 用 99 个 1 秒加 1 个 1000 秒验证「几何平均约 1.071518 秒」,与算术平均 10.99 秒形成对照;用例 112 验证「数据、硬件、并发、缓存四项全真才可比」,且缓存一项为假时返回不可比。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:看到两份跑分矛盾 → 先问汇总方式与四项可比条件 → 算出 10.99 秒对 1.071518 秒的差距来自单条慢查询 → 结论是补齐四项条件并用几何平均口径复测,否则不谈倍数。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图