14.1 基准方法学与 TPC-DS
性能讨论最常见的失败不是算错,而是比错。「我们比 Spark 快 3 倍」这句话里至少缺三个定义:测的是哪组查询、怎么把多条查询合成一个数、两边在什么条件下跑。三件事没定义,数字再精确也无法回答「谁更快」。
本节沿一条判断链走:现象是两份跑分互相矛盾,机制是汇总方式与可比条件不同,账本是一条 1000 秒查询把算术平均从 1 秒抬到 10.99 秒、几何平均只到 1.071518 秒,判据是四项可比全部为真才允许谈倍数。
一条慢查询如何主导算术平均
用例 111 的场景极其简单:100 条查询,99 条各 1 秒,1 条 1000 秒。算术平均就是总耗时除以条数。
| 参数 | 计算 | 结果 |
|---|---|---|
| 查询条数 | 常量 | 100 条(用例 111 场景) |
| 99 条耗时 | 99 × 1 秒 | 99 秒(公式推导) |
| 1 条耗时 | 常量 | 1000 秒(用例 111 场景) |
| 总耗时 | 99 + 1000 | 1099 秒(公式推导) |
| 算术平均 | 1099 ÷ 100 | 10.99 秒(公式推导) |
10.99 秒描述的不是任何一条查询:99 条查询都是 1 秒,没有一条接近 11 秒。这个数字是「把最慢那条摊到 100 条上」的产物。
几何平均:1.071518 秒
几何平均先取对数、求平均、再取指数。它衡量的是各条耗时的典型倍数,而不是总账。
几何平均 = exp( (Σ ln t_i) / n )
99 条 ln(1) = 0
1 条 ln(1000) = 6.907755
和 = 6.907755
平均 = 6.907755 / 100 = 0.06907755
exp(0.06907755) = 1.071518 秒
| 步骤 | 计算 | 结果 |
|---|---|---|
| 对数求和 | 99 × ln1 + ln1000 | 6.907755(公式推导) |
| 除以条数 | 6.907755 ÷ 100 | 0.06907755(公式推导) |
| 取指数 | e^0.06907755 | 1.071518 秒(用例 111) |
1.071518 秒的读法是:典型查询约 1 秒,整体被那条慢查询抬高了 7.15%。它没有假装慢查询不存在,只是不让它替其余 99 条发言。
两个平均差 10.26 倍,差在哪
把两种汇总放在一起,差距的来源一目了然:
| 汇总方式 | 结果 | 对 1000 秒查询的敏感度 |
|---|---|---|
| 算术平均 | 10.99 秒(公式推导) | 该查询独占 10 秒,占结果的 91%(公式推导:10 ÷ 10.99) |
| 几何平均 | 1.071518 秒(用例 111) | 只把典型值抬高 7.15%(公式推导:1.071518 − 1) |
两者相差约 10.26 倍(公式推导:10.99 ÷ 1.071518)。算术平均是一种「按耗时加权」的汇总:越慢的查询话语权越大。 这在容量规划上是对的——总时间确实由所有查询相加——但在「引擎 A 是否比引擎 B 快」这个问题上是错的,因为它测的是一条最差查询,不是整体水平。
去掉慢查询,两个平均就重合
| 场景 | 算术平均 | 几何平均 |
|---|---|---|
| 100 条,含 1 条 1000 秒 | 10.99 秒(公式推导) | 1.071518 秒(用例 111) |
| 99 条,全为 1 秒 | 1.00 秒(公式推导) | 1.00 秒(公式推导) |
这张表是判据本身:两种汇总的差距完全来自离群值。没有离群值时它们重合;一旦分开,说明结果正在被少数查询主导,此时报「平均耗时」必须同时报分位数或最大值,否则等于隐藏信息。
分位数也不完美,必须配最大值
被算术平均坑过的人常转向分位数,但同一组数据上海分位数会掩盖另一件事:
| 指标 | 取值 | 读法 |
|---|---|---|
| p50 | 1 秒(公式推导) | 一半查询在 1 秒内 |
| p99 | 1 秒(公式推导,第 99 个值仍是 1 秒) | 「99% 的查询很快」 |
| max | 1000 秒(用例 111 场景) | 有一条查询彻底失控 |
| 几何平均 | 1.071518 秒(用例 111) | 典型倍数被抬高 7.15% |
在 nearest-rank 约定下,p99=1 秒,max=1000 秒。两列分别刻画该口径下的分位和极端值。
用例 112:可比四条件
lab 把「可比」写成四个布尔值的与运算:数据、硬件、并发、缓存,全部为真才返回真。断言里特意包含 benchmarkComparable(true, true, true, false) == false——只破坏缓存一项,结论就翻转。
| 条件 | 含义 | 反例 | 被破坏后倍数失真方向 |
|---|---|---|---|
| 数据 | 同一份数据、同一分区布局、同一统计信息 | A 读 1TB 宽表,B 读裁剪后的窄表 | 读得少的一方虚快 |
| 硬件 | 同 CPU 代际、同核数、同内存带宽、同存储介质 | A 本地 NVMe,B 对象存储 | 本地盘一方虚快 |
| 并发 | 同并发数、同队列深度 | A 单查询独占,B 与 20 条查询混跑 | 独占一方虚快 |
| 缓存 | 同缓存状态(冷/热)与同缓存容量 | A 第二次运行(热),B 首次运行(冷) | 热缓存一方虚快 |
四项里最容易被忽略的是缓存,因为它不写在配置里,只写在「你跑第几遍」里。10.2 节算过缓存命中率对平均延迟的影响,在基准里它的作用是让「同一份数据」这件事本身失效:冷读要打穿到对象存储,热读落在本地盘或页缓存,差的是存储层级而不是引擎能力。所以「先预热再计时」和「每次清缓存再计时」是两种基准,不能混着比。
TPC-DS 的 99 条查询代表什么
TPC-DS 用 99 条查询覆盖决策支持的典型形状。它的价值不在于每条都快,而在于形状分布:
| 维度 | TPC-DS 的设计 | 对基准的意义 |
|---|---|---|
| 查询形状 | 99 条覆盖扫描、连接、聚合、窗口、子查询 | 单一形状的优势藏不住其他形状的劣势 |
| 数据模型 | 星型/雪花模型、多事实表 | 连接顺序与统计信息的作用被放大 |
| 规模 | 可按比例缩放 | 同一套 SQL 在不同数据量下可比 |
| 汇总口径 | 规定了几何平均类的汇总 | 单个慢查询不能主导结论 |
| 可复现 | 数据生成器确定 | 换引擎时数据完全一致 |
99 不是一个魔法数字,它保证的是覆盖度:只跑 3 条扫描查询得出的倍数,不能外推到 99 条。反过来,如果 99 条里有 60 条是同一形状的变体,覆盖度也会失真——看查询清单比看总数更重要。
「跑一次就宣布快 X 倍」的四个漏洞
| 漏洞 | 具体表现 | 账本上如何暴露 |
|---|---|---|
| 样本量为 1 | 单次抖动被当成差距 | 同配置重复跑,差值可能超过宣称的倍数 |
| 只跑有利形状 | 只测扫描,不测连接与聚合 | 99 条里被跳过的部分无人负责 |
| 挑选汇总方式 | 用算术平均或只报总时长 | 一条 1000 秒查询即可翻转结论(用例 111) |
| 可比条件缺失 | 缓存、并发、硬件有一项不同 | 用例 112 的四项里任一为假 |
四条里前两条靠设计避免,后两条靠披露避免。一个可信的基准报告必须写出:查询集合、汇总方式、四条可比条件的取值、重复次数。 少写一项,读者就无法复算。
一份可复算的基准报告要写什么
| 字段 | 必须写到什么程度 | 缺失后的后果 |
|---|---|---|
| 查询集合 | 引用 TPC-DS 哪 99 条,是否全部执行 | 读者无法判断形状覆盖 |
| 汇总方式 | 几何平均还是算术平均,是否剔除失败查询 | 同一份数据能得出 10.99 与 1.071518 两个结论 |
| 数据 | 规模、分区数、文件数、统计信息是否 ANALYZE 过 | 优化器行为无法复现 |
| 硬件 | 核数、内存、存储介质与网络位置 | 无法判断差异是否来自硬件 |
| 并发 | 单查询还是混合负载,队列深度 | 独占跑分与生产负载无关 |
| 缓存 | 冷/热、预热方式、缓存容量 | 两次实验差一个存储层级 |
| 重复次数 | 至少 3 次并给出离散范围 | 无法区分差距与抖动 |
这张表和 14.2 的剖析记录、14.3 的根因结论合起来,才构成一次完整的性能工程闭环:基准回答「快多少」,剖析回答「快在哪」,根因回答「为什么」。三者缺一,数字都会在下一个环境里失效。
失败的查询怎么记账
基准里最容易被悄悄处理掉的是失败:超时、OOM、结果错误的查询,被直接从分母里删掉。三种记法给出的结论完全不同:
| 记法 | 做法 | 对结论的影响 |
|---|---|---|
| 剔除 | 失败查询不计入平均 | 分母变小,结果偏好的一方虚快 |
| 按超时上限计 | 失败查询按超时阈值计入 | 给出性能下界,保守但可比 |
| 单列失败率 | 平均只统计成功查询,另报失败条数 | 信息完整,但要求读者自己合成结论 |
可附带“超时按阈值计入”的截尾均值,但主结果应单列失败与超时。保持不同系统的查询集合和超时规则一致,说明样本是否排除了失败查询。
基准与生产负载的差距
TPC-DS 是标准负载,生产是另一回事。两者的差距不在查询写法,而在分布:
| 维度 | 标准基准 | 生产负载 | 结论迁移的风险 |
|---|---|---|---|
| 查询分布 | 99 条固定、等权 | 少数模板高频重复 | 高频模板的优化收益被低估 |
| 数据分布 | 生成器造出的均匀/偏斜 | 真实长尾与热点键 | 倾斜处理能力无法体现 |
| 并发形态 | 规定的查询流 | 报表、点查、ETL 混跑 | 隔离性差异被隐藏 |
| 数据新鲜度 | 静态快照 | 持续写入与 compaction | 读写互相干扰未计入 |
所以标准基准的结论只能回答「在这个负载形状下谁更快」,不能直接回答「在我的业务上谁更快」。要把基准结论迁移到生产,至少要用自己的 10 条高频查询在同一套四条件下复测一遍——这 10 条才是权重真正的来源。
判据与动作
| 看到的现象 | 要算的账 | 得出的结论 |
|---|---|---|
| 两份跑分互相矛盾 | 各自用的是算术还是几何平均 | 差异可能全部来自汇总口径(10.99 对 1.071518) |
| 宣称快 N 倍 | 四项可比是否全为真 | 任一为假则倍数不成立 |
| 只有单次运行 | 重复运行的离散程度 | 无离散度就无法区分差距与抖动 |
| 只测了少数查询 | 查询形状覆盖 | 结论只能限定在被测形状内 |
基准的第一原则是先定义再测量:先写清查询集合、汇总方式、可比条件,再跑。反过来做,得到的数字无论多精确,都回答不了「谁更快」。
分位数、超时与标准基准
99 条 1 秒和 1 条 1000 秒的例子采用 nearest-rank 时,p99 是有序样本第 99 个值,即 1 秒。采用常见的线性插值时该例为 10.99 秒。报告应说明工具和分位数定义,同时给 p50、p99、max、超时和错误计数。用超时上限代入均值应标为截尾统计,不能恢复真实完成时间。
同时区分 TPC-DS 的正式结果和使用其查询模板的内部对照。发布内部对照时列出规模、执行的查询与改写、数据生成规则、缓存和并发,记录未成功及未执行的查询。 TPC-DS
三个常见误解
误解一:总耗时更短就是更快。 真相:总耗时由最慢的查询主导,100 条查询里 1 条 1000 秒就占了 1099 秒中的 1000 秒,结论只反映那条查询,不反映其余 99 条。
误解二:几何平均是为了让数字好看。 真相:几何平均让每条查询等权,衡量的是典型倍数;算术平均按耗时加权,等于让最慢的查询替所有查询发言。两者相差 10.26 倍不是美化,是口径差异。
误解三:只要用同一份数据就可比。 真相:用例 112 要求数据、硬件、并发、缓存四项同时一致。缓存状态不同就足以让同一份数据不可比,因为冷读与热读走的是不同存储层级。
一句话总结本节
100 条查询里 99 条 1 秒、1 条 1000 秒时,算术平均是 10.99 秒,几何平均只有 1.071518 秒;前者让最慢那条独占 91% 的话语权,后者把典型值只抬高 7.15%。基准可比必须同时满足数据、硬件、并发、缓存四项一致(用例 112),缺一项,倍数就只是两次不同实验的差值。
本节 lab
在 bd-engine-lab 中验证基准汇总与可比条件:
- 源码:
src/lakehouse/Lakehouse.java与src/lakehouse/LakehouseSuite.java。 - 运行:
cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:用例 111 用 99 个 1 秒加 1 个 1000 秒验证「几何平均约 1.071518 秒」,与算术平均 10.99 秒形成对照;用例 112 验证「数据、硬件、并发、缓存四项全真才可比」,且缓存一项为假时返回不可比。
- 整卷 runner 的预期汇总为
TOTAL: 116 passed, 0 failed。
对应本节判断链:看到两份跑分矛盾 → 先问汇总方式与四项可比条件 → 算出 10.99 秒对 1.071518 秒的差距来自单条慢查询 → 结论是补齐四项条件并用几何平均口径复测,否则不谈倍数。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。