《大规模分布式计算深入解析》5.2 延迟物化与列裁剪

宽表查询往往只碰少数列。列裁剪把 100 列压到 3 列,IO 比例 3%、1GB 表只读 30MB;延迟物化把数据列读取推到过滤之后,20 列过滤列全读、80 列按 1% 物化,IO 比例 20.8%,比全读省 79.2%。本节还比较提前与延后物化的随机读、顺序读代价。

5.2 延迟物化与列裁剪

上一节把过滤条件下推到存储层,解决的是「哪些行不用读」。这一节处理另一个维度:即使是命中的行,也不是每一列都需要。宽表把几百个字段并排放在一起,查询却常常只碰其中三五列,剩下的大部分列被读出来又原样丢弃。

列裁剪与延迟物化是两种互补的手段:前者减少「读哪些列」,后者决定「什么时候读数据列」。两者叠加,才能把宽表查询的 IO 压到与真实需求相称的水平。

宽表的浪费从哪里来

行式存储把一行中的所有列连续放在一起,读一列也要把整行读进来;列式存储把每列单独组织,读三列就只碰三列。列裁剪的收益首先来自列式布局,没有列存,后面所有比例都无从谈起。

除了布局,第二个浪费来自执行顺序:如果先把所有列都读出来再做过滤,那么被过滤掉的行,其数据列也白读了。延迟物化正是针对这一点——先只读过滤列,确定哪些行命中,再回表取这些行的数据列。

手段减少什么依赖的布局主要收益
列裁剪读取的列数列式存储宽表少读无关列
延迟物化数据列的读取行数行号可定位过滤后只物化命中行

列裁剪:100 列只读 3 列

lab 的用例 39 给出最直接的比例。一张 100 列的表,查询只用到 3 列:

IO 比例 = 读取列数 / 总列数 = 3 / 100 = 3%
1GB 的表按此比例读取 = 1GB × 3% = 30MB
口径读取列数IO 比例1GB 表实际读取
不裁剪100100%1GB
列裁剪33%30MB
差距少读大部分列3%30MB

3% 这个数字只说明「读得少」,不说明「算得快」。列裁剪省下的是扫描与解压的字节,但如果查询本身要做全表聚合,CPU 仍可能成为瓶颈。判断是否有效,要看 IO 时间在总耗时中的占比。

列裁剪的边界

列裁剪听起来简单,实际受几个条件约束:

条件影响应对
存储必须是列式行式存储无法只读部分列使用 Parquet、ORC 等列式格式
嵌套字段需按叶子列裁剪只读父字段仍可能带出全部子列按叶子路径投影
过滤列必须读谓词依赖的列不能裁掉把过滤列计入读取集合
输出列必须读最终结果需要的列不能裁掉投影下推与列裁剪配合

过滤列与输出列的交集决定了列裁剪的下限。查询只读 3 列,但如果其中 2 列用于过滤、1 列用于输出,那么这 3 列一列都不能少;能裁掉的只是其余列。

延迟物化:先过滤,后取列

延迟物化把读取分成两阶段。第一阶段只读过滤列,得到命中行的行号;第二阶段按行号回表,读取这些行的数据列。

lab 的用例 40 是一个宽表算例:20 列过滤列、80 列数据列,选择率 1%。数据列并不需要全读,只需要为命中的 1% 行物化:

过滤列读取比例 = 20 / 100 = 20%
数据列物化比例 = 80 / 100 × 1% = 0.8%
合计 IO 比例 = 20% + 0.8% = 20.8%
组成列数读取方式IO 占比
过滤列20全部读取20%
数据列80仅命中行物化0.8%
合计100两阶段20.8%

20.8% 的构成是「20 列全读」加「80 列乘 1%」:前者是过滤无法避免的成本,后者是延迟物化省下来的部分。如果一开始就把 100 列全读,IO 比例是 100%;延迟物化把它压到 20.8%,相对全读节省 100% - 20.8% = 79.2%。

20.8% 意味着什么

这个比例可以拆成两句话来读:

  • 过滤列是固定开销:20 列必须整列扫描,无论选择率多低都省不掉;
  • 数据列是可变开销:80 列只按选择率物化,选择率越低,这部分越接近零。
选择率数据列 IO 占比合计 IO 比例相对全读节省
1%0.8%20.8%79.2%
更高更高高于 20.8%低于 79.2%

延迟物化的收益随选择率下降而放大。选择率接近 100% 时,数据列几乎全部要物化,两阶段读取反而多了一次回表开销,此时不如一次顺序读完整行。

物化时机的代价:随机读与顺序读

延迟物化不是免费的。第一阶段拿到的是离散行号,第二阶段回表时,这些行在列文件中并不连续:

物化时机读取模式优点代价
提前物化顺序读整列顺序 IO,吞吐高读到大量不需要的行
延迟物化按行号回表只读物化命中行随机读,寻址开销高

顺序读擅长吞吐,随机读擅长挑选。当命中行在文件中分布稀疏时,回表的随机读会把省下的字节又吐回去一部分;当命中行相对集中,或存储对随机读友好时,延迟物化才明显划算。

这也是选择率不能太高的原因:选择率越高,命中行越密集,回表越接近顺序读,两阶段的开销就越不划算;选择率很低时,命中行稀疏但数量少,随机读的总次数有限,延迟物化反而占优。

宽表场景的取舍

把两种手段放在一起,宽表查询的决策可以归纳成一张表:

场景列裁剪延迟物化结论
只读少数列、选择率低收益大收益大两者叠加,IO 可降到很小
只读少数列、选择率高收益大收益小只做列裁剪,避免回表
读很多列、选择率低收益小收益大以延迟物化为主
读很多列、选择率高收益小收益小接近全表扫描,优化空间有限

判断依据是「过滤列占比」与「选择率」两个变量。过滤列越少、选择率越低,延迟物化的空间越大;过滤列本身就很多时,第一阶段的全列扫描已经把成本推高,收益被摊薄。

投影下推与列裁剪的关系

列裁剪在执行计划里通常以「投影下推」的形式出现:

层次做什么效果
SQL 投影只选择需要的输出列减少上层处理列数
投影下推把列需求传到扫描算子扫描只读这些列
存储投影列式读取只取对应 column chunk真正减少 IO

三层缺一不可:SQL 写了只查 3 列,但优化器没有把投影传到扫描层,存储仍然会读 100 列;只有投影一路下推到列式读取,3% 的 IO 比例才成立。

行号:延迟物化的关键依赖

延迟物化第二阶段要按行号回表,因此第一阶段必须产出稳定、可定位的行标识:

行标识是否可用说明
文件内行号可用同一文件内偏移稳定
全局行号视实现需要额外的行号映射
主键值可用需二次查找,成本更高
物理偏移可用最直接,但依赖格式布局

没有行号,延迟物化就退化成两次全读。第一阶段读完过滤列后,如果无法定位命中行在数据列中的位置,第二阶段只能再扫一遍数据列,省字节的初衷就落空了。

一个宽表查询的完整账本

把列裁剪与延迟物化合起来,一个 100 列宽表查询的 IO 可以这样逐项对账:

全读基线 = 100 列 = 100%
延迟物化 = 20 列过滤列全读 + 80 列数据列 × 1%
         = 20% + 0.8% = 20.8%
纯列裁剪示例 = 3 列 / 100 列 = 3%
方案读取内容IO 比例
全表读取100 列全部100%
纯列裁剪只读查询涉及的列3%
延迟物化过滤列全读 + 数据列按选择率20.8%

三个比例对应三种不同的查询形态:只读 3 列且不需要宽表数据列时,纯列裁剪最省;需要读取 80 列数据列时,延迟物化把 100% 压到 20.8%。不要把 3% 与 20.8% 直接比较,它们回答的是不同问题。

嵌套列与 Map 字段的裁剪

嵌套结构会放大列裁剪的难度:

结构裁剪单位风险
Struct按叶子字段只读父字段可能带出全部子字段
List按元素字段元素数量影响实际读取量
Map按键值字段无法按单个键裁剪

嵌套字段要裁到叶子路径。只写 SELECT user FROM t 时,如果 user 是包含多个子字段的 Struct,读取层可能把整个 Struct 的所有子列都读出来;写成 SELECT user.id, user.name 才能把投影压到具体叶子列。

三个常见误解

误解一:列裁剪能省掉过滤列,所以读得越少越好。 真相:过滤列是谓词求值的输入,必须整列读取;能裁掉的是既非过滤也非输出的列。

误解二:延迟物化总是比提前物化快。 真相:延迟物化用随机读换少读字节,选择率高或命中行稀疏时,回表开销可能吃掉收益。

误解三:20.8% 是数据列的读取比例。 真相:20.8% 是过滤列 20% 与数据列 0.8% 之和,数据列本身只按 1% 物化。

一句话总结本节

列裁剪把 100 列压到 3 列,IO 比例 3%、1GB 表只读 30MB;延迟物化在此基础上先读 20 列过滤列、再按 1% 物化 80 列数据列,合计 IO 比例 20.8%,相对全读省 79.2%。它的代价是回表随机读,选择率越高、命中行越密集,延迟物化越不划算。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab/ 中验证列裁剪与延迟物化的 IO 比例:

  • 源码:src/format/Format.java 与 src/format/FormatSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 39 验证「100 列只读 3 列,IO 比例 3%,1GB 表只读 30MB」;用例 40 验证「20 列过滤列全读、80 列数据列按 1% 物化,IO 比例 (20+0.8)/100=20.8%,相对全读省 79.2%」。
  • 预期汇总输出:TOTAL: 116 passed, 0 failed。

对应本节判断链:宽表查询先看读取列数 → 列裁剪把 100 列压到 3 列、IO 降到 3% → 再看过滤列与输出列是否能进一步减少 → 延迟物化只读 20 列过滤列、按 1% 物化 80 列数据列 → 合计 20.8% → 是否采用取决于选择率与回表随机读的代价。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图