《大规模分布式计算深入解析》3.1 Parquet 布局:row group、page 与 column chunk

区分 Parquet 文件、逻辑行组、叶列列块、页与页索引,按真实元数据定位读路径。

3.1 Parquet 布局:row group、page 与 column chunk

前面两章讨论的是「一行数据算得多快」:火山模型逐行调用、向量化按批处理、Push 模型由算子主动拉取。从这一章开始,问题换成「一列数据在磁盘上怎么摆」。执行引擎读得慢,很多时候不是算子写得差,而是文件布局让它读了本不必读的字节。

Parquet 的布局可以用一句话概括:先按行把数据切成 row group,再按列把 row group 切成 column chunk,最后按大小把 column chunk 切成 page。四层结构各自承担不同职责:row group 管并行与内存,column chunk 管投影,page 管编码与统计。

四层结构:从文件到 page

层级定义主要职责典型单位
文件一个 .parquet 对象承载 schema 与全部数据一个对象
row group若干行的集合,内部按列存储并行读取、内存缓冲、统计边界128MiB
column chunk某列在一个 row group 内的全部数据列投影的最小连续 IO 单元与 row group 同寿命
pagecolumn chunk 内的编码块编码、压缩、页级统计1MiB

这四个名字容易混,因为「块」在不同语境指不同层。读一个列,拿到的是若干 column chunk;读一个 column chunk,真正解压的是它内部的 page。row group 本身不直接对应一次 IO,它是一组 column chunk 的容器。

lab 的用例 28 按二进制单位算 row group 数:

总数据量 = 10GiB = 10 × 1024MiB = 10240MiB
row group 大小 = 128MiB
row group 数 = ceil(10240 / 128) = 80 个

用例 29 继续往下切:

假设单个列块约 8 MiB,页目标约 1 MiB
单列块约 8 MiB,数据页目标 1 MiB,页数示意约 8

如果这张表有 10 列,column chunk 总数是 80 × 10 = 800 个,各列块的页数需独立读取或计算。page 数量决定了统计信息的粒度,也决定了元数据的大小;后面的裁剪能不能跳过数据,首先取决于这一层切得够不够细。

文件头尾:footer 里有什么

Parquet 文件不是从头顺序读完的。它的入口在文件尾部:

┌────────┬──────────────────────────┬─────────────────────┬──────────┬────────┐
│ "PAR1" │ column chunk 数据区 ...   │ FileMetaData(Thrift)│ footer长度│ "PAR1" │
└────────┴──────────────────────────┴─────────────────────┴──────────┴────────┘
   4B              按列排列                schema/row group/统计     4B       4B

读取器先读尾部 8 个字节,拿到 footer 长度,再回跳读取 FileMetaData。footer 里至少包含三类信息:

信息内容用途
schema列名、类型、嵌套结构、重复/定义层级把列式数据还原成行
row group 列表每个 row group 的行数、字节偏移、总大小定位与并行切分
column chunk 元数据编码、压缩、数据偏移、min/max、null 数投影、裁剪、解码

footer 是「先看地图再搬货」的地图。没有它,读取器只能顺序扫描;有了它,才能只打开需要的 column chunk。代价是 footer 必须完整读入内存,宽表或小文件很多时,footer 本身会成为不可忽视的开销。

row group 的预算与列块大小

row group 水平切分逻辑行。一个 row group 对每个叶子列有一个 column chunk。用理想等分的教学预算,10 GiB ÷ 128 MiB = 80 组。真实 writer 会按行数、缓冲大小、数据形状与实现策略决定边界,最后一组也可较小。

列块包含该组这一列的数据,列字节可能相差几个数量级。假设某个列块的未压缩预算约 8 MiB,数据页目标 1 MiB,得到约 8 个页的估算。读取实际页数应解析页头或使用可用的页索引,不能用整个行组预算除以页目标推导每列的页数。

column chunk:列投影真正省下的 IO

行式存储把一行的所有列连续放在一起,读一列也要把整行读进来;列式存储把同一列的值连续放在一起,读一列只碰这一列。差别不在「压缩率」,而在「读路径」:

查询形态行式存储读取列式存储读取
读整行一次连续读,友好每列各读一段,寻址多
读少数列读完整行,浪费宽列只读目标列,省掉其余
聚合一列读完整行,浪费带宽只读该列,顺序扫描
点查整行一次定位多列分别定位后拼装

列式存储不是无条件更快。宽表读少数列时它优势明显;但若查询要读全部列,列式反而多出多次寻址与拼装成本。分析型负载通常只碰少数列,所以列式赢;交易型负载每次都要整行,所以行式更合适。

column chunk 还是统计与布隆过滤器的挂载点。footer 里每个 column chunk 都带自己的 min/max、null 数;4.2 要讲的布隆过滤器也按 column chunk 组织。列裁剪省掉的是「不读」,统计裁剪省掉的是「读了也不用」,两者叠加才是完整的 IO 优化。

page 的编码与访问

列块由数据页以及可能存在的字典页等组成。页头记录页类型、大小和编码等信息,页数据依据类型解释。Page Index 可位于独立字节区间,由列块元数据定位。ColumnIndex 提供相应页级统计,OffsetIndex 提供偏移与行范围。支持页索引的 reader 可在读取页负载前据此排除不匹配的范围;缺失可用统计时保留候选。 Parquet 文件格式 · Parquet Page Index

page index:让 page 级跳过成为可能

早期 Parquet 只有 column chunk 级统计,读取器即使知道某个 page 不可能命中,也必须把整个 chunk 解压后才能确认。Page Index(ColumnIndex 与 OffsetIndex)把每页的 min/max 与偏移单独存出来,读取器可以先读索引、再决定解压哪些页。

索引记录内容作用
ColumnIndex每页 min/max、null 数判断该页是否可能命中
OffsetIndex每页在文件中的偏移与大小直接 seek 到目标页

没有 page index,page 只是压缩单位;有了 page index,page 才成为裁剪单位。4.1 的用例 30 会给出最小例子:某页 min=10、max=90,查询 x > 95,这一页可以直接跳过。这个判断之所以成立,靠的正是页级统计,而不是把页读出来再过滤。

写入时的顺序:先攒行,再转列

Parquet 的写入不是「来一行写一行」。典型流程是:

接收行 → 写入内存 row group 缓冲(按列组织)
       → 达到 128MiB 或行数阈值 → 逐列 flush 成 column chunk
       → 每个 column chunk 内按 1MiB 切 page、编码、压缩
       → 记录每页统计与偏移
       → row group 完成后写 footer

这个顺序决定了两个事实:row group 一旦落盘就不能再追加,所以更新只能重写整个 row group;page 的边界由写入缓冲决定,所以同一份数据用不同批次写入,page 统计可能不同。湖表格式的 merge-on-read 与 compaction,本质上就是在管理这些不可变块的重写代价。

嵌套结构:列式布局怎么装下 struct 与 list

列式布局最先让人困惑的地方是嵌套:一行里可能有 struct,struct 里可能有 list,list 里又是 struct。Parquet 不为每个嵌套层级单独建文件,而是把每个叶子列压成一条 column chunk,用重复层级与定义层级还原结构。

层级信息回答的问题还原时的作用
重复层级这个值属于第几层重复字段的第几个元素决定 list 的边界
定义层级从根到这个值经过了多少个可选字段判断该位置是否为空
值叶子列的实际数据填充最终值

嵌套越深,层级信息占用的字节越多。一个 list<struct<...>> 的叶子列,除了值本身,还要为每个值存两个小整数。列式格式对「宽而浅」的表最友好;对「深而窄」的嵌套结构,层级开销可能超过数据本身,这也是很多系统在写入前把嵌套拍平的原因。

拍平不是没有代价:拍平后行变宽、重复数据变多,压缩率会下降。选择「保留嵌套」还是「拍平」,要比较层级开销与重复开销,而不是只看 schema 好不好看。

读路径:一次查询到底碰了哪些字节

把前面的结构串起来,一次列式读取的完整路径是:

1. 读文件尾部 8B → 得到 footer 长度 → 读 FileMetaData
2. 用 row group 统计裁掉不相关的 row group
3. 用列投影选出需要的 column chunk,其余一律不读
4. 读目标 chunk 的 page index(若有)→ 裁掉不相关的 page
5. 只对命中的 page 做解压与解码
6. 按重复/定义层级把值拼回行,交给上层算子
步骤读入的字节可跳过的东西
读 footer元数据整张表的布局未知部分
row group 裁剪统计整块 row group
列投影目标列未投影的 column chunk
page index页统计不可能命中的 page
解压解码命中页其余所有页

这条路径上有三次「不读」的机会:不读无关 row group、不读无关列、不读无关 page。三次都生效,扫描量才接近「查询真正需要的字节」;任何一次失效,读取器就会退回到更粗的块。执行引擎的 IO 优化,大半是在保证这三次机会都不被浪费。

三个常见误解

误解一:row group 越大,压缩率越高,所以越大越好。 真相:大 row group 省元数据,但一次误判要多读多解压,且单块内存压力上升;128MiB 是并行度、内存与裁剪精度的折中。

误解二:列式存储读任何查询都比行式快。 真相:列式只在「读少数列」时省 IO;读全部列时反而多出寻址与拼装成本,行式的一次连续读更友好。

误解三:有 min/max 统计就能跳过 page。 真相:统计必须与谓词区间不相交才可跳过;统计重叠、缺失或未写 page index 时,读取器只能保守地读完整块。

一句话总结本节

Parquet 先按行组织组,再在每组内按叶列组织列块和页面。规划读取时从元数据得出实际列块与页的位置,目标大小只用于估算。

Parquet 文件与页索引位置

对象上的偏移由 footer 中的列块元数据指向。这里展示未加密的常见布局,页索引为可选。

flowchart TD
    F[Parquet 文件] --> M[尾部 magic 与 footer 长度]
    M --> D[FileMetaData 与 schema]
    D --> G1[Row group 0]
    D --> G2[Row group 1]
    G1 --> C1[列 a 的 column chunk]
    G1 --> C2[列 b 的 column chunk]
    C1 --> P[字典页与数据页及其编码]
    C1 --> I[可选 ColumnIndex 与 OffsetIndex]
    C1 --> B[可选 split-block Bloom]

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

FormatSuite 用例 28–29 是独立的容量算例。用例 29 的分子假设为单列列块预算,并要求整除。原生 DuckDB 对照读取真实 footer 中的 row group 与统计。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图