《大规模分布式计算深入解析》12.1 Snowflake:微分区与虚拟仓库

1GiB 的表按 16MiB 切成 64 个微分区,元数据随分区数线性增长;虚拟仓库从 XS 的 1 credit/h 到 4XL 的 128 credit/h,规模差 128 倍,只有并行加速比接近 128 时才不亏。

12.1 Snowflake:微分区与虚拟仓库

Snowflake 把存储与计算拆成两个独立计费的平面:存储按数据量,计算按虚拟仓库的运行时长。这个拆分让两个原本绑在一起的量各自可调,也让一笔账变得必须算清楚——仓库开大 128 倍,钱就贵 128 倍,而查询未必快 128 倍。

本节算两笔账:切成多少个微分区(1GiB 按 16MiB 切是 64 个),仓库开多大(4XL 是 XS 的 128 倍 credits)。两笔账分别对应裁剪效率与计算成本。

微分区:不可变、列存、自动聚簇

微分区是 Snowflake 表的物理切分单位:数据写入时自动切成固定大小的块,每块内部按列存放,块一旦写完就不再修改。本节按 16MiB 的口径建模(lab 用例 97 的参数),实际块大小由产品实现决定;但「不可变 + 列存 + 每块带统计」这三条性质与粒度无关,下面的推导换成任何粒度都成立。

属性取值或行为带来的能力
大小16MiB(本节模型口径)裁剪粒度与元数据开销的折中
不可变写后不改,更新产生新分区元数据可精确记录每块的统计
列存块内按列组织只读需要的列
统计每块记录 min/max 等查询前裁剪
聚簇按聚簇键排序,可自动维护范围查询少扫块

不可变是全部设计的支点:因为块不会原地改写,每块的 min/max、行数、空值数这些统计一旦写好就永远有效,查询可以直接信任它们做裁剪。如果块可以原地更新,统计就得随每次写入失效,裁剪也就无从谈起。

更新的实现是「标记旧块失效 + 写新块」,所以一次更新不会改动整个表,只影响包含目标行的那些微分区。这也是它适合批量导入、不适合高频单行更新的原因。

用例 97:1GiB ÷ 16MiB = 64 个微分区

表大小    = 1GiB = 1,024MiB
微分区大小 = 16MiB
分区数     = 1,024 ÷ 16 = 64 个
参数计算结果
表大小—1GiB
微分区大小—16MiB
分区数1,024 ÷ 1664(用例 97)
每分区平均行数取决于行宽不固定

64 这个数字说明的是粒度,不是性能:它告诉你这张表最多能被裁成 64 份,一次点查如果命中一个分区,理论上只读 1/64 的数据。但能不能真的只读一份,取决于聚簇键与查询谓词是否对齐——分区裁剪看的是统计,不是意愿。

16MiB 粒度怎样影响裁剪

表大小微分区数裁剪的最细粒度
1GiB64(用例 97)16MiB
10GiB640(公式推导)16MiB
100GiB6,400(公式推导)16MiB
1TiB65,536(公式推导)16MiB

粒度是常数,比例才是变量:表越大,16MiB 占全表的比例越小,裁剪的潜在收益越高。1TiB 的表命中一个微分区,只读全表的 1/65536;1GiB 的表命中一个,读的是 1/64。

反过来,小表的裁剪收益有限:如果一张表只有几个微分区,统计的粒度粗到无法有效排除数据。微分区大小固定,意味着小表天然吃亏、大表天然受益,这也是为什么小表不值得为裁剪做复杂的聚簇设计。

粒度选择裁剪精度元数据开销适用
更小(如 4MiB)高高,分区数 ×4高选择性点查
16MiB(默认)中中通用
更大低低全表扫描为主

元数据随分区数线性增长

若每个微分区需要常数 c 字节的元数据(统计、路径、版本信息),那么总元数据就是「分区数 × c」:

表大小分区数元数据总量
1GiB64(用例 97)64c
100GiB6,400(公式推导)6,400c
1TiB65,536(公式推导)65,536c

这张表用的是符号而不是具体字节数,因为 c 的值由实现决定,本节不给实测值。但比例关系是确定的:分区数翻倍,元数据翻倍。当分区数到了几万、几十万量级,元数据本身就成了一层需要认真对待的「小表」——查询规划要读它,裁剪要查它,它的规模直接决定规划阶段的开销。

这就是 16MiB 这个折中的由来:再小,裁剪更准但元数据膨胀;再大,元数据省了但每次都得读更多无用数据。没有一个对所有负载都最优的值,只有对某类负载更合适的值。

虚拟仓库:XS 到 4XL 的 credit 阶梯

虚拟仓库是计算资源的单位,规格每升一级,credits 每小时翻倍:

规格credits/小时相对 XS
XS11 倍
S22 倍
M44 倍
L88 倍
XL1616 倍
2XL3232 倍
3XL6464 倍
4XL128128 倍(用例 98)

这张阶梯是纯几何级数,没有折扣:4XL 的 credits 是 XS 的 128 倍,一分不少。所以仓库规格的选择不是「大一点更稳」,而是一次明确的成本承诺——开 4XL 跑一小时,账上就是 128 个 credit,不管查询有没有用满。

128 倍 credits 必须换 128 倍并行

仓库变大买到的唯一东西是并行度:更多节点、更多线程同时扫更多微分区。设某查询在 XS 上耗时 T 小时,在 4XL 上耗时 T/s(s 为加速比),两侧成本如下:

加速比 sXS 成本(credit)4XL 成本(credit)倍数
1281 × T128 × T/128 = T1.0(公式推导)
641 × T128 × T/64 = 2T2.0(公式推导)
321 × T128 × T/32 = 4T4.0(公式推导)
161 × T128 × T/16 = 8T8.0(公式推导)

倍数等于 128 ÷ s,这是这张表唯一的公式(公式推导)。加速比 128 时两者成本相等;加速比 64 时 4XL 贵一倍;加速比 16 时贵八倍。

这里的关键判断是:加速比几乎永远到不了 128。分区数、数据量、查询本身的串行段都会限制并行上限——1GiB 的表只有 64 个微分区,最多同时喂饱 64 份并行,开 4XL 有一半算力闲着。仓库规格不能超过查询能提供的并行度,否则多付的 credits 买的是空转。

什么查询值得上大仓库

查询形态可并行度是否值得大仓库
全表大扫描 + 聚合高,随分区数增长值得,接近线性
大表与大表 join高,但受 shuffle 限制视倾斜情况,谨慎
小结果集点查极低,命中一个分区不值得,XS 足够
带 LIMIT 的探查低,提前终止不值得
单行更新/删除低不值得,且不适合微分区模型

判据可以写成一句:查询能被切成多少份并行,就开多大的仓库。切成 64 份的查询开 4XL,多出的 64 份并行没有数据可处理;切成上万份的大扫描开 XS,则是让资源成为瓶颈。

还有一笔隐性成本:大仓库的自动挂起与恢复更慢,因为要拉起更多节点。对间歇性查询,这部分时间也要算进总账,而不只是 credits。

存储与计算分开计费的含义

平面计费依据优化手段
存储数据量(含时间旅行保留)归档、缩短保留期、减少重复副本
计算仓库运行时长 × 规格 credits控制规格、自动挂起、减少扫描
云服务按用量通常占比小

两个平面可以独立优化,这是拆分的价值:数据留着不动不会持续烧计算费,计算停掉也不会丢数据。但两个平面也会互相影响——扫描的数据越多,计算跑得越久,最终仍然体现在 credits 上。所以「存储便宜所以多存点」这句话要加一个前提:多存的数据不会被频繁扫描。

聚簇键:让裁剪真的生效

微分区里的 min/max 统计是按聚簇键排序后才有效的。如果写入顺序随机,每块的值域会覆盖整个范围,统计就退化成「什么都能命中」:

聚簇键与谓词的关系命中分区数裁剪效果
对齐,范围查询少数相邻分区有效,接近理论下限
对齐,等值查询一到数个分区有效
不对齐,高基数随机谓词近乎全部分区无效
无聚簇键,写入顺序随机不可预测不稳定,可能全扫

裁剪的前提是「同一块内的值彼此接近」。聚簇键保证了这一点:按它排序后,相邻行落在同一块,块的 min/max 区间就窄,谓词能排除掉大部分块。没有聚簇键时,块内的值来自四面八方,区间宽得没有排除力。

自动聚簇是后台重写:发现某些块的区间变宽,就把数据重新组织。重写本身消耗计算资源,所以聚簇不是免费的——它用持续的维护成本换查询时的裁剪收益。对写入频繁而查询稀疏的表,这笔交换可能不划算。

三个常见误解

误解一:微分区越多,查询一定越快。 真相:微分区数决定裁剪的上限,但 1GiB 的表只有 64 个分区(用例 97),裁剪最细到 16MiB;分区数还会让元数据线性增长,规划阶段变重。

误解二:仓库开大一点总不会错,反正按秒计费。 真相:4XL 是 XS 的 128 倍 credits(用例 98),成本倍数等于 128 ÷ 加速比;加速比 16 时贵 8 倍,多付的钱买的是空转的算力。

误解三:存储与计算分开计费,所以存储可以随便用。 真相:存储费确实与计算解耦,但被频繁扫描的数据会转化为更长的仓库运行时间,最终仍计入 credits;两个平面只是在计费上分开,在成本上仍然相连。

一句话总结本节

Snowflake 用约 16MiB 的不可变微分区做裁剪单位,1GiB 的表切出 64 个分区,元数据随分区数线性增长;虚拟仓库从 XS 的 1 credit/h 到 4XL 的 128 credit/h,成本倍数等于 128 ÷ 加速比,只有并行加速比接近 128 时才不亏。所以仓库规格应当匹配查询能提供的并行度,而不是默认开大。

上游实现参照

Snowflake 微分区与聚簇

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab 中验证微分区切分与虚拟仓库阶梯:

  • 源码:src/storage/Storage.java 与 src/storage/StorageSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 97 验证 microPartitions(1.0, 16.0) = 64,即 1GiB 按 16MiB 切分为 64 个微分区;用例 98 验证 warehouseCredits("4XL") = 128 且 warehouseCredits("XS") = 1,即 4XL 是 XS 的 128 倍。
  • 整卷 runner 的预期汇总为 TOTAL: 116 passed, 0 failed。

对应本节判断链:看到一张 1GiB 的表 → 按 16MiB 算出 64 个微分区 → 判断查询能切几份并行 → 再决定仓库规格,4XL 的 128 倍 credits 必须换来接近 128 倍的加速才划算。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图