13.1 Paimon 的 LSM 表模型
Paimon 主键表把写入组织到分区和 bucket,再生成有序数据文件。一个逻辑主键可能有多个物理版本。查询读固定快照,用该表配置的合并语义得到可见结果;compaction 改写物理布局并按协议发布新快照。旧快照仍引用的文件要继续保留。
相同输入,不同合并语义
以下以同一个键收到三条记录为例。第一条为序号 10、字段 x=2、y=7,第二条为序号 12、x=3、y=NULL,第三条迟到、序号 11、x=4、y=8。测试前显式指定序列列和合并规则。
| Merge engine | 验收条件 |
|---|---|
| deduplicate | 按序列规则选最新记录,序号 12 在该例保留,删除记录按配置处理 |
| partial-update | 按规则合并各字段,测试 NULL 跳过与显式置空的差异;序列组会影响字段选择 |
| aggregation | 按各字段配置的 SUM、MAX 等聚合函数折叠输入,测试重放与删除行为 |
| first-row | 保留首条有效记录,额外验证乱序、写端重排与 changelog 模式 |
产品细节取决于所用 Paimon 版本与表配置。输入行数减可见键数只给出观察到的重复量,包含重复和更新,无法从差值恢复变更序列。 Paimon 主键表 · Paimon 合并引擎
读写放大怎么数
- 点查若四个层各只有一个覆盖当前键的 run,最多检查四个候选 run。L0 重叠或一个层有多个覆盖 run 时应数实际候选。范围扫描还受文件范围、Bloom 和投影影响。
- 写放大可定义为“用户写入加后台重写的物理字节 ÷ 用户输入字节”。稳定采样窗口内分别记录两项,用相同压缩口径。Fanout 是布局参数,写放大还受数据分布、层数与合并策略影响。
- 物理空间受压缩、重复版本、快照保留和回收共同影响。逻辑合并完成后,旧对象未必可立即删除。
三个常见误解
- “点查固定每层读一次”。要先看候选 run 和索引。
- “fanout 10 意味着写放大 10”。产品需测重写字节。
- “主键表总是保留最后一行”。合并与序列取决于表配置。
一句话总结本节
读者用固定快照与 merge engine 解释记录,后台合并改变物理布局,二者分别用可见结果和实际字节验收。
Paimon 快照、bucket 和合并
写入组织有序文件,读者固定快照并按 merge engine 解释记录。后台合并发布新的布局。
flowchart TD
A[主键事件与序列] --> B[路由分区及 bucket]
B --> C[(有序数据文件和 runs)]
C --> D[提交快照]
D --> E[读者固定版本并筛候选 runs]
E --> F[按 merge engine 合并]
C --> G[Compaction 选择并改写文件]
G --> D
D --> H[保留快照引用约束文件回收]
本节 lab
LakehouseSuite 用例 102–104 分别计算候选 run、按设定字节求放大倍数及输入与可见主键数的差值。三者均为教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。