压缩 on PlumePHP

列式压缩算法深入：LZ4/ZSTD、Delta/Gorilla 编解码与压缩率调优

Mon, 28 Sep 2026 10:00:00 +0800

1. 为什么列式存储天生适合压缩

列式存储把同一列的数据连续存放，天然具备高压缩潜力：

行式（一行混存多类型，难压缩）
 1, alice, 2026-09-28, 88.5, true, 'VIP'
 2, bob, 2026-09-28, 92.1, true, 'STD'
 3, carol, 2026-09-28, 85.0, false,'VIP'
 → 每行类型混杂，压缩率有限

列式（同列连续，类型一致，规律性强）
 user_id : 1,2,3,4,5,... → 高度有序
 region : 华东,华东,华北,华北 → 大量重复
 ts : 连续递增时间戳 → Delta 可预测
 → 每列独立压缩，规律被最大化利用

1.1 两阶段压缩

阶段一：专用编解码器（Codec）— 把数据转换为"更易压缩"的形式
 例：Delta → 存储相邻差值而非原始值
阶段二：通用压缩算法（LZ4 / ZSTD）— 对转换后字节做熵压缩

一句话总结：列式存储让同列数据集中呈现规律，专用编解码把规律变成"更小数值"，通用压缩再榨一次——两级压缩是 ClickHouse 高压缩率的根基。

数据压缩原理：Huffman、LZ 家族与通用压缩算法

Mon, 28 Sep 2026 10:00:00 +0800

引言

文件、网络、数据库里到处是压缩——.zip、.tar.gz、HTTP 的 gzip/brotli、日志的 zstd。但大多数人都把压缩当"黑盒命令"，不知道它到底在压什么。本文拆开这个黑盒：先讲熵——压缩的下限来自信息量本身（为什么压缩不了随机数据）；再讲两大基石——Huffman（频率驱动）与 LZ 家族（重复驱动），以及把两者结合的 Deflate（gzip 的内核）；接着对比现代算法 zstd/brotli/LZMA，最后给工程决策：级别怎么选、分块与字典怎么用、什么时候压缩不值得。

Go 压缩和归档入门：gzip、tar 和 zip 的基本用法与实战

Wed, 13 Aug 2025 10:00:00 +0800

压缩和归档是很多后台工具的基础能力

服务端程序经常需要处理文件：日志按天压缩，报表打包下载，备份目录归档，上传的 zip 解开检查。Go 标准库提供了 compress/gzip、archive/tar、archive/zip 等包，足够覆盖很多入门和中小项目需求。