数据库分片与分区：水平扩展大规模数据存储

Fri, 08 May 2026 13:20:00 +0800

引言

当单表数据量超过千万级、单库存储超过TB级时，数据库的水平扩展成为必然选择。分区（Partitioning）和分片（Sharding）是两种核心的扩展策略，分别解决单库内的数据管理和多库间的数据分布问题。

数据库分片实战：水平扩展的架构设计与实现

Wed, 25 Feb 2026 11:00:00 +0800

分片的必要性

当单个数据库实例无法满足性能或容量需求时，分片成为必要的扩展手段。

分片的触发条件：
┌─────────────────────────────────────────┐
│ 容量瓶颈 │
│ - 单表数据量超过 1000 万行 │
│ - 数据库文件大小超过 500GB │
│ - 备份和恢复时间过长 │
│ │
│ 性能瓶颈 │
│ - 写入 QPS 超过 5000 │
│ - 读取延迟超过 100ms │
│ - CPU/内存持续高位 │
│ │
│ 业务需求 │
│ - 多地域部署降低延迟 │
│ - 数据隔离（多租户） │
│ - 成本优化（冷热数据分离） │
└─────────────────────────────────────────┘

分片策略

哈希分片

// sharding/HashShardingStrategy.java
public class HashShardingStrategy implements ShardingStrategy {
 private final int shardCount;
 
 public HashShardingStrategy(int shardCount) {
 if (shardCount <= 0 || (shardCount & (shardCount - 1)) != 0) {
 throw new IllegalArgumentException("Shard count must be a power of 2");
 }
 this.shardCount = shardCount;
 }
 
 @Override
 public int calculateShard(Object shardKey) {
 int hash = MurmurHash3.hash32(shardKey.toString());
 // 使用位运算代替取模，性能更好
 return hash & (shardCount - 1);
 }
 
 @Override
 public List<Integer> calculateShards(Range<Object> range) {
 // 范围查询需要访问所有分片
 return IntStream.range(0, shardCount).boxed().collect(Collectors.toList());
 }
}

// 使用示例
HashShardingStrategy strategy = new HashShardingStrategy(16);
int shardId = strategy.calculateShard(userId); // 0-15
String tableName = "users_" + shardId; // users_0, users_1, ...

优点：

Horizontal-Scaling on PlumePHP

数据库分片与分区：水平扩展大规模数据存储

引言

数据库分片实战：水平扩展的架构设计与实现

分片的必要性

分片策略

哈希分片