Redis 性能调优与生产监控

# 内存统计
INFO memory
# used_memory: 1073741824          # Redis 分配的总内存（字节）
# used_memory_rss: 1572864000       # OS 视角 RSS（含碎片、库等）
# mem_fragmentation_ratio: 1.46     # 碎片率 = RSS / used_memory
# used_memory_dataset: 805306368    # 纯数据占用
# used_memory_overhead: 268435456   # 内部数据结构开销

# 查看某个 key 的内存占用
MEMORY USAGE user:1001

# 查看编码方式
OBJECT ENCODING user:1001:name  # "embstr" / "raw" / "int"

# ❌ 低效：每个字段一个 String（10 个字段 = 10 个 dictEntry + 10 个 robj）
SET user:1001:name "Alice"
SET user:1001:age 25
SET user:1001:email "alice@example.com"
# ... 10 个键

# ✅ 高效：使用 Hash（1 个 dictEntry + 1 个 robj，内部紧凑编码）
HSET user:1001 name "Alice" age 25 email "alice@example.com"
# 内存节省 80-90%

# 1000 个字段的对象 → 分 10 个桶，每桶 <= 100 个字段
HSET user:1001:bucket0 field1 val1 ... field100 val100
HSET user:1001:bucket1 field101 val101 ... field200 val200
# 查询时根据字段哈希值定位到对应桶

# 控制 listpack 编码的阈值（Redis 7.0+）
# list-max-listpack-size: 单个 listpack 的最大元素数（默认 -2 = 8KB）
# 正值 = 元素个数上限；负值 = 以 KB 为单位的大小上限
list-max-listpack-size -2       # 8KB
hash-max-listpack-entries 512   # Hash 元素数上限
hash-max-listpack-value 64      # 单个字段/值的大小上限（字节）
set-max-intset-entries 512      # Set 使用 intset 的元素数上限
zset-max-listpack-entries 128   # ZSet 使用 listpack 的元素数上限
zset-max-listpack-value 64      # ZSet 元素值大小上限

# 共享对象（0-9999）
SET counter:page_view 1000   # 引用计数共享的 int robj
SET user:1001:login_count 1000  # 同样引用共享对象

# 超出共享范围（> 9999）
SET big:value 100000000      # 创建新的 int robj，不共享

## 扫描大 Key（线上慎用，会阻塞）
redis-cli --bigkeys

## 内存采样分析
redis-cli --memkeys

## 查看具体 key 大小
MEMORY USAGE mykey SAMPLES 50

## 大 Hash 拆分：按字段前缀分桶
## 原: HGETALL article:123  → 10000 个字段
## 拆: HGETALL article:123:content
## HGETALL article:123:metadata

## 大 List 拆分：按时间窗口
## 原: LPUSH log  → 1000 万条
## 拆: LPUSH log:202401
## LPUSH log:202402

## 大 ZSet 拆分：按分数范围
## 原: ZADD timeline  → 100 万条
## 拆: ZADD timeline:2024Q1
## ZADD timeline:2024Q2

## 渐进式删除大 Key（非阻塞）
UNLINK bigkey       # 异步删除（Redis 4.0+）
## 或分批次删除
LRANGE biglist 0 99
LTRIM biglist 100 -1   # 循环直到删完

## 配置慢查询阈值（微秒）
CONFIG SET slowlog-log-slower-than 10000  # > 10ms
CONFIG SET slowlog-max-len 128

## 查看慢查询
SLOWLOG GET 10
SLOWLOG LEN
SLOWLOG RESET

## 内置延迟监控
CONFIG SET latency-monitor-threshold 10   # > 10ms 记录

LATENCY LATEST                           # 最新延迟事件
LATENCY HISTORY command                  # 命令延迟历史
LATENCY GRAPH command                    # 命令延迟分布图
LATENCY GRAPH fork                       # RDB/AOF fork 延迟
LATENCY DOCTOR                           # 延迟诊断建议
LATENCY RESET                            # 重置统计

## 查看碎片率
redis-cli INFO memory | grep mem_fragmentation_ratio

## Redis 4.0+ 支持在线碎片整理（实验性功能）
redis-cli --eval -
> redis.replicate_commands()  -- 启用脚本复制模式

## 或配置文件中启用
activedefrag yes               # 开启自动碎片整理
active-defrag-threshold-lower 10   # 碎片率 > 10% 开始整理
active-defrag-threshold-upper 100  # 碎片率 < 100% 停止整理
active-defrag-ignore-bytes 100mb   # 最小整理大小
active-defrag-cycle-min 5          # CPU 最低占用 5%
active-defrag-cycle-max 75         # CPU 最高占用 75%

## 1. 配置主从，让从节点追上
## 2. 在从节点上验证数据一致性
## 3. 主从切换（Sentinel 或手动 failover）
## 4. 重启原主节点（从 RDB 恢复，内存完全重新分配）
## 5. 验证碎片率降至 ~1.0-1.2

import redis

r = redis.Redis()

## ❌ 低效：每次往返
for key in keys:
    r.get(key)  # 100 次 RTT

## ✅ 高效：Pipeline 批量
pipe = r.pipeline()
for key in keys:
    pipe.get(key)
results = pipe.execute()  # 1 次 RTT

-- 原子性扣减库存（检查→扣减→返回新值）
local stock = redis.call('GET', KEYS[1])
if tonumber(stock) > 0 then
    local remain = redis.call('DECR', KEYS[1])
    return remain
else
    return -1  -- 库存不足
end

script = r.register_script("""
    local stock = redis.call('GET', KEYS[1])
    if tonumber(stock) > 0 then
        return redis.call('DECR', KEYS[1])
    else
        return -1
    end
""")
result = script(keys=['stock:item:001'])

## Redis 事务：不支持回滚，只保证原子性打包执行
MULTI
SET balance:alice 100
SET balance:bob 200
EXEC

## 乐观锁：WATCH 监控键，被修改则 EXEC 失败
WATCH balance:alice
MULTI
DECRBY balance:alice 50
INCRBY balance:bob 50
EXEC  # 如果 balance:alice 被其他客户端修改，EXEC 返回 nil（失败）

## 查看复制延迟（主从 offset 差值）
redis-cli INFO replication

## 输出关键指标：
## master_repl_offset: 9876543210        <- 主节点当前 offset
## slave_repl_offset: 9876543208         <- 从节点当前 offset
## 差值 = 2 字节（几乎无延迟）

## 实际延迟 = (主 offset - 从 offset) / 每秒写入量

## ❌ 失败：keys 落在不同 slot
MGET user:1001 user:1002

## ✅ 解决：使用 Hash Tag {user} 强制同 slot
## CRC16 只计算 {} 内的内容
MGET {user}:1001 {user}:1002

## 其他受限命令：
## MSET, MGET, SUNION, SINTER, SDIFF, ZUNIONSTORE, 事务, Lua 多 Key

## 1. 添加新节点到集群
redis-cli --cluster add-node new_host:6379 existing_host:6379

## 2. 将部分 slot 从旧节点迁移到新节点
redis-cli --cluster reshard existing_host:6379 \
  --cluster-from old_node_id \
  --cluster-to new_node_id \
  --cluster-slots 1000 \
  --cluster-yes

## 迁移过程：
## - 对于每个 key：MIGRATE 到目标节点（原子性移动）
## - 迁移期间该 key 短暂不可写（ASK 重定向）
## - 迁移完成后更新槽位映射

## Redis 自带基准测试工具
redis-benchmark -h localhost -p 6379 -n 100000 -c 50

## 参数说明
## -n: 总请求数
## -c: 并发连接数
## -d: 数据大小（字节）
## -t: 测试的命令集
## -P: Pipeline 批量数

## 测试 Pipeline 性能
redis-benchmark -n 100000 -c 50 -P 16 -t set,get

## 测试特定命令
redis-benchmark -n 10000 -t lpush,lpop

## Redis 6.2+ 内置延迟直方图
redis-cli LATENCY HISTOGRAM

## 输出示例（command 事件的延迟分布）：
## command    : 12345 ops/sec (p50=0.5ms p99=2.1ms p99.9=5.8ms)

## 自定义延迟追踪
redis-cli LATENCY TRACKER ADD "hgetall-big-hash" "HGETALL" 100

## 监控特定命令超过阈值的次数
redis-cli LATENCY HISTORY hgetall-big-hash

## 推荐生产配置
save 900 1           # 15 分钟内 1 次变更触发 RDB
save 300 10          # 5 分钟内 10 次变更触发 RDB
save 60 10000        # 1 分钟内 10000 次变更触发 RDB

appendonly yes
appendfsync everysec     # 每秒 fsync（性能和安全的折中）
aof-use-rdb-preamble yes # 开启混合模式（RDB + AOF）
auto-aof-rewrite-percentage 100  # AOF 增长 100% 时触发重写
auto-aof-rewrite-min-size 64mb   # 最小重写大小