13.3 大规模状态与 RocksDB 调优
大状态调优先定义观测对象:运行热状态、RocksDB native预算、本地SST、远端完成checkpoint和恢复峰值各是一笔账。远端存储副本数不应无条件乘到本地heap热状态上。
按所有权估算
| 资源 | 算例前提 | 不能推出 |
|---|---|---|
| heap键值 | 固定键数、实测每条对象字节 | 任意JDK固定对象放大率 |
| slot managed/native | 指定预算、共享cache/WBM | 每子任务固定192MB heap |
| 本地盘 | SST、临时文件与compaction峰值 | 仅逻辑数据大小足够 |
| remote checkpoint | 唯一共享文件及私有元数据 | 本次上传量等于完整恢复量 |
默认managed模式按slot控制和共享RocksDB预算;关闭managed后要按实例、ColumnFamily及相关配置重算。扩并行度后进程数、slot放置、共享关系和序列化临时对象均可能变化,不能用简单乘法承诺总RSS。
用指标找瓶颈
读多负载关注cache命中、索引/filter和本地读;写多负载关注memtable flush、pending compaction、写放大和磁盘带宽。checkpoint慢还要分barrier对齐、同步捕获、上传和确认,不能把所有延迟归为状态容量。
热点key只能属于一个key-group/子任务,但同任务也会承担其他键。加盐或两阶段聚合改变数据语义和状态结构,必须验证重复、撤回、顺序以及最终合并,不能当通用透明优化。
TTL与恢复验证
TTL逻辑不可见和物理回收不同;RocksDB compaction可清理到期状态,但访问清理、全量快照过滤等机制也要按配置区分。SQL和DataStream清理合同不同。调整后比较结果、heap/native/磁盘/上传字节和恢复时长,保留故障后对账,不只看正常吞吐。
恢复预算包括调度、资源申请、下载、打开、连接和积压追平;用1GiB×10ms/MiB只能得到局部假设10.24秒,不能称真实RTO。
实验与证据边界
Java覆盖预算、TTL和文件引用的有限逻辑;原生CheckpointProbe验证已有完成点的状态恢复。本轮未在真实RocksDB实例上给出cache/RSS/compaction性能结论,相关指标表是待按工作负载采样的验收规范。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
backends · state · checkpoints
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。