5.2 RocksDB 与堆内存后端
状态后端决定运行中的状态表示;CheckpointStorage决定快照放在哪里。HashMapStateBackend把键控状态保存在JVM对象中,EmbeddedRocksDBStateBackend把序列化键值交给嵌入式RocksDB。两者都还需要序列化、快照元数据和运行时对象,接口相同不代表资源曲线相同。
四本容量账
| 位置 | 主要对象 | 计量方式 |
|---|---|---|
| JVM heap | 用户对象、包装、临时序列化等 | heap used/committed,GC |
| RocksDB native / managed预算 | memtable、cache、index/filter等 | managed配置、native指标;不能算作heap |
| 本地磁盘 | SST、临时快照、恢复文件 | 实际目录字节和I/O |
| 远端存储 | checkpoint文件、私有元数据、共享引用 | 文件唯一字节、保留与副本策略 |
默认managed模式按slot控制RocksDB内存预算,slot内实例共享cache和write buffer manager。关闭managed后,实例/ColumnFamily配置可能分别增长,必须自行控制总量。并行度与slot映射、共享策略、状态数改变时,不能一律按“每子任务192MB”相乘。
64MB+128MB=192MB只能是给定memtable/cache预算的算术,并未测进程RSS、JVM堆或完整RocksDB开销。固定cache预算也不意味着历史状态增长时所有元数据、文件句柄、索引及临时开销都恒定。
机制图
flowchart LR
subgraph TM["TaskManager 进程"]
subgraph HEAP["JVM heap"]
UDF["用户对象、包装与序列化临时对象"]
end
subgraph SLOT["slot 预算"]
WBM["共享 WriteBufferManager"]
CACHE["共享 cache:block / index / filter 等"]
R1["算子实例 RocksDB"]
R2["同 slot 另一实例 RocksDB"]
WBM --> R1
WBM --> R2
CACHE --> R1
CACHE --> R2
end
DISK["本地磁盘:SST、临时快照与恢复文件"]
UDF -->|序列化后的键值| R1
R1 --> DISK
R2 --> DISK
end
DISK -->|异步快照上传及句柄| REMOTE["远端 checkpoint storage"]
REMOTE -->|故障后下载/重建| DISK
选择与失败边界
堆状态估算需对象布局和实测放大系数;RocksDB需测序列化、cache命中、flush/compaction、native预算和本地盘。运行状态在本地不代表可在节点全损后恢复,远端完成checkpoint才提供相应恢复资源。切换后端要选择兼容的snapshot格式和恢复路径,不能把任意native快照跨后端恢复。
实验与证据边界
nativeBudgetMB仅做预算加法,StateModel.Entry实现有限处理时间TTL。原生恢复探针验证已有checkpoint的source/state恢复;本轮没有把模型预算当作真实RSS/compaction测量。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。