5.3 内存压力、GC 与调参
先识别内存归属
spill、长GC、OOM可以有共同压力,也可能分别来自不同根因。JVM对象、SQL二进制页、直接缓冲、Python worker、RocksDB/native和容器限制应分别观测。少数任务spill可能是倾斜,也可能是硬件/并发/输入差异,不应仅凭分布排除其它内存问题。
| 指标 | 能说明 | 不能单独推出 |
|---|---|---|
| GC时间与分配率 | 堆压力和回收负担 | 所有OOM来自Java堆 |
| memory/disk spill | 具体算子的溢写工作 | 物理磁盘时间或硬RSS上限 |
| 缓存命中及驱逐 | 复用收益、存储竞争 | 缓存越大越快 |
| RSS/容器退出原因 | 进程与系统限制 | 只加executor.memory就可解决 |
复用次数与序列化成本
对象缓存可减少后续解码,编码缓存可能缩小对象图但需要按访问次数解码。读多并不意味着只反序列化一次,读少写多也不会凭空增加解码次数。先测相同数据在具体serializer下的编码大小与CPU,再衡量因容量提升避免了多少重算。
SQL列式缓存、JVM对象RDD与Python对象的存储形式不同。Tungsten的二进制布局也不等于所有数据默认堆外。堆外数据仍有管理对象和native释放问题,GC不扫描该载荷不能推出完全不受GC停顿影响。
每次改动必须解释工作量
提高memory.fraction会压缩用户代码和其它对象余量;提高storageFraction扩大保护边界,可能限制执行回收。增加executor.cores通常增加同时竞争内存的task,但spark.task.cpus及其它资源会改变真实并发。
固定输入、配置和资源,比较任务行数、最大工作集、GC、spill及输出正确性。一次变更改善后再深入,而不是套用“spill必须接近0”“GC低于某百分比便健康”的统一阈值。内存预算不是产品RSS保证。
模型对真实Java编码反复解码,并对非法编码报错;它测的是载荷与调用,不把Java对象图大小等同于原始输入文件字节。
架构与流程
flowchart TD
H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
M --> R["storageFraction定义存储保护边界"]
REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
WHO -- "执行" --> FREE["使用当前执行空闲容量"]
FREE --> BORROW["尝试回收空闲或可回收存储容量"]
R -. "保护范围限制回收" .-> BORROW
BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
ELIG --> GRANT["结合每task公平限制计算实际授予量"]
GRANT --> ENOUGH{"授予满足算子需求?"}
ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
ENOUGH -- "是" --> RUN["继续执行"]
WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
STORE --> DEC{"仍不足?"}
DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
DEC -- "否" --> KEEP["保留新块"]
实现与验证范围
编码实测与池预算不等于JVM堆分析;未做GC收集器、设备或集群性能基准。
教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。