《大规模分布式计算深入解析》5.3 内存压力、GC 与调参

以对象图、编码载荷、算子内存、native开销和任务工作集定位GC、spill和OOM,按真实读取次数估解码成本。

5.3 内存压力、GC 与调参

先识别内存归属

spill、长GC、OOM可以有共同压力,也可能分别来自不同根因。JVM对象、SQL二进制页、直接缓冲、Python worker、RocksDB/native和容器限制应分别观测。少数任务spill可能是倾斜,也可能是硬件/并发/输入差异,不应仅凭分布排除其它内存问题。

指标能说明不能单独推出
GC时间与分配率堆压力和回收负担所有OOM来自Java堆
memory/disk spill具体算子的溢写工作物理磁盘时间或硬RSS上限
缓存命中及驱逐复用收益、存储竞争缓存越大越快
RSS/容器退出原因进程与系统限制只加executor.memory就可解决

复用次数与序列化成本

对象缓存可减少后续解码,编码缓存可能缩小对象图但需要按访问次数解码。读多并不意味着只反序列化一次,读少写多也不会凭空增加解码次数。先测相同数据在具体serializer下的编码大小与CPU,再衡量因容量提升避免了多少重算。

SQL列式缓存、JVM对象RDD与Python对象的存储形式不同。Tungsten的二进制布局也不等于所有数据默认堆外。堆外数据仍有管理对象和native释放问题,GC不扫描该载荷不能推出完全不受GC停顿影响。

每次改动必须解释工作量

提高memory.fraction会压缩用户代码和其它对象余量;提高storageFraction扩大保护边界,可能限制执行回收。增加executor.cores通常增加同时竞争内存的task,但spark.task.cpus及其它资源会改变真实并发。

固定输入、配置和资源,比较任务行数、最大工作集、GC、spill及输出正确性。一次变更改善后再深入,而不是套用“spill必须接近0”“GC低于某百分比便健康”的统一阈值。内存预算不是产品RSS保证。

模型对真实Java编码反复解码,并对非法编码报错;它测的是载荷与调用,不把Java对象图大小等同于原始输入文件字节。





架构与流程

flowchart TD
    H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
    M --> R["storageFraction定义存储保护边界"]
    REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
    WHO -- "执行" --> FREE["使用当前执行空闲容量"]
    FREE --> BORROW["尝试回收空闲或可回收存储容量"]
    R -. "保护范围限制回收" .-> BORROW
    BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
    ELIG --> GRANT["结合每task公平限制计算实际授予量"]
    GRANT --> ENOUGH{"授予满足算子需求?"}
    ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
    ENOUGH -- "是" --> RUN["继续执行"]
    WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
    STORE --> DEC{"仍不足?"}
    DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
    DEC -- "否" --> KEEP["保留新块"]

实现与验证范围

编码实测与池预算不等于JVM堆分析;未做GC收集器、设备或集群性能基准。

教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路