5.1 统一内存:执行/存储分区
容量不是两个永久半区
Spark3.5.7默认堆内区域近似为(heap−300MiB)×0.6。storageFraction默认0.5定义统一区域的存储保护边界;它不是预先永远固定一半给存储、一半给执行。堆外启用后有独立池和容量,进程RSS还包括其它native及JVM部分。
测试配置heap1000MiB得到统一区域420MiB、保护边界210MiB。不能用heap×0.6算600MiB,也不能把保留300MiB改成所有堆大小通用的30%。这些默认需固定版本;spark.testing.memory用于原生工厂探针,不是本机实际RSS。
按实时占用回收
统一区域1000,storage使用700、execution使用0,则空闲300。若storage保护边界500,只有保护外200可尝试回收,还必须有合格缓存块。
| 请求与条件 | 模型授予 | 驱逐 |
|---|---|---|
| 请求450、合格可驱逐200 | 450 | 150 |
| 请求600、合格可驱逐200 | 500 | 200 |
| 请求450、无合格候选 | 300 | 0 |
| 请求450、显式task上限100 | 100 | 0 |
实际驱逐按块完成,可回收超过差额;本表使用可细分字节账本,不能误称完整块级分配。执行可回收借用存储,存储不能驱逐正使用的执行内存。每task公平、申请/释放顺序和内存模式还会影响授予。
拒绝与观测
授予不足时,有spill能力的算子可溢写、重试申请;其它对象或native申请仍可能OOM。不得把需求大于容量直接解释为所有算子都会安全spill。分别观察storage使用、execution峰值、memory/disk spill、GC与进程RSS,保持单位和分母。
教学模型明确输入eligibleEviction与taskLimit,用来验证边界,不能从这两个输入反推Spark已经自动测得所有合格块或公平上限。
架构与流程
flowchart TD
H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
M --> R["storageFraction定义存储保护边界"]
REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
WHO -- "执行" --> FREE["使用当前执行空闲容量"]
FREE --> BORROW["尝试回收空闲或可回收存储容量"]
R -. "保护范围限制回收" .-> BORROW
BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
ELIG --> GRANT["结合每task公平限制计算实际授予量"]
GRANT --> ENOUGH{"授予满足算子需求?"}
ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
ENOUGH -- "是" --> RUN["继续执行"]
WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
STORE --> DEC{"仍不足?"}
DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
DEC -- "否" --> KEEP["保留新块"]
实现与验证范围
模型实际计算授予/驱逐字节;BlockCache另验证候选选择,二者不是完整Spark MemoryManager。
教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。