《大规模分布式计算深入解析》5.1 统一内存:执行/存储分区

固定保留字节、统一池、存储保护区与实际占用分别计量;执行可回收的不是全部存储,授予还受task和可驱逐块约束。

5.1 统一内存:执行/存储分区

容量不是两个永久半区

Spark3.5.7默认堆内区域近似为(heap−300MiB)×0.6。storageFraction默认0.5定义统一区域的存储保护边界;它不是预先永远固定一半给存储、一半给执行。堆外启用后有独立池和容量,进程RSS还包括其它native及JVM部分。

测试配置heap1000MiB得到统一区域420MiB、保护边界210MiB。不能用heap×0.6算600MiB,也不能把保留300MiB改成所有堆大小通用的30%。这些默认需固定版本;spark.testing.memory用于原生工厂探针,不是本机实际RSS。

按实时占用回收

统一区域1000,storage使用700、execution使用0,则空闲300。若storage保护边界500,只有保护外200可尝试回收,还必须有合格缓存块。

请求与条件模型授予驱逐
请求450、合格可驱逐200450150
请求600、合格可驱逐200500200
请求450、无合格候选3000
请求450、显式task上限1001000

实际驱逐按块完成,可回收超过差额;本表使用可细分字节账本,不能误称完整块级分配。执行可回收借用存储,存储不能驱逐正使用的执行内存。每task公平、申请/释放顺序和内存模式还会影响授予。

拒绝与观测

授予不足时,有spill能力的算子可溢写、重试申请;其它对象或native申请仍可能OOM。不得把需求大于容量直接解释为所有算子都会安全spill。分别观察storage使用、execution峰值、memory/disk spill、GC与进程RSS,保持单位和分母。

教学模型明确输入eligibleEviction与taskLimit,用来验证边界,不能从这两个输入反推Spark已经自动测得所有合格块或公平上限。





架构与流程

flowchart TD
    H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
    M --> R["storageFraction定义存储保护边界"]
    REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
    WHO -- "执行" --> FREE["使用当前执行空闲容量"]
    FREE --> BORROW["尝试回收空闲或可回收存储容量"]
    R -. "保护范围限制回收" .-> BORROW
    BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
    ELIG --> GRANT["结合每task公平限制计算实际授予量"]
    GRANT --> ENOUGH{"授予满足算子需求?"}
    ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
    ENOUGH -- "是" --> RUN["继续执行"]
    WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
    STORE --> DEC{"仍不足?"}
    DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
    DEC -- "否" --> KEEP["保留新块"]

实现与验证范围

模型实际计算授予/驱逐字节;BlockCache另验证候选选择,二者不是完整Spark MemoryManager。

教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路