《大规模分布式计算深入解析》5.2 溢出(spill)与外存存储

区分算子spill、StorageLevel落盘和LRU;候选访问序、锁和同RDD限制必须参与驱逐,字节除法不能验证算法。

5.2 溢出(spill)与外存存储

两类磁盘材料

执行spill保存排序/聚合等中间状态,供后续合并;缓存落盘保存RDD分区,供后续任务复用。前者取决于具体算子及申请结果,后者取决于StorageLevel及块管理,不能共享一个“内存满就统一spill”的状态图。

一个groupByKey分区输入800MB、预算200MB,不足以推导必有3个spill和200MB峰值。对象估算、单条超大记录、归并结构、任务并发和不能spill的状态都会改变行为。memoryBytesSpilled与diskBytesSpilled是不同计量,不等于设备写放大或耗时。

候选驱逐不是只做ceil

MemoryStore维护访问顺序,但仍需检查内存模式、锁和避免同RDD循环替换等条件。先选择够量的合格块,再执行释放;候选不够时新缓存可能失败。ceil(need/blockSize)仅是等大可驱逐块全可用时的数量估算。

真实有限模型:容量2,依次存A、B,访问A,再存C,应淘汰B。若唯一块被读锁定,放B可失败;若唯一候选属于待加入块的同一RDD,也可能避免淘汰以防循环。失败时不应把已选择的一半块先丢掉。

序列化要量实际载荷

Java ObjectOutputStream编码单个int的数组仍有对象和流头,编码字节可能大于4字节逻辑值。固定除二不能代表SER足迹。读取SER缓存通常需要解码,重复读三次应计三次解码工作;共享广播对象的生命周期则另看。

调优优先验证能否减少输入、提前聚合和改善分区,之后再比较内存/并发/存储级别。减小执行并发可能提高单task可用资源,降低分区数却也可能让每分区更大,两者不能混为同一方向的调参。





架构与流程

flowchart TD
    H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
    M --> R["storageFraction定义存储保护边界"]
    REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
    WHO -- "执行" --> FREE["使用当前执行空闲容量"]
    FREE --> BORROW["尝试回收空闲或可回收存储容量"]
    R -. "保护范围限制回收" .-> BORROW
    BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
    ELIG --> GRANT["结合每task公平限制计算实际授予量"]
    GRANT --> ENOUGH{"授予满足算子需求?"}
    ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
    ENOUGH -- "是" --> RUN["继续执行"]
    WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
    STORE --> DEC{"仍不足?"}
    DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
    DEC -- "否" --> KEEP["保留新块"]

实现与验证范围

BlockCache是真实访问序的单内存模式有限实现,含锁和同RDD规则;未复刻全部StorageLevel落盘或测量设备IO。

教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。

下载卷二实验包 · 实验运行

一手资料

卷二目录 · 系列导读

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路