5.2 溢出(spill)与外存存储
两类磁盘材料
执行spill保存排序/聚合等中间状态,供后续合并;缓存落盘保存RDD分区,供后续任务复用。前者取决于具体算子及申请结果,后者取决于StorageLevel及块管理,不能共享一个“内存满就统一spill”的状态图。
一个groupByKey分区输入800MB、预算200MB,不足以推导必有3个spill和200MB峰值。对象估算、单条超大记录、归并结构、任务并发和不能spill的状态都会改变行为。memoryBytesSpilled与diskBytesSpilled是不同计量,不等于设备写放大或耗时。
候选驱逐不是只做ceil
MemoryStore维护访问顺序,但仍需检查内存模式、锁和避免同RDD循环替换等条件。先选择够量的合格块,再执行释放;候选不够时新缓存可能失败。ceil(need/blockSize)仅是等大可驱逐块全可用时的数量估算。
真实有限模型:容量2,依次存A、B,访问A,再存C,应淘汰B。若唯一块被读锁定,放B可失败;若唯一候选属于待加入块的同一RDD,也可能避免淘汰以防循环。失败时不应把已选择的一半块先丢掉。
序列化要量实际载荷
Java ObjectOutputStream编码单个int的数组仍有对象和流头,编码字节可能大于4字节逻辑值。固定除二不能代表SER足迹。读取SER缓存通常需要解码,重复读三次应计三次解码工作;共享广播对象的生命周期则另看。
调优优先验证能否减少输入、提前聚合和改善分区,之后再比较内存/并发/存储级别。减小执行并发可能提高单task可用资源,降低分区数却也可能让每分区更大,两者不能混为同一方向的调参。
架构与流程
flowchart TD
H["堆容量减固定保留300MiB"] --> M["乘memory.fraction得到统一区域"]
M --> R["storageFraction定义存储保护边界"]
REQ["内存请求:数量、模式与task"] --> WHO{"请求方?"}
WHO -- "执行" --> FREE["使用当前执行空闲容量"]
FREE --> BORROW["尝试回收空闲或可回收存储容量"]
R -. "保护范围限制回收" .-> BORROW
BORROW --> ELIG["按模式、读锁及RDD等规则筛可驱逐块"]
ELIG --> GRANT["结合每task公平限制计算实际授予量"]
GRANT --> ENOUGH{"授予满足算子需求?"}
ENOUGH -- "否" --> SPILL["支持spill的算子溢写;其它路径可能失败"]
ENOUGH -- "是" --> RUN["继续执行"]
WHO -- "存储" --> STORE["借用空闲执行容量或淘汰合格缓存"]
STORE --> DEC{"仍不足?"}
DEC -- "是" --> LEVEL["按StorageLevel落盘或不缓存"]
DEC -- "否" --> KEEP["保留新块"]
实现与验证范围
BlockCache是真实访问序的单内存模式有限实现,含锁和同RDD规则;未复刻全部StorageLevel落盘或测量设备IO。
教学入口:memory.MemorySuite。公开包中运行 python3 run_models.py;固定产品入口另运行 python3 run_native.py。以README的实际汇总及范围为准,原生依赖首次联网解析。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。