《大规模分布式计算深入解析》7.3 spill、远端溢写与 OOM 防护

算子 Spill 把部分执行状态写到临时存储以降低内存峰值。任务级容错的 Exchange 外部化保存可重读分区输出,两者的提交和清理边界不同。

7.3 spill、远端溢写与 OOM 防护

算子 Spill 把部分执行状态写到临时存储以降低内存峰值。任务级容错的 Exchange 外部化保存可重读分区输出,两者的提交和清理边界不同。

完整的成本模型

flowchart TB
  M["算子内存接近限制"] --> A{"可撤销且溢写介质可用?"}
  A -->|"是"| S["选择分区、序列化、写 Spill"]
  S --> P["释放可回收状态,继续处理"]
  P --> R["后续读盘并归并"]
  R --> T{"分区能在预算内推进?"}
  T -->|"是"| O["返回结果并删除临时数据"]
  T -->|"否且允许下一趟"| S
  T -->|"无资源或出现取消"| F["结束并清理状态"]
  A -->|"否"| F

若估计要写 960 MB,顺序写 120 MB/s,则单次写入需 8 秒;同速回读再加 8 秒,且可能增加序列化、压缩、重分区和多趟 I/O。8 MB 一批得到 120 批;每批固定 5 ms 且串行时累计约 600 ms,仍未计数据搬运。状态可否撤销、分区是否有热键和最小可推进内存决定溢写能否救活查询。

给出实际慢与失败分支

准入压低并发,算子内存达到阈值时尝试分区与溢写,再读取已落盘状态。若独立分区仍超内存或磁盘水位超过保护阈值,查询应失败并释放资源。Trino 的 Spill 文档与 Fault-tolerant execution 文档描述了两套边界,不能以一个远端对象存储路径概括。核对读写量、峰值驻留、磁盘队列和重试策略。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino 算子溢写 · Trino 容错执行

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图