7.3 spill、远端溢写与 OOM 防护
算子 Spill 把部分执行状态写到临时存储以降低内存峰值。任务级容错的 Exchange 外部化保存可重读分区输出,两者的提交和清理边界不同。
完整的成本模型
flowchart TB
M["算子内存接近限制"] --> A{"可撤销且溢写介质可用?"}
A -->|"是"| S["选择分区、序列化、写 Spill"]
S --> P["释放可回收状态,继续处理"]
P --> R["后续读盘并归并"]
R --> T{"分区能在预算内推进?"}
T -->|"是"| O["返回结果并删除临时数据"]
T -->|"否且允许下一趟"| S
T -->|"无资源或出现取消"| F["结束并清理状态"]
A -->|"否"| F
若估计要写 960 MB,顺序写 120 MB/s,则单次写入需 8 秒;同速回读再加 8 秒,且可能增加序列化、压缩、重分区和多趟 I/O。8 MB 一批得到 120 批;每批固定 5 ms 且串行时累计约 600 ms,仍未计数据搬运。状态可否撤销、分区是否有热键和最小可推进内存决定溢写能否救活查询。
给出实际慢与失败分支
准入压低并发,算子内存达到阈值时尝试分区与溢写,再读取已落盘状态。若独立分区仍超内存或磁盘水位超过保护阈值,查询应失败并释放资源。Trino 的 Spill 文档与 Fault-tolerant execution 文档描述了两套边界,不能以一个远端对象存储路径概括。核对读写量、峰值驻留、磁盘队列和重试策略。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。