1.3 MPP、批处理与流引擎的执行模型对照
交互 SQL、批作业与持续流常采用不同的交换和状态策略。沿数据有界性、延迟目标和恢复粒度比较,能解释它们为何共享算子却表现不同。
| 观察轴 | 交互式 MPP SQL | 有界批处理 | 持续流 |
|---|---|---|---|
| 生命周期 | 提交一次查询并返回结果 | 读取有限输入,生成结果或写出 | 订阅输入并持续输出 |
| 交换 | 常以流水缩短首行时间,也可外部化 | 常保留 Shuffle 输出供下游拉取 | 通道可长期运行并受背压 |
| 重试 | 查询级,或物化边界支持的 Task 级 | 重用可用输出,重算失效任务 | 回到已完成 Checkpoint,重放输入 |
| 一致性 | 查询绑定版本,写入另有提交协议 | 输出的提交与去重依赖数据源和 Sink | 状态恢复与外部副作用各有要求 |
同一聚合的两条时间线
对有界订单表按地区聚合。流水 Exchange 中收到第一个部分状态后即可消费,上游还在读取;最终状态仍需等相关输入结束。任务级容错模式把中间结果提交到可重读存储,失败时消费者可重读已发布分区,但额外占用读写和存储资源。一个批引擎的物化 Shuffle 仍可能与下游拉取交叠。持续窗口在水位线与触发条件满足时输出,Checkpoint 用于恢复,端到端效果取决于可重放 Source 和 Sink 协议。联系卷二 与卷三 对照这些边界。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
Trino 容错执行 · Spark 3.5.7 RDD 编程指南 · Flink 1.20 Checkpoint 指南
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。