15.2 六卷主线回顾(模型/存储/调度/执行/一致性)
六卷用相同的数据与故障问题贯穿,从可重放输入到跨节点计划,再到结果可见性的证据。
| 卷 | 问题 | 保证与边界 |
|---|---|---|
| 一 | 任务如何拆分、数据何时可读 | 输入可重放,文件可见与持久分别观察 |
| 二 | Spark 如何再计算 | 窄依赖流水、Shuffle 出处与可复用产物 |
| 三 | Flink 如何恢复连续状态 | 已完成 Checkpoint 与 Source 位置,Sink 保证单独确认 |
| 四 | 如何协调资源、表版本和训练 | 目录提交竞争与快照,AllReduce 汇聚梯度 |
| 五 | 单机如何减少读取与计算 | 行组与文件 IO、局部算子与内存 |
| 六 | SQL 如何在多个节点推进 | Fragment、Exchange、任务发布、结果路由 |
对照单机和集群
教学习题可给定 3.5 ms 与 5000 ms,算术比值约 1428.57。两值作为输入,不能由差值测出真实协调成本。同数据、同缓存、同机器代际和同构结果的执行才适合分解延迟。单机能放下数据也可能因并发、容错和 SLA 选择集群。公开的六卷附件分别提供模型、SQL 语义反例和已执行的版本化探针。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
Spark 3.5.7 RDD 编程指南 · Flink 1.20 Checkpoint 指南 · Apache Iceberg 规范
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。