12.3 与单机基线对比与加速边界
比较目标应先写清楚。相同输入、相同查询、相同输出、相同压缩格式和资源约束下,用单机实际墙钟时间除以集群实际墙钟时间。端到端耗时同时包含启动、扫描、计算、传输、落盘与提交。有重叠的阶段应看关键路径。
可复现的基线
- 固定数据生成种子、数据规模和键分布,保留行数和校验和。
- 单机实现也应启用同类列裁剪和压缩,输入远程读取或本地缓存要在双方记录。
- 记录冷读与热读,测试不同集群规模。每档重复运行,记录中位数与波动。
- 在 UI 或日志记录最长任务、Shuffle 字节、spill 和 CPU 利用率。
算例与上界
假设单机同一查询耗时 100 秒,其中不可并行部分 20 秒。四个等速执行者理想耗时是 20 + 80/4 = 40 秒。若实测另有 12 秒不重叠的 Shuffle 和提交开销,最终是 52 秒,加速约 1.92 倍。若扫描和网络发送在同一时段重叠,直接相加会重复计时。机器增多时,这个假设下串行部分决定理想上界 5 倍。
内存、压缩、去重和算子融合可能同时减少同一批物化和传输,几个收益估计彼此相关。把每个因素的独立试验记录成消融结果,更容易解释哪个改动缩短了关键路径。卷二将分别观察 Spark 的缓存、物化、倾斜和内存溢写。
来源:Amdahl 原始论文 、Spark 调优指南 。
三个常见误解
- “四台机器必有四倍吞吐”。串行阶段、共享资源和长尾决定可实现的收益。
- “缓存命中测一次即可代表生产”。冷热缓存、输入复用和内存压力应分别报告。
- “跑更快就代表成本更低”。同时记录资源时长和读写相同数据量的费用。
一句话总结本节
用可验证的单机基线和端到端计时衡量收益,用关键路径解释为何得到这个倍数。
本节 lab
在 bd-fs-lab/ 中验证「加速比来源」:
- 源码:
src/perfmodel/BottleneckModel.java(Amdahl)与src/perfmodel/PerfSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
PerfSuite用例 4–5——串行 10% 无限并行趋近 10x、串行 50% 十核仅 1.82x:并行收益被串行部分封顶,数据仅用于 Amdahl 算例。 - 整卷 runner 的预期汇总为
TOTAL: 140 passed, 0 failed。
对应本节判断链:分布式加速 = 并行收益 − 协调成本,Amdahl 量化串行封顶——BottleneckModel.amdahl 正是单机基线与分布式收益边界的最小模型。
本章组件与失败边界参见 12.1 的机制图 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。