《大规模分布式计算深入解析》12.3 与单机基线对比与加速边界

用同查询、同数据和分阶段计时衡量单机到集群的收益,区分性能估算与基准实测。

12.3 与单机基线对比与加速边界

比较目标应先写清楚。相同输入、相同查询、相同输出、相同压缩格式和资源约束下,用单机实际墙钟时间除以集群实际墙钟时间。端到端耗时同时包含启动、扫描、计算、传输、落盘与提交。有重叠的阶段应看关键路径。

可复现的基线

  1. 固定数据生成种子、数据规模和键分布,保留行数和校验和。
  2. 单机实现也应启用同类列裁剪和压缩,输入远程读取或本地缓存要在双方记录。
  3. 记录冷读与热读,测试不同集群规模。每档重复运行,记录中位数与波动。
  4. 在 UI 或日志记录最长任务、Shuffle 字节、spill 和 CPU 利用率。

算例与上界

假设单机同一查询耗时 100 秒,其中不可并行部分 20 秒。四个等速执行者理想耗时是 20 + 80/4 = 40 秒。若实测另有 12 秒不重叠的 Shuffle 和提交开销,最终是 52 秒,加速约 1.92 倍。若扫描和网络发送在同一时段重叠,直接相加会重复计时。机器增多时,这个假设下串行部分决定理想上界 5 倍。

内存、压缩、去重和算子融合可能同时减少同一批物化和传输,几个收益估计彼此相关。把每个因素的独立试验记录成消融结果,更容易解释哪个改动缩短了关键路径。卷二将分别观察 Spark 的缓存、物化、倾斜和内存溢写。

来源:Amdahl 原始论文 、Spark 调优指南 。

三个常见误解

  • “四台机器必有四倍吞吐”。串行阶段、共享资源和长尾决定可实现的收益。
  • “缓存命中测一次即可代表生产”。冷热缓存、输入复用和内存压力应分别报告。
  • “跑更快就代表成本更低”。同时记录资源时长和读写相同数据量的费用。

一句话总结本节

用可验证的单机基线和端到端计时衡量收益,用关键路径解释为何得到这个倍数。

本节 lab

下载 bd-fs-lab 源码 · 实验运行与版本说明

在 bd-fs-lab/ 中验证「加速比来源」:

  • 源码:src/perfmodel/BottleneckModel.java(Amdahl)与 src/perfmodel/PerfSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:PerfSuite 用例 4–5——串行 10% 无限并行趋近 10x、串行 50% 十核仅 1.82x:并行收益被串行部分封顶,数据仅用于 Amdahl 算例。
  • 整卷 runner 的预期汇总为 TOTAL: 140 passed, 0 failed。

对应本节判断链:分布式加速 = 并行收益 − 协调成本,Amdahl 量化串行封顶——BottleneckModel.amdahl 正是单机基线与分布式收益边界的最小模型。

本章组件与失败边界参见 12.1 的机制图 。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路