《大规模分布式计算深入解析》4.1 broadcast join 与 shuffle join 的判据

广播与重分布的比较需要使用同一 SQL、同一 Build 输入,以及相同的序列化和跨机口径。内存上的 Hash 结构另算。

4.1 broadcast join 与 shuffle join 的判据

广播与重分布的比较需要使用同一 SQL、同一 Build 输入,以及相同的序列化和跨机口径。内存上的 Hash 结构另算。

比较一个经过投影的小维表

flowchart TB
  J["分析 Join 类型、键、Build 侧和保留侧"] --> L{"两侧分布及放置可复用?"}
  L -->|"是"| C["共置 Join:该边界无跨机搬运"]
  L -->|"否"| B{"Build 可广播且复制代价可接受?"}
  B -->|"是"| H["广播 Build;各目的实例建表"]
  B -->|"否"| D{"可复用一侧桶分布?"}
  D -->|"是"| O["单侧重分布"]
  D -->|"否"| T["双侧重分布"]
  C --> F
  H --> F
  O --> F
  T --> F
  F{"可安全丢弃明确未匹配的行?"} -->|"是"| R["下发运行时过滤;Join 仍做精确匹配"]
  F -->|"否"| K["保留该侧,按 Join 与 NULL 规则输出"]
路径假设网络载荷
广播Build 50 MB,16 个消费者,其中一个已有一份本地来源750 MB 跨机,800 MB 逻辑接收
两侧重分布Probe 10,000 MB,Build 50 MB,16 节点独立均匀映射9421.875 MB 跨机
单侧重分布Probe 分布可复用,只有 Build 需要同键分发,仍按均匀假设46.875 MB 跨机

这组假设下双侧移动量约为广播的 12.56 倍,广播可能仍输给单侧重分布。Build 为 2 GB 的情景应重新对两种策略建账。压缩传输的 50 MB 到达后,解码列、Hash 桶、重复键和保留缓冲会放大常驻内存;计算单实例和每节点同时 Build 的峰值。

确认计划实际采用哪条路径

检查统计是否来自过滤和投影之后,比较不同分布策略下的 EXPLAIN。资源阈值与成本上限是保护措施,不能由固定 20% 推出通用最优解。实验包的 Trino 探针固定同一 SQL,记录分布式执行计划及动态过滤开关,两次应产出相同结果。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型 · trino-probe.py 的真实执行计划。

Trino 成本连接优化

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图