《大规模分布式计算深入解析》3.3 跨节点 pipeline 执行与 morsel 调度

把远端 Exchange、本地流水与算子阻塞分别定位,才能解释为什么有的 Fragment 可以重叠运行,有的要等一侧完成。

3.3 跨节点 pipeline 执行与 morsel 调度

把远端 Exchange、本地流水与算子阻塞分别定位,才能解释为什么有的 Fragment 可以重叠运行,有的要等一侧完成。

启动、推进和阻塞

flowchart LR
  subgraph U["上游 Task"]
    S["Split 枚举"] --> D["多个本地 Driver"]
    D --> X["按目的路由数据页"]
  end
  subgraph V["下游 Task"]
    B["Exchange 输入"] --> K{"算子可推进?"}
    K -->|"已有所需 Build 分区"| J["Probe,继续往下游出页"]
    K -->|"等待 Build 或排序输入"| W["暂挂,等待可用状态"]
    W --> K
  end
  X -->|"流水:有页即可取"| B
  X -->|"外部化:读取已发布分区"| B

Source 通过 Split 读取输入,节点内由多个 Driver 或线程推进 Pipeline;Morsel 是部分执行引擎更细的工作块。一个物理计划边可能分别涉及远端分布、本地队列和内存配额。使用流水 Shuffle 时,下游可在上游完成前读取页;持久化模式根据可见性协议消费已发布分区。对于 Hash Join,特定实现常先建立对应 Build 分区再 Probe;排序直到有足够输入确定输出顺序才开始出结果。Window 按其 ORDER BY 与函数语义决定排序或状态读取。

以 16 路已排序输入做平衡二路归并,层数为 4。对一亿行用每层最多近似扫描一遍的模型得到约 4 亿比较上限量级。堆归并、提前 LIMIT、分片已整体有序以及重复键都会改变实际比较量。定位跨节点流水收益应记录各 Stage 起止、阻塞原因、首批与最后一批时间。

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino 分布式计划 · Trino 容错执行

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图