《大规模分布式计算深入解析》3.2 exchange 的缓冲、批与流控

流控按尚未消费的数据管理驻留预算。传输了多少批、同时驻留多少字节和传输要多久,属于三个不同量。

3.2 exchange 的缓冲、批与流控

流控按尚未消费的数据管理驻留预算。传输了多少批、同时驻留多少字节和传输要多久,属于三个不同量。

重建 16 个节点的网络账

10,000 MB 输入按上一节分布假设产生 9375 MB 跨机载荷,每发送节点均值 585.9375 MB。按 64 MB 发送批划分得到 10 批,最后一批是 9.9375 MB。十个同额槽位才需要 640 MB 容量;批次数本身不决定驻留量。

采用十进制带宽单位,1 Gb/s 理论为 125 MB/s。若流量都通过这一共享瓶颈,传输下界约 75 s。若 16 个节点具有独立等带宽并均衡发收,每节点发送侧理想下界约 4.69 s,还需核对收包、背板、协议和压缩。以上数字是模型。

先选流控粒度,再计算窗口

本图另以 8 MiB 为 credit 粒度,4 个 credit 允许 32 MiB 在途,和前述 64 MB 批模型独立。发送侧未发送队列、接收侧未消费数据、重传或解压缓冲须分别限额。要跑满链路,窗口至少覆盖所选流控循环的带宽时延积,还要有足够的消费速度。诊断时同时看 Exchange 阻塞时间、队列水位和每条链路吞吐,区分下游慢与链路慢。

sequenceDiagram
  participant P as 生产侧上游 Pipeline
  participant X as 发送侧有界队列
  participant R as 接收侧有界队列
  participant C as 下游消费者
  R->>X: 发放 4 个 credit,每个允许 8 MiB
  P->>X: 生成并按目的分区写入数据页
  X->>R: 按 credit 发送,示例在途上限 32 MiB
  alt 消费者可推进
    R->>C: 交付数据页
    C-->>R: 释放页占用
    R-->>X: 归还 credit,唤醒发送
  else 消费者暂时阻塞
    Note over X,R: 停止追加发送
    X-->>P: 队列写满后暂挂生产
  end
  alt 正常结束
    X->>R: 分区结束标记
    R->>C: 消费完后通知输入终结
  else 查询取消或失败
    X-->>P: 唤醒等待并终止
    R-->>C: 取消输入并释放缓冲
  end

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。

Trino 容错执行 · Trino 客户端协议

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图