《大规模分布式计算深入解析》4.3 负载均衡与再平衡:热点顶点怎么办

热点顶点拖垮单分区时用再平衡迁顶点:理想负载 ceil(7/2)=4,迁 1 顶点后负载差压到 1,对齐卷六倾斜执行。

热点顶点与负载失衡

哈希切分平衡了 id,平衡不了度数。幂律图里少数高度数顶点让分区内存、消息与计算全部倾斜,超步被最慢分区拖住。

再平衡的账本

理想负载是均匀分摊:7 顶点 2 分区,ceil(7/2) = 4。再平衡把最重分区的一个顶点迁到最轻分区,负载差从失衡压到 1(用例 41)。

迁移本身有成本:顶点状态、出边与消息目标都要搬,搬得越多短期跨区消息越多。所以再平衡按阈值触发,而不是每超步都做。

对齐卷六:倾斜执行

卷六处理的是 join 倾斜,这里是超步内计算倾斜。两者都走「找出倾斜 key、单独处理、合并结果」三步。热点顶点单独成区是预防,迁移是纠正。

验证

从卷十一实验包 解包,用 partition 用例 42 验证 7 顶点 2 分区理想负载 ceil(7/2)=4;用例 41 验证再平衡后负载差 1(最重分区迁 1 顶点到最轻分区);用例 38 对照哈希切分原负载差 4。

一手资料

卷十一目录 · 系列导读与实验

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图