《大规模分布式计算深入解析》2.2 并行数据流与重缩放

键组固定、子任务映射可变;用明确逻辑编号统计重缩放,不直接推导网络字节。

2.2 并行数据流与重缩放

keyBy先把业务键散列到固定key-group,再将组映射到当前并行子任务。Flink1.20.3先对key.hashCode使用MurmurHash,再模maxParallelism;教学floorMod方法只接收预先处理的散列,不与原生键值逐一等价。

两级映射

operatorIndex = keyGroup * parallelism / maxParallelism。maxParallelism128、group100,在p4时为3,在p8时为6。同一key-group内键共同迁移,但未来负责它的逻辑subtask会变。

128组、p3形成0–42、43–85、86–127,即43/43/42。无需整除;p不得大于maxParallelism。键、最大并行度和serializer必须符合已有状态恢复合同,不能仅凭新p合法就判断升级安全。

迁移比例先定义指标

按相同逻辑subtask编号比较,128组从p4变p8有112组的归属编号变化,即87.5%,不是一半。这个数字不代表下载/网络迁移字节:任务物理放置、旧实例复用、本地文件、状态分布和恢复方式还会影响真正的数据移动。

“按倍数扩容迁移最少”也没有统一含义。应分别记录组数变化、各组状态字节、目标slot与实际读取量;热点组与冷组大小可差多个数量级。

机制图

flowchart LR
  K["业务key"] --> H["MurmurHash及固定maxParallelism分组"]
  H --> G["稳定key-group编号"]
  G --> A["p=3:43/43/42个连续组"]
  G --> B["p变化:重新算operatorIndex"]
  B --> S["调度放置到slot;物理恢复/网络另计"]

keyBy、rescale与rebalance

keyBy保持相同键路由归属;rebalance按轮询分发;rescale是按上下游并行度建立较局部的轮询连接。rescale分区策略与有状态作业的rescaling恢复不是同一个概念,不能把两者都用“重缩放省网络”概括。

slot是执行资源归属;key-group不是slot。默认槽共享下组内所需slot可由最大并行度估算,整机slot余量和资源匹配还需调度配置。

实验与证据边界

Java验证key-group范围43/43/42以及4→8逻辑编号变化112组;原生BoundaryProbe调用KeyGroupRangeAssignment逐组对照。没有把这一计数写成实际迁移网络测量。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

state · savepoints

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路