2.2 并行数据流与重缩放
keyBy先把业务键散列到固定key-group,再将组映射到当前并行子任务。Flink1.20.3先对key.hashCode使用MurmurHash,再模maxParallelism;教学floorMod方法只接收预先处理的散列,不与原生键值逐一等价。
两级映射
operatorIndex = keyGroup * parallelism / maxParallelism。maxParallelism128、group100,在p4时为3,在p8时为6。同一key-group内键共同迁移,但未来负责它的逻辑subtask会变。
128组、p3形成0–42、43–85、86–127,即43/43/42。无需整除;p不得大于maxParallelism。键、最大并行度和serializer必须符合已有状态恢复合同,不能仅凭新p合法就判断升级安全。
迁移比例先定义指标
按相同逻辑subtask编号比较,128组从p4变p8有112组的归属编号变化,即87.5%,不是一半。这个数字不代表下载/网络迁移字节:任务物理放置、旧实例复用、本地文件、状态分布和恢复方式还会影响真正的数据移动。
“按倍数扩容迁移最少”也没有统一含义。应分别记录组数变化、各组状态字节、目标slot与实际读取量;热点组与冷组大小可差多个数量级。
机制图
flowchart LR
K["业务key"] --> H["MurmurHash及固定maxParallelism分组"]
H --> G["稳定key-group编号"]
G --> A["p=3:43/43/42个连续组"]
G --> B["p变化:重新算operatorIndex"]
B --> S["调度放置到slot;物理恢复/网络另计"]
keyBy、rescale与rebalance
keyBy保持相同键路由归属;rebalance按轮询分发;rescale是按上下游并行度建立较局部的轮询连接。rescale分区策略与有状态作业的rescaling恢复不是同一个概念,不能把两者都用“重缩放省网络”概括。
slot是执行资源归属;key-group不是slot。默认槽共享下组内所需slot可由最大并行度估算,整机slot余量和资源匹配还需调度配置。
实验与证据边界
Java验证key-group范围43/43/42以及4→8逻辑编号变化112组;原生BoundaryProbe调用KeyGroupRangeAssignment逐组对照。没有把这一计数写成实际迁移网络测量。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。