2.1 hash 分区与 bucket:分布函数与并行度
Hash 分布把同一语义键映射到逻辑桶。物理放置、扫描 Split 和执行并行度另有映射,桶是查询可复用的一种物理属性。
键、桶、放置
教学函数可写作 floorMod(hash(encode(key)), bucketCount)。具体产品可能使用其他映射。匹配分桶必须确认类型转换、列顺序、NULL 表示、Hash 算法及版本;有符号余数在实现上可能产生负值。路由得到桶号后,还要根据分区和副本元数据决定由哪个节点扫描。一个桶可能有多个文件或 Split,一个 Task 也可能处理多个 Split。
在分布直方图中识别热点
1 亿行均匀分到 16 桶,每桶 625 万。若最重桶有 2000 万行,最大/平均为 3.2,未必代表时间也刚好差 3.2 倍,须检查行宽、缓存、溢写和键频率。16 桶变 32 桶且 Hash 均匀时,约半数桶号变化。迁移可涉及重写布局和重新发布元数据,所需步骤以具体存储引擎为准;增加扫描线程本身不会拆开同一个热点键。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。