6.3 窗口函数的分区要求与 shuffle 代价
Window 需要满足分区、顺序和窗口帧语义。先求分布是否覆盖分区要求,再决定是否补本地排序。
从 SQL 属性推到执行属性
flowchart LR
A["为 Window 提取 PARTITION BY、ORDER BY、Frame"] --> D{"已有分布覆盖逻辑分组?"}
D -->|"否"| H["按所需键做 Exchange"]
D -->|"是"| S{"已有顺序满足需求?"}
H --> S
S -->|"是或语义未指定顺序"| R["按窗口函数读取帧"]
S -->|"需要排序"| K["组内排序"]
K --> R
以 ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY event_time, event_id) 为例。同用户的行要交给可一起计算的实例,然后按两个键排序。若已按 user_id 分布,可避免相关远端 Exchange;表按 (user_id, dt) 散列通常不能推导同用户共置。反向使用按 user_id 的分布支持 PARTITION BY user_id, dt 则满足同一逻辑分区不会跨节点。物理计划还要承认该分布属性。
没有 ORDER BY 时的 COUNT(*) OVER (PARTITION BY user_id) 无需为该窗口建立排序语义,具体计划仍可能借排序分组。LAG、ROWS、RANGE 对帧和上下文的要求有差别。对不同布局跑同一查询核对分区内结果和 Window 前远端分布。若重分布输入 10,000 MB,16 个节点独立均匀映射下跨机估计 9375 MB;分布复用时,该窗口边界跨机量可为零。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。