《大规模分布式计算深入解析》9.1 双流 join 与窗口 join

无界流的双流关联不能等两边读完,必须为「等多久」定界:窗口 join 看时间范围,间隔 join 看时间差,普通双流 join 靠状态加 TTL。多输入算子水位线取最小,三路 5、3、4 得 3,进度由最慢一侧决定。本节估算每秒 1 万事件保留 1 小时的状态量,并讨论热点键倾斜。

9.1 双流 join 与窗口 join

第 9 章讲连接与状态一致性。批处理的 join 可以等两边都读完再匹配;流处理的输入永远读不完,所以 join 的第一问题不是「怎么匹配」,而是「等多久」。等得太短会漏匹配,等得太久状态会无限膨胀。

无界流 join 的根本困难

批 join 的前提是「两侧数据都完整」,流 join 没有这个前提:

维度批 join流 join
输入边界有界无界
等待时机读完再匹配边到边匹配
状态生命周期作业结束即释放必须显式定界
正确性依据全量数据时间与水位线

「等多久」必须有明确答案:是等一个窗口、等一个时间差,还是等一个生存时间。没有定界的双流 join,状态会随运行时间线性增长,最终把内存或磁盘撑满。

三种 join 的定界方式

Flink 的双流关联可以归成三类,区别只在「用什么给等待定界」:

方式定界依据状态量典型场景
窗口 join窗口边界每个窗口缓存两侧同一时段的转化分析
间隔 join两条记录时间差最近 N 时间内的记录浏览后 N 分钟内下单
普通双流 join状态生存时间无界等待加 TTL 兜底匹配率高、等待不确定

三者的取舍是「结果完整性」与「状态成本」的交换:窗口与间隔 join 用时间边界换确定的状态上界;普通双流 join 用 TTL 换灵活,但 TTL 之外到达的记录会永久错过匹配。

双流 join 的状态从哪来

join 算子对每条输入做两件事:去另一侧的状态里找匹配,找不到就把自己存进去等对方。

状态条数 ≈ 输入速率 × 等待时长 × 未匹配比例

这个式子说明状态不由「数据总量」决定,而由「等待窗口内的数据量」决定。等待时长翻倍,状态就翻倍;匹配率越高,留在状态里的越少。

多输入算子的水位线取最小

join 有两个输入,它的进度不能由自己决定,而由两侧的水位线共同决定:

算子水位线 = min(各输入水位线)

lab 的 minOf(5, 3, 4) 返回 3(用例 1):三路输入分别到 5、3、4,算子只能推进到 3;minOf(7) 返回 7(用例 2):单输入时最小值就是它自己。

输入水位线算子水位线含义
5、3、43最慢一路决定进度
77单输入无约束
10、99快的一侧要等慢的

取最小是正确性要求,不是性能优化:如果按最大值推进,快的一侧会认为「时间已经到 10」,但慢的一侧还有 3 到 10 之间的数据没到,窗口可能提前触发并漏掉这些记录。

join 的进度由最慢一侧决定

由「取最小」可以直接推出一个运维现象:一条输入卡住,整个 join 停住。

现象原因处置
水位线长期不动某一路无数据或分区空闲检查空闲分区与数据源
一侧快一侧慢两路流量或并行度不匹配调整并行度或加分区
窗口迟迟不触发慢侧水位线未越过窗口末端先解决慢侧

空闲分区是常见陷阱:某一路的某个分区暂时没有数据,它的水位线不前进,整个算子就被拖住。处理办法是识别空闲输入并把它排除出最小值计算,而不是盲目调大并行度。

窗口 join 的窗口本身也是状态

窗口 join 把两侧记录按窗口缓存,窗口触发时才做匹配。窗口数量本身就是状态规模的一部分:

窗口数 = 时间范围 / 窗口长度

lab 的 windowCount(5, 100) 返回 20(用例 16):100 秒的范围按 5 秒切,得到 20 个窗口。每个窗口都要缓存两侧尚未匹配的记录,窗口越多、越长,状态越大。

窗口长度时间范围窗口数状态倾向
5 秒100 秒20单窗口小、窗口多
60 秒1 小时60单窗口大、窗口少
1 秒100 秒100窗口极多、开销高

窗口不是免费的切分:它把「无限等待」变成「窗口内等待」,代价是窗口边界附近的记录可能落在不同窗口而错过匹配。跨窗口的关联要靠更长的窗口或间隔 join 解决。

会话窗口与「间隔」如何切分

会话窗口用「间隔」定义边界:两条记录的时间差超过间隔,就切成两个会话。这正好说明间隔 join 的「时间差」是怎么起作用的:

记录时间间隔会话数
1、2、8、952
1、3、551
1、752

lab 的 sessionCount([1,2,8,9], 5) 返回 2(用例 7):1 与 2 差 1、2 与 8 差 6 超过 5,切开;sessionCount([1,3,5], 5) 返回 1(用例 8):相邻差都不超过 5,连成一段;sessionCount([1,7], 5) 返回 2(用例 9):差 6 超过间隔,分成两段。

间隔 join 用的是同一个判据:只匹配时间差不超过间隔的两条记录,超出就不必再等。间隔参数决定匹配范围,也决定状态保留时长。

一个状态量算例

设每条流每秒 1 万事件,join 要保留 1 小时的待匹配记录:

待匹配条数 = 10000 条/秒 × 3600 秒 = 3600 万条
按每条 200 字节估算 ≈ 7.2GB

若匹配率 90%,只有 10% 留在状态里,约 720MB;若匹配率只有 50%,则有 1800 万条、约 3.6GB。匹配率每降一档,状态就翻一倍,这也是 join 作业比聚合作业更容易爆内存的原因。

匹配率留存条数估算大小
90%360 万约 720MB
50%1800 万约 3.6GB
10%3240 万约 6.5GB

先估匹配率,再定保留时长:两个参数任一失控,状态都会超出预算。TTL 与水位线清理是兜底,不是设计替代品。

join 倾斜与热点键

join 按 key 分区,同一个键的记录落在同一个子任务。热点键会把倾斜直接放大成单点故障:

情形后果
某个键占 40% 流量对应子任务内存与 CPU 打满
热点键两侧都很大该子任务的 join 状态远超平均
热点键匹配率低状态只进不出,最先触发背压

倾斜在 join 上比在聚合上更危险:聚合的倾斜只影响计算量,join 的倾斜同时放大两侧状态。识别方法是看各子任务的状态大小与背压指标,而不是只看总吞吐。

三种 join 的适用表

判断项窗口 join间隔 join普通双流 join
等待边界窗口长度时间差阈值TTL
状态上界确定确定由 TTL 决定
结果完整性窗口内完整间隔内完整TTL 内完整
适用同时段关联因果时间差高匹配率长等待

选择顺序是「先能定界,再谈灵活」:业务能接受时间边界就用窗口或间隔 join,状态可预测;确实需要无限等待,再上普通双流 join,并且必须配 TTL 与状态监控。

双流 join 与维表 join 的区别

双流 join 两侧都是无界流;维表 join 一侧是外部维表,按需查询:

维度双流 join维表 join
两侧性质都是流流加外部表
等待定界窗口、间隔或 TTL查询超时
状态缓存另一侧事件缓存维表行或直查
进度受两侧水位线约束不受维表水位线约束

维表 join 不参与水位线取最小:维表不是数据流,没有水位线概念。把维表当双流 join 处理,会凭空多出一路「永不推进」的输入。

三个常见误解

误解一:流 join 可以等两边都读完再匹配。 真相:无界输入永远不会读完,不定界就意味着状态无限增长。

误解二:多输入水位线取最大值以尽快推进。 真相:必须取最小值,否则快侧会提前触发并漏掉慢侧尚未到达的数据。

误解三:TTL 只是省内存的开关。 真相:TTL 同时决定结果完整性,设短了会永久错过本可匹配的记录。

一句话总结本节

无界流的 join 首先要回答「等多久」:窗口 join 用窗口边界、间隔 join 用时间差、普通双流 join 用 TTL 给等待定界。join 各自缓存另一侧未匹配的记录,状态量约等于输入速率乘等待时长乘未匹配比例。多输入算子的水位线取最小值,进度由最慢一侧决定。窗口本身也是状态,会话窗口的间隔判据与间隔 join 同源;热点键会把倾斜放大成单点故障。选型先看能否定界,再谈灵活。

本章实现对照

Flink DataStream Joining

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路