9.1 双流 join 与窗口 join
第 9 章讲连接与状态一致性。批处理的 join 可以等两边都读完再匹配;流处理的输入永远读不完,所以 join 的第一问题不是「怎么匹配」,而是「等多久」。等得太短会漏匹配,等得太久状态会无限膨胀。
无界流 join 的根本困难
批 join 的前提是「两侧数据都完整」,流 join 没有这个前提:
| 维度 | 批 join | 流 join |
|---|---|---|
| 输入边界 | 有界 | 无界 |
| 等待时机 | 读完再匹配 | 边到边匹配 |
| 状态生命周期 | 作业结束即释放 | 必须显式定界 |
| 正确性依据 | 全量数据 | 时间与水位线 |
「等多久」必须有明确答案:是等一个窗口、等一个时间差,还是等一个生存时间。没有定界的双流 join,状态会随运行时间线性增长,最终把内存或磁盘撑满。
三种 join 的定界方式
Flink 的双流关联可以归成三类,区别只在「用什么给等待定界」:
| 方式 | 定界依据 | 状态量 | 典型场景 |
|---|---|---|---|
| 窗口 join | 窗口边界 | 每个窗口缓存两侧 | 同一时段的转化分析 |
| 间隔 join | 两条记录时间差 | 最近 N 时间内的记录 | 浏览后 N 分钟内下单 |
| 普通双流 join | 状态生存时间 | 无界等待加 TTL 兜底 | 匹配率高、等待不确定 |
三者的取舍是「结果完整性」与「状态成本」的交换:窗口与间隔 join 用时间边界换确定的状态上界;普通双流 join 用 TTL 换灵活,但 TTL 之外到达的记录会永久错过匹配。
双流 join 的状态从哪来
join 算子对每条输入做两件事:去另一侧的状态里找匹配,找不到就把自己存进去等对方。
状态条数 ≈ 输入速率 × 等待时长 × 未匹配比例
这个式子说明状态不由「数据总量」决定,而由「等待窗口内的数据量」决定。等待时长翻倍,状态就翻倍;匹配率越高,留在状态里的越少。
多输入算子的水位线取最小
join 有两个输入,它的进度不能由自己决定,而由两侧的水位线共同决定:
算子水位线 = min(各输入水位线)
lab 的 minOf(5, 3, 4) 返回 3(用例 1):三路输入分别到 5、3、4,算子只能推进到 3;minOf(7) 返回 7(用例 2):单输入时最小值就是它自己。
| 输入水位线 | 算子水位线 | 含义 |
|---|---|---|
| 5、3、4 | 3 | 最慢一路决定进度 |
| 7 | 7 | 单输入无约束 |
| 10、9 | 9 | 快的一侧要等慢的 |
取最小是正确性要求,不是性能优化:如果按最大值推进,快的一侧会认为「时间已经到 10」,但慢的一侧还有 3 到 10 之间的数据没到,窗口可能提前触发并漏掉这些记录。
join 的进度由最慢一侧决定
由「取最小」可以直接推出一个运维现象:一条输入卡住,整个 join 停住。
| 现象 | 原因 | 处置 |
|---|---|---|
| 水位线长期不动 | 某一路无数据或分区空闲 | 检查空闲分区与数据源 |
| 一侧快一侧慢 | 两路流量或并行度不匹配 | 调整并行度或加分区 |
| 窗口迟迟不触发 | 慢侧水位线未越过窗口末端 | 先解决慢侧 |
空闲分区是常见陷阱:某一路的某个分区暂时没有数据,它的水位线不前进,整个算子就被拖住。处理办法是识别空闲输入并把它排除出最小值计算,而不是盲目调大并行度。
窗口 join 的窗口本身也是状态
窗口 join 把两侧记录按窗口缓存,窗口触发时才做匹配。窗口数量本身就是状态规模的一部分:
窗口数 = 时间范围 / 窗口长度
lab 的 windowCount(5, 100) 返回 20(用例 16):100 秒的范围按 5 秒切,得到 20 个窗口。每个窗口都要缓存两侧尚未匹配的记录,窗口越多、越长,状态越大。
| 窗口长度 | 时间范围 | 窗口数 | 状态倾向 |
|---|---|---|---|
| 5 秒 | 100 秒 | 20 | 单窗口小、窗口多 |
| 60 秒 | 1 小时 | 60 | 单窗口大、窗口少 |
| 1 秒 | 100 秒 | 100 | 窗口极多、开销高 |
窗口不是免费的切分:它把「无限等待」变成「窗口内等待」,代价是窗口边界附近的记录可能落在不同窗口而错过匹配。跨窗口的关联要靠更长的窗口或间隔 join 解决。
会话窗口与「间隔」如何切分
会话窗口用「间隔」定义边界:两条记录的时间差超过间隔,就切成两个会话。这正好说明间隔 join 的「时间差」是怎么起作用的:
| 记录时间 | 间隔 | 会话数 |
|---|---|---|
| 1、2、8、9 | 5 | 2 |
| 1、3、5 | 5 | 1 |
| 1、7 | 5 | 2 |
lab 的 sessionCount([1,2,8,9], 5) 返回 2(用例 7):1 与 2 差 1、2 与 8 差 6 超过 5,切开;sessionCount([1,3,5], 5) 返回 1(用例 8):相邻差都不超过 5,连成一段;sessionCount([1,7], 5) 返回 2(用例 9):差 6 超过间隔,分成两段。
间隔 join 用的是同一个判据:只匹配时间差不超过间隔的两条记录,超出就不必再等。间隔参数决定匹配范围,也决定状态保留时长。
一个状态量算例
设每条流每秒 1 万事件,join 要保留 1 小时的待匹配记录:
待匹配条数 = 10000 条/秒 × 3600 秒 = 3600 万条
按每条 200 字节估算 ≈ 7.2GB
若匹配率 90%,只有 10% 留在状态里,约 720MB;若匹配率只有 50%,则有 1800 万条、约 3.6GB。匹配率每降一档,状态就翻一倍,这也是 join 作业比聚合作业更容易爆内存的原因。
| 匹配率 | 留存条数 | 估算大小 |
|---|---|---|
| 90% | 360 万 | 约 720MB |
| 50% | 1800 万 | 约 3.6GB |
| 10% | 3240 万 | 约 6.5GB |
先估匹配率,再定保留时长:两个参数任一失控,状态都会超出预算。TTL 与水位线清理是兜底,不是设计替代品。
join 倾斜与热点键
join 按 key 分区,同一个键的记录落在同一个子任务。热点键会把倾斜直接放大成单点故障:
| 情形 | 后果 |
|---|---|
| 某个键占 40% 流量 | 对应子任务内存与 CPU 打满 |
| 热点键两侧都很大 | 该子任务的 join 状态远超平均 |
| 热点键匹配率低 | 状态只进不出,最先触发背压 |
倾斜在 join 上比在聚合上更危险:聚合的倾斜只影响计算量,join 的倾斜同时放大两侧状态。识别方法是看各子任务的状态大小与背压指标,而不是只看总吞吐。
三种 join 的适用表
| 判断项 | 窗口 join | 间隔 join | 普通双流 join |
|---|---|---|---|
| 等待边界 | 窗口长度 | 时间差阈值 | TTL |
| 状态上界 | 确定 | 确定 | 由 TTL 决定 |
| 结果完整性 | 窗口内完整 | 间隔内完整 | TTL 内完整 |
| 适用 | 同时段关联 | 因果时间差 | 高匹配率长等待 |
选择顺序是「先能定界,再谈灵活」:业务能接受时间边界就用窗口或间隔 join,状态可预测;确实需要无限等待,再上普通双流 join,并且必须配 TTL 与状态监控。
双流 join 与维表 join 的区别
双流 join 两侧都是无界流;维表 join 一侧是外部维表,按需查询:
| 维度 | 双流 join | 维表 join |
|---|---|---|
| 两侧性质 | 都是流 | 流加外部表 |
| 等待定界 | 窗口、间隔或 TTL | 查询超时 |
| 状态 | 缓存另一侧事件 | 缓存维表行或直查 |
| 进度 | 受两侧水位线约束 | 不受维表水位线约束 |
维表 join 不参与水位线取最小:维表不是数据流,没有水位线概念。把维表当双流 join 处理,会凭空多出一路「永不推进」的输入。
三个常见误解
误解一:流 join 可以等两边都读完再匹配。 真相:无界输入永远不会读完,不定界就意味着状态无限增长。
误解二:多输入水位线取最大值以尽快推进。 真相:必须取最小值,否则快侧会提前触发并漏掉慢侧尚未到达的数据。
误解三:TTL 只是省内存的开关。 真相:TTL 同时决定结果完整性,设短了会永久错过本可匹配的记录。
一句话总结本节
无界流的 join 首先要回答「等多久」:窗口 join 用窗口边界、间隔 join 用时间差、普通双流 join 用 TTL 给等待定界。join 各自缓存另一侧未匹配的记录,状态量约等于输入速率乘等待时长乘未匹配比例。多输入算子的水位线取最小值,进度由最慢一侧决定。窗口本身也是状态,会话窗口的间隔判据与间隔 join 同源;热点键会把倾斜放大成单点故障。选型先看能否定界,再谈灵活。
本章实现对照
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。