10.2 时态表与维表 join
9.1 讲的是两条流的 join,靠状态把两侧未匹配的事件留住。这一节换一个对象:一条流与一张外部表 join。维表不在流里,却随时间变化;用哪个时刻的版本去对齐,决定了结果是每次一样、还是每次都不一样。
维表:不流动但会变的表
| 特征 | 说明 |
|---|---|
| 数据量 | 远小于流,通常能放进内存或外部库 |
| 变化频率 | 低,从几分钟到几天一次 |
| 作用 | 补全流里缺失的维度字段 |
典型例子:订单流补商品类目、点击流补用户等级、交易流补汇率。维表不产生事件,它只提供「某一刻的参考值」。这个定位决定了它的两个难点:怎么查得足够快,以及查到的到底是哪一刻的值。
lookup join:每条记录查一次
执行方式很直接:流里的每条记录到达时,用它的键去外部表取当前行,拼进输出:
对每条流记录 r:
row = 外部表.取(r.key) // 一次远程查询
输出 r 拼接 row
| 特点 | 说明 |
|---|---|
| 延迟 | 每条记录一次远程往返 |
| 版本 | 查询时刻外部表的当前值 |
| 状态 | 几乎没有,除非加缓存 |
它用的是处理时刻的版本:同一条流重放两次,若这期间维表改过,两次结果不同。这一点在补数、对账时是硬伤。
时态表 join:按事件时间对齐版本
时态表是一张带版本的表:每行有生效时间,同一主键可以有多个版本。join 时按事件时间取「当时有效」的那一个:
对事件 e(事件时间 t):
在 key = e.key 的版本里
取 生效时间 <= t 的最后一个版本
它用的是事件发生时刻有效的版本:重放多少次结果都一样,因为版本由数据自身的时间决定,与何时计算无关。代价是版本必须留在状态里,直到水位线越过它们。这种表有两种形态,只有其中一种能按版本对齐:
| 形态 | 结构 | join 行为 |
|---|---|---|
| 版本表 | 主键加生效时间,允许覆盖 | 取生效时间不晚于事件时间的最后一行 |
| 仅追加表 | 每行自带时间戳,无主键覆盖 | 按时间区间匹配,等价于区间关联 |
只有「主键加生效时间」才叫版本表:它靠主键覆盖定义「最新的那一版」。只有追加日志、没有主键更新的表,语义更接近按时间区间关联,两者的状态量与去重方式都不同。把后者当时态表用,会得到重复匹配——同一事件可能对应到多个区间。
两种 join 的语义差别
| 维度 | lookup join | 时态表 join |
|---|---|---|
| 版本依据 | 处理时刻的外部表当前值 | 事件时刻的有效版本 |
| 数据来源 | 外部库,逐行查询 | 版本流,本地状态 |
| 重放一致性 | 不确定 | 确定 |
| 状态量 | 缓存条目 | 保留期内的全部版本 |
判断标准是「结果要不要可复现」:对账、结算、审计必须可复现,用事件时间版本;页面上的类目名称这类展示型字段,用处理时刻版本就够。同一条查询混用两种口径,是「两个系统算出来不一样」的常见来源。
一个反例:用处理时刻版本补历史
场景:订单流按美元金额补汇率
订单事件时间 11 月 1 日,金额 100 美元,当时汇率 7.1
补数作业在 11 月 10 日运行,维表里是当天的汇率 7.2
lookup 结果:100 × 7.2 = 720 元
正确结果:100 × 7.1 = 710 元
| 口径 | 补数结果 | 与实时结果是否一致 |
|---|---|---|
| 处理时刻 | 720 元 | 否,每单差 10 元 |
| 事件时刻 | 710 元 | 是 |
补数是对版本口径最残酷的检验:实时链路里两者看起来一样,因为维表当天没变;一旦补历史数据,处理时刻的版本必然与当时不同。有补数需求的场景,应当默认选事件时间版本,否则「重跑一次结果就变」会成为长期争议。
lookup 的缓存与新鲜度
| 策略 | 远程查询量 | 主要风险 |
|---|---|---|
| 不缓存 | 每条记录一次 | 数据库压力随吞吐线性增长 |
| 缓存加生存时间 | 命中即免查 | 生存时间窗内读到旧值 |
缓存换的是「数据库压力」与「数据新鲜度」。生存时间越长,命中率越高、读到旧值的窗口越长。码表可以设几十分钟,费率这类强时效数据只能设几十秒,甚至不缓存直接查。而生存时间本身还要选起算口径,口径选错会让「设了过期」等于没设。
lab 的 expiredOnCreate(0, 100, 50) 返回真(用例 5):条目创建于 0、生存时间 50、当前 100,已过期;expiredOnCreate(60, 100, 50) 返回假(用例 6):60 加 50 等于 110,未过期。
换成「从最后一次读写起算」:expiredOnReadWrite(50, 100, 60) 返回假(用例 7),刚访问过的条目被续期;expiredOnReadWrite(40, 100, 60) 返回真(用例 8),40 加 60 恰好等于 100,到点即过期。
缓存应当用「从写入起算」,不该用「从访问起算」:热点键每秒都被访问,从访问起算等于永不刷新,读到旧值的窗口被无限拉长。用例 7 暴露的正是这个反直觉的结论——越热的键越陈旧,而热点键恰恰是最不该用旧值的那批。
维表没命中怎么办
| 处理 | 行为 | 适用 |
|---|---|---|
| 保留空值 | 左连接语义,维度字段为空 | 分析类,允许缺失 |
| 丢弃该行 | 内连接语义,结果少这一条 | 允许少量丢失 |
| 旁路重试 | 先输出空,再异步回填 | 维表存在延迟到达 |
丢弃最危险:它不报错,只是少算。若维表是「新用户还没写入」,丢弃会把新用户的整段行为从结果里抹掉,而报表上看不出任何异常。
算例:每秒一万条要查多少次
吞吐 10000 条/秒,每条查一次 → 10000 次/秒远程查询
单次往返 2 毫秒 → 在途请求 = 10000 × 0.002 = 20 个
缓存命中 90% → 1000 次/秒
缓存命中 99% → 100 次/秒
| 命中率 | 远程查询每秒 | 相对压力 |
|---|---|---|
| 0% | 10000 | 1 |
| 90% | 1000 | 十分之一 |
| 99% | 100 | 百分之一 |
命中率的每一点提升,都直接换成数据库压力的下降。缓存条目数由维表基数决定:10 万行、每行 200 字节,总共 20MB,堆内完全放得下——这也是维表缓存几乎总值得做的原因。
维表缓存也是一份状态
| 判断条件 | 结果 | 依据 |
|---|---|---|
| 2GB 状态、堆预算 1GB | 落盘 | 放不进堆 |
| 256MB 状态、预算 1GB、要求 1 毫秒 | 堆内 | 放得下且延迟敏感 |
| 256MB 状态、预算 1GB、可容忍 50 毫秒 | 落盘 | 省堆更划算 |
lab 的 chooseBackend(2048, 1024, 5) 返回落盘(用例 12)、chooseBackend(256, 1024, 1) 返回堆内(用例 13)、chooseBackend(256, 1024, 50) 返回落盘(用例 14)。缓存不是「一定要放堆里」:条目上千万时,堆内缓存会与算子对象、网络缓冲抢同一片内存,落盘加块缓存的组合反而更稳。按键查找是哈希定位,mapLookupSteps(1_000_000) 返回 1(用例 15)——100 万条目平均一次比较命中,所以缓存变大主要推高内存占用,几乎不增加单次查找的复杂度。
版本表从哪来
| 来源 | 版本粒度 | 状态量 |
|---|---|---|
| 每日全量覆盖 | 每天一个版本 | 小 |
| 变更日志(CDC) | 每次变更一个版本 | 与变更频率成正比 |
| 定期拉取维表 | 每次拉取一个版本 | 小 |
高频更新的维表是时态表 join 的主要风险:版本数等于变更次数。一张每秒变几十次的价格表,保留一天就是几百万个版本,状态与快照都会被拖垮。此时应改用 lookup join 加短生存时间缓存,把版本管理交还给外部库。
维表 join 的选型检查表
| 检查项 | 要回答的问题 |
|---|---|
| 可复现性 | 结果要不要每次一样 |
| 维度新鲜度 | 能容忍多旧的值 |
| 维度规模 | 能否放进内存或外部库 |
| 缺失率 | 查不到时保留、丢弃还是重试 |
四项里只要「可复现」答「要」,就只能走时态表 join,其余三项的取舍都建立在它之上;答「不要」,再看新鲜度与规模决定缓存策略。先定语义,再调参数,反过来做通常会把一个语义问题当成性能问题来修。
三个常见误解
误解一:lookup join 与时态表 join 只是写法不同。 真相:前者用处理时刻版本,后者用事件时刻版本,重放时结果是否一致是本质差别。
误解二:缓存生存时间越长,命中率越高越好。 真相:生存时间越长读到旧值的窗口越长;从访问起算时热点键永不刷新。
误解三:维表查不到就跳过,影响不大。 真相:跳过是静默少算,新用户、新商品的整段行为会消失。
一句话总结本节
维表是不流动但会变的参考数据,两种 join 的分野在于用哪个时刻的版本:lookup join 逐条查外部表、用处理时刻的当前值,状态极轻但重放不可复现;时态表 join 按事件时间对齐版本、把版本留在状态里,结果可复现但状态随版本数与变更频率增长。lookup 的关键是缓存与生存时间——不缓存则远程查询量等于吞吐,缓存则要用从写入起算的生存时间,否则热点键永远陈旧。缓存本身也是一份状态,放堆还是落盘按同一套判据决定;高频更新的维表不适合做时态表 join。
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。