《大规模分布式计算深入解析》10.2 时态表与维表 join

维表不产生事件,只提供某一刻的参考值。本节对比逐条查外部表的 lookup join 与按事件时间对齐版本的时态表 join,说清用哪个时刻的版本决定结果能否复现;再给出命中率与数据库压力的算例,以及缓存落点在堆内还是磁盘的判据。

10.2 时态表与维表 join

9.1 讲的是两条流的 join,靠状态把两侧未匹配的事件留住。这一节换一个对象:一条流与一张外部表 join。维表不在流里,却随时间变化;用哪个时刻的版本去对齐,决定了结果是每次一样、还是每次都不一样。

维表:不流动但会变的表

特征说明
数据量远小于流,通常能放进内存或外部库
变化频率低,从几分钟到几天一次
作用补全流里缺失的维度字段

典型例子:订单流补商品类目、点击流补用户等级、交易流补汇率。维表不产生事件,它只提供「某一刻的参考值」。这个定位决定了它的两个难点:怎么查得足够快,以及查到的到底是哪一刻的值。

lookup join:每条记录查一次

执行方式很直接:流里的每条记录到达时,用它的键去外部表取当前行,拼进输出:

对每条流记录 r:
    row = 外部表.取(r.key)     // 一次远程查询
    输出 r 拼接 row
特点说明
延迟每条记录一次远程往返
版本查询时刻外部表的当前值
状态几乎没有,除非加缓存

它用的是处理时刻的版本:同一条流重放两次,若这期间维表改过,两次结果不同。这一点在补数、对账时是硬伤。

时态表 join:按事件时间对齐版本

时态表是一张带版本的表:每行有生效时间,同一主键可以有多个版本。join 时按事件时间取「当时有效」的那一个:

对事件 e(事件时间 t):
    在 key = e.key 的版本里
    取 生效时间 <= t 的最后一个版本

它用的是事件发生时刻有效的版本:重放多少次结果都一样,因为版本由数据自身的时间决定,与何时计算无关。代价是版本必须留在状态里,直到水位线越过它们。这种表有两种形态,只有其中一种能按版本对齐:

形态结构join 行为
版本表主键加生效时间,允许覆盖取生效时间不晚于事件时间的最后一行
仅追加表每行自带时间戳,无主键覆盖按时间区间匹配,等价于区间关联

只有「主键加生效时间」才叫版本表:它靠主键覆盖定义「最新的那一版」。只有追加日志、没有主键更新的表,语义更接近按时间区间关联,两者的状态量与去重方式都不同。把后者当时态表用,会得到重复匹配——同一事件可能对应到多个区间。

两种 join 的语义差别

维度lookup join时态表 join
版本依据处理时刻的外部表当前值事件时刻的有效版本
数据来源外部库,逐行查询版本流,本地状态
重放一致性不确定确定
状态量缓存条目保留期内的全部版本

判断标准是「结果要不要可复现」:对账、结算、审计必须可复现,用事件时间版本;页面上的类目名称这类展示型字段,用处理时刻版本就够。同一条查询混用两种口径,是「两个系统算出来不一样」的常见来源。

一个反例:用处理时刻版本补历史

场景:订单流按美元金额补汇率
订单事件时间 11 月 1 日,金额 100 美元,当时汇率 7.1
补数作业在 11 月 10 日运行,维表里是当天的汇率 7.2
lookup 结果:100 × 7.2 = 720 元
正确结果:100 × 7.1 = 710 元
口径补数结果与实时结果是否一致
处理时刻720 元否,每单差 10 元
事件时刻710 元是

补数是对版本口径最残酷的检验:实时链路里两者看起来一样,因为维表当天没变;一旦补历史数据,处理时刻的版本必然与当时不同。有补数需求的场景,应当默认选事件时间版本,否则「重跑一次结果就变」会成为长期争议。

lookup 的缓存与新鲜度

策略远程查询量主要风险
不缓存每条记录一次数据库压力随吞吐线性增长
缓存加生存时间命中即免查生存时间窗内读到旧值

缓存换的是「数据库压力」与「数据新鲜度」。生存时间越长,命中率越高、读到旧值的窗口越长。码表可以设几十分钟,费率这类强时效数据只能设几十秒,甚至不缓存直接查。而生存时间本身还要选起算口径,口径选错会让「设了过期」等于没设。

lab 的 expiredOnCreate(0, 100, 50) 返回真(用例 5):条目创建于 0、生存时间 50、当前 100,已过期;expiredOnCreate(60, 100, 50) 返回假(用例 6):60 加 50 等于 110,未过期。

换成「从最后一次读写起算」:expiredOnReadWrite(50, 100, 60) 返回假(用例 7),刚访问过的条目被续期;expiredOnReadWrite(40, 100, 60) 返回真(用例 8),40 加 60 恰好等于 100,到点即过期。

缓存应当用「从写入起算」,不该用「从访问起算」:热点键每秒都被访问,从访问起算等于永不刷新,读到旧值的窗口被无限拉长。用例 7 暴露的正是这个反直觉的结论——越热的键越陈旧,而热点键恰恰是最不该用旧值的那批。

维表没命中怎么办

处理行为适用
保留空值左连接语义,维度字段为空分析类,允许缺失
丢弃该行内连接语义,结果少这一条允许少量丢失
旁路重试先输出空,再异步回填维表存在延迟到达

丢弃最危险:它不报错,只是少算。若维表是「新用户还没写入」,丢弃会把新用户的整段行为从结果里抹掉,而报表上看不出任何异常。

算例:每秒一万条要查多少次

吞吐 10000 条/秒,每条查一次 → 10000 次/秒远程查询
单次往返 2 毫秒 → 在途请求 = 10000 × 0.002 = 20 个
缓存命中 90% → 1000 次/秒
缓存命中 99% → 100 次/秒
命中率远程查询每秒相对压力
0%100001
90%1000十分之一
99%100百分之一

命中率的每一点提升,都直接换成数据库压力的下降。缓存条目数由维表基数决定:10 万行、每行 200 字节,总共 20MB,堆内完全放得下——这也是维表缓存几乎总值得做的原因。

维表缓存也是一份状态

判断条件结果依据
2GB 状态、堆预算 1GB落盘放不进堆
256MB 状态、预算 1GB、要求 1 毫秒堆内放得下且延迟敏感
256MB 状态、预算 1GB、可容忍 50 毫秒落盘省堆更划算

lab 的 chooseBackend(2048, 1024, 5) 返回落盘(用例 12)、chooseBackend(256, 1024, 1) 返回堆内(用例 13)、chooseBackend(256, 1024, 50) 返回落盘(用例 14)。缓存不是「一定要放堆里」:条目上千万时,堆内缓存会与算子对象、网络缓冲抢同一片内存,落盘加块缓存的组合反而更稳。按键查找是哈希定位,mapLookupSteps(1_000_000) 返回 1(用例 15)——100 万条目平均一次比较命中,所以缓存变大主要推高内存占用,几乎不增加单次查找的复杂度。

版本表从哪来

来源版本粒度状态量
每日全量覆盖每天一个版本小
变更日志(CDC)每次变更一个版本与变更频率成正比
定期拉取维表每次拉取一个版本小

高频更新的维表是时态表 join 的主要风险:版本数等于变更次数。一张每秒变几十次的价格表,保留一天就是几百万个版本,状态与快照都会被拖垮。此时应改用 lookup join 加短生存时间缓存,把版本管理交还给外部库。

维表 join 的选型检查表

检查项要回答的问题
可复现性结果要不要每次一样
维度新鲜度能容忍多旧的值
维度规模能否放进内存或外部库
缺失率查不到时保留、丢弃还是重试

四项里只要「可复现」答「要」,就只能走时态表 join,其余三项的取舍都建立在它之上;答「不要」,再看新鲜度与规模决定缓存策略。先定语义,再调参数,反过来做通常会把一个语义问题当成性能问题来修。

三个常见误解

误解一:lookup join 与时态表 join 只是写法不同。 真相:前者用处理时刻版本,后者用事件时刻版本,重放时结果是否一致是本质差别。

误解二:缓存生存时间越长,命中率越高越好。 真相:生存时间越长读到旧值的窗口越长;从访问起算时热点键永不刷新。

误解三:维表查不到就跳过,影响不大。 真相:跳过是静默少算,新用户、新商品的整段行为会消失。

一句话总结本节

维表是不流动但会变的参考数据,两种 join 的分野在于用哪个时刻的版本:lookup join 逐条查外部表、用处理时刻的当前值,状态极轻但重放不可复现;时态表 join 按事件时间对齐版本、把版本留在状态里,结果可复现但状态随版本数与变更频率增长。lookup 的关键是缓存与生存时间——不缓存则远程查询量等于吞吐,缓存则要用从写入起算的生存时间,否则热点键永远陈旧。缓存本身也是一份状态,放堆还是落盘按同一套判据决定;高频更新的维表不适合做时态表 join。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路