14.3 CDC 与维表
14.2 讲的是把结果写进湖。这一节反过来,讲怎么把数据库的变化持续读进来,以及读进来之后如何与维表关联。CDC 的核心不是「解析日志」,而是「让变更流与动态表对得上」,其中最难的是全量与增量之间的那个切换点。
CDC 把日志变成变更流
数据库的预写日志记录每一次行级变更。CDC 连接器把它解析成四种事件:
| 事件 | 含义 | 对应操作 |
|---|---|---|
| +I | 新插入一行 | 插入 |
| -U | 更新前的旧行 | 撤回 |
| +U | 更新后的新行 | 重新插入 |
| -D | 删除一行 | 删除 |
一次更新被拆成两条事件:先撤回旧值,再插入新值。这样下游不需要「就地修改」的能力,只要按「加一条、减一条」处理,最终结果与直接更新等价。这个拆分是变更流能被无状态消费的前提。
与动态表一一对应
10.1 讲过动态表:一张不断变化的表,在某个时刻等价于一份快照。CDC 事件流就是这张动态表的变更日志:
| 动态表视角 | 变更流视角 |
|---|---|
| 当前有哪些行 | 从空表叠加所有事件后的结果 |
| 某行被更新 | -U 旧行,+U 新行 |
| 某行被删除 | -D 该行 |
「变更流 + 初始快照 = 动态表」:只回放日志而不加载初始快照,得到的是一份「变化量」而不是完整表。所以任何 CDC 管道都必须先有全量快照,再叠加增量日志。
两段式:先全量快照,再增量日志
| 阶段 | 读什么 | 特点 |
|---|---|---|
| 全量快照 | 当前表的所有行 | 量大、一次性 |
| 增量日志 | 快照之后的变更 | 量小、持续 |
两段的时间边界必须严丝合缝:快照代表「某一刻的全表」,增量日志必须从那一刻开始。若快照读的是 t1 的数据,日志却从 t2(晚于 t1)开始,t1 到 t2 之间的变更就丢了;反过来日志从 t0 开始,t0 到 t1 的变更会被重复应用。
切换点必须一致
正确:快照位点 = 日志起点
错误一:快照读了 t1,日志从 t2 开始 → t1 到 t2 的变更丢失
错误二:快照读了 t1,日志从 t0 开始 → t0 到 t1 的变更重复
| 错误 | 后果 | 表现 |
|---|---|---|
| 日志起点晚于快照 | 漏数据 | 结果偏少,不报错 |
| 日志起点早于快照 | 重复数据 | 计数偏高,可被去重掩盖 |
漏数据比重复更危险:重复在幂等写入下会被自动吸收,漏数据则静默地让结果偏小,而且很难从报表上发现。判断切换点是否一致,要看快照是否带了一致的位点,而不是看两边「大概同时」。
CDC 流与维表 join 的组合
典型形态是:事实流来自 CDC,维表也来自 CDC,两者按主键关联。
| 角色 | 数据来源 | 更新频率 |
|---|---|---|
| 事实流 | 订单表变更 | 高 |
| 维表 | 商品、用户表变更 | 低 |
两条 CDC 流 join 的本质是两条动态表的时态关联:事实事件到来时,取「那一刻有效」的维表版本,而不是当前值。否则补数时结果会随维表的最新状态漂移——这正是 10.2 讲的可复现性问题在 CDC 场景下的复现。
维表缓存:不缓存与缓存的两种代价
| 策略 | 远程查询量 | 主要风险 |
|---|---|---|
| 不缓存 | 每条记录一次 | 数据库压力随吞吐线性增长 |
| 缓存加 TTL | 命中即免查 | TTL 窗内读到旧值 |
吞吐 10000 条/秒,每条查一次 → 10000 次/秒
缓存命中 95% → 500 次/秒
缓存换的是数据库压力与数据新鲜度。维表更新很慢时(商品类目、用户等级),TTL 可以设几十分钟;更新很快时(库存、费率),TTL 只能设几十秒甚至不缓存。「维表多久变一次」决定 TTL 的上界,「能容忍多旧」决定它的下界,两者取交集才是可用值。
TTL 的两种起算口径
同一个 TTL 时长,从不同时刻起算,结果完全不同:
| 口径 | 规则 | 适用 |
|---|---|---|
| 从创建起算 | 写入时刻加 TTL 到点即过期 | 绝对寿命的数据 |
| 从最后访问起算 | 每次访问续期 | 最近状态类缓存 |
lab 的 expiredOnCreate(0, 100, 50) 返回真(用例 5):创建于 0、TTL 50、当前 100,已过期;expiredOnCreate(60, 100, 50) 返回假(用例 6):60 加 50 等于 110,未过期。
换成从最后访问起算:expiredOnReadWrite(50, 100, 60) 返回假(用例 7),刚访问过的条目被续期;expiredOnReadWrite(40, 100, 60) 返回真(用例 8),40 加 60 恰好等于 100,到点即过期。
维表缓存应当从创建或写入起算:热点键每秒被查几十次,从访问起算等于永不刷新,读到旧值的窗口被无限拉长。用例 7 揭示的正是这个反直觉结论——越热的键越陈旧,而热点键恰恰最不该用旧值。
过期清理是分批的
判定为过期不等于立刻释放,清理按批推进:
| 过期键数 | 批大小 | 一轮清理 | 需要轮次 |
|---|---|---|---|
| 120 | 64 | 64 | 2 |
| 120 | 1000 | 120 | 1 |
lab 的 cleanupBatch(120, 64) 返回 64(用例 9):120 个过期键、每批 64 个,一轮只清 64 个;cleanupBatch(120, 1000) 返回 120(用例 10):批量大于待清理数时一轮全清。
批大小是「单次停顿」与「回收速度」的权衡:批越大清得越快,但单次占用中央处理器越久;批越小运行越平稳,但积压的过期条目会长期占内存。积压量约等于过期速度乘清理轮次间隔,这是估算缓存峰值占用的关键一项。轮次间隔调大能减少清理次数,但峰值占用会同步抬高。
CDC 的重复与幂等 upsert
CDC 管道几乎一定会重复投递:切换点误差、故障重放、至少一次语义都会带来重复。幂等 upsert 是最自然的解法:
按主键写:同一条记录来两次,结果与来一次相同
按事件追加:同一条记录来两次,就多出一条
lab 的 listStateEntries(1000, true, 3) 返回 3(用例 16):1000 个事件去重后只剩 3 个不同元素;listStateEntries(1000, false, 3) 返回 1000(用例 17):不去重则 1000 条全留。
CDC 的更新语义是「替换」而不是「追加」:同一个键的多次变更,最终只能保留最新一条。若下游按追加处理,同一订单的十次状态变更会变成十行,计数与金额都会被放大。幂等 upsert 天然匹配 CDC,因为它把「重复」折叠成「覆盖」。
全量快照怎么读才不阻塞业务
全量阶段要读整张表,读法直接决定对源库的影响:
| 读法 | 对业务影响 | 一致性 |
|---|---|---|
| 加锁读 | 阻塞写入,影响大 | 强一致 |
| 一致性快照读 | 几乎无影响 | 快照时刻一致 |
| 分段无锁读 | 影响小 | 需配合位点校验 |
一致性快照读是主流做法:数据库在某个时刻给出一份不变的数据视图,读的过程中业务照常写入,视图不受影响。它的代价是源库要保留一段历史版本,长事务会拖住版本回收。
分段读把大表拆成多段并行读,吞吐高,但必须记录每段的位点并与日志起点对齐。分段越多,切换点校验越复杂——并行度换来的是速度,付出的是切换点一致性的验证成本。
没有一种读法既零影响又强一致:加锁最准但最伤业务,快照读平衡,分段读最快却最难对齐。选择取决于「源库能不能承受」与「漏数能不能接受」,而不是照搬默认配置。上线前先确认源库确实支持一致性快照,否则后面的切换点保证无从谈起。
CDC 管道的端到端检查
| 检查项 | 要回答的问题 |
|---|---|
| 快照位点 | 全量与增量是否锚定同一时刻 |
| 变更类型 | 更新是否按撤回加插入处理 |
| 去重口径 | 下游是否按主键覆盖 |
| 缓存新鲜度 | 维表能容忍多旧 |
| 切换演练 | 恢复后是否漏数或重复 |
五项里「切换演练」最容易被跳过,也最该做:在预发环境人为制造一次从快照到日志的切换、一次故障恢复,比对行数与关键聚合值。CDC 的漏数不会报错,只有对账才能发现,演练是上线前唯一能暴露它的手段。演练至少要覆盖「快照刚结束就发生变更」这个边界。
把切换点、去重口径与缓存新鲜度写进同一张配置表,再让运维按表核对,比依赖个人记忆可靠。三项里任何一项漂移,结果都会悄悄偏一点,而偏一点在长链路里会被不断放大。
判断去重口径只有一句:同一条记录到达两次,最终表里是一行还是两行。答案是一行,下游就必须支持按主键覆盖;答案可以是两行,才允许按追加处理。
三个常见误解
误解一:CDC 只读增量日志就够。 真相:没有初始全量快照,得到的只是变化量;变更流必须叠加在快照之上才是完整表。
误解二:全量快照与增量日志「大概同时」开始就行。 真相:切换点差一点就会漏数或重复,必须锚定一致的位点;漏数静默且难查。
误解三:缓存 TTL 从最后访问起算更友好。 真相:热点键会被永久续期,永远读不到新值;维表缓存应从创建或写入起算。
一句话总结本节
CDC 把数据库日志解析成插入、更新前后像与删除四类事件,与动态表一一对应;但变更流必须叠加在初始全量快照之上,且快照与增量日志的切换点必须锚定一致位点,否则起点偏晚会漏数、偏早会重复。CDC 流关联实时维表时,缓存决定数据库压力与新鲜度,TTL 应从创建或写入起算,从访问起算会让热点键永远陈旧;过期清理分批进行,积压量约等于过期速度乘轮次间隔。CDC 的更新是替换而非追加,幂等 upsert 天然匹配它的重复投递。
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。