《大规模分布式计算深入解析》14.3 CDC 与维表

CDC 把数据库日志变成插入、更新、删除的变更流,与动态表一一对应。难点在全量快照与增量日志的切换点必须一致,否则漏数或重复。CDC 流关联实时维表时,缓存决定数据库压力与新鲜度,TTL 起算口径决定热点键会不会永远陈旧,清理按批进行。

14.3 CDC 与维表

14.2 讲的是把结果写进湖。这一节反过来,讲怎么把数据库的变化持续读进来,以及读进来之后如何与维表关联。CDC 的核心不是「解析日志」,而是「让变更流与动态表对得上」,其中最难的是全量与增量之间的那个切换点。

CDC 把日志变成变更流

数据库的预写日志记录每一次行级变更。CDC 连接器把它解析成四种事件:

事件含义对应操作
+I新插入一行插入
-U更新前的旧行撤回
+U更新后的新行重新插入
-D删除一行删除

一次更新被拆成两条事件:先撤回旧值,再插入新值。这样下游不需要「就地修改」的能力,只要按「加一条、减一条」处理,最终结果与直接更新等价。这个拆分是变更流能被无状态消费的前提。

与动态表一一对应

10.1 讲过动态表:一张不断变化的表,在某个时刻等价于一份快照。CDC 事件流就是这张动态表的变更日志:

动态表视角变更流视角
当前有哪些行从空表叠加所有事件后的结果
某行被更新-U 旧行,+U 新行
某行被删除-D 该行

「变更流 + 初始快照 = 动态表」:只回放日志而不加载初始快照,得到的是一份「变化量」而不是完整表。所以任何 CDC 管道都必须先有全量快照,再叠加增量日志。

两段式:先全量快照,再增量日志

阶段读什么特点
全量快照当前表的所有行量大、一次性
增量日志快照之后的变更量小、持续

两段的时间边界必须严丝合缝:快照代表「某一刻的全表」,增量日志必须从那一刻开始。若快照读的是 t1 的数据,日志却从 t2(晚于 t1)开始,t1 到 t2 之间的变更就丢了;反过来日志从 t0 开始,t0 到 t1 的变更会被重复应用。

切换点必须一致

正确:快照位点 = 日志起点
错误一:快照读了 t1,日志从 t2 开始 → t1 到 t2 的变更丢失
错误二:快照读了 t1,日志从 t0 开始 → t0 到 t1 的变更重复
错误后果表现
日志起点晚于快照漏数据结果偏少,不报错
日志起点早于快照重复数据计数偏高,可被去重掩盖

漏数据比重复更危险:重复在幂等写入下会被自动吸收,漏数据则静默地让结果偏小,而且很难从报表上发现。判断切换点是否一致,要看快照是否带了一致的位点,而不是看两边「大概同时」。

CDC 流与维表 join 的组合

典型形态是:事实流来自 CDC,维表也来自 CDC,两者按主键关联。

角色数据来源更新频率
事实流订单表变更高
维表商品、用户表变更低

两条 CDC 流 join 的本质是两条动态表的时态关联:事实事件到来时,取「那一刻有效」的维表版本,而不是当前值。否则补数时结果会随维表的最新状态漂移——这正是 10.2 讲的可复现性问题在 CDC 场景下的复现。

维表缓存:不缓存与缓存的两种代价

策略远程查询量主要风险
不缓存每条记录一次数据库压力随吞吐线性增长
缓存加 TTL命中即免查TTL 窗内读到旧值
吞吐 10000 条/秒,每条查一次 → 10000 次/秒
缓存命中 95% → 500 次/秒

缓存换的是数据库压力与数据新鲜度。维表更新很慢时(商品类目、用户等级),TTL 可以设几十分钟;更新很快时(库存、费率),TTL 只能设几十秒甚至不缓存。「维表多久变一次」决定 TTL 的上界,「能容忍多旧」决定它的下界,两者取交集才是可用值。

TTL 的两种起算口径

同一个 TTL 时长,从不同时刻起算,结果完全不同:

口径规则适用
从创建起算写入时刻加 TTL 到点即过期绝对寿命的数据
从最后访问起算每次访问续期最近状态类缓存

lab 的 expiredOnCreate(0, 100, 50) 返回真(用例 5):创建于 0、TTL 50、当前 100,已过期;expiredOnCreate(60, 100, 50) 返回假(用例 6):60 加 50 等于 110,未过期。

换成从最后访问起算:expiredOnReadWrite(50, 100, 60) 返回假(用例 7),刚访问过的条目被续期;expiredOnReadWrite(40, 100, 60) 返回真(用例 8),40 加 60 恰好等于 100,到点即过期。

维表缓存应当从创建或写入起算:热点键每秒被查几十次,从访问起算等于永不刷新,读到旧值的窗口被无限拉长。用例 7 揭示的正是这个反直觉结论——越热的键越陈旧,而热点键恰恰最不该用旧值。

过期清理是分批的

判定为过期不等于立刻释放,清理按批推进:

过期键数批大小一轮清理需要轮次
12064642
12010001201

lab 的 cleanupBatch(120, 64) 返回 64(用例 9):120 个过期键、每批 64 个,一轮只清 64 个;cleanupBatch(120, 1000) 返回 120(用例 10):批量大于待清理数时一轮全清。

批大小是「单次停顿」与「回收速度」的权衡:批越大清得越快,但单次占用中央处理器越久;批越小运行越平稳,但积压的过期条目会长期占内存。积压量约等于过期速度乘清理轮次间隔,这是估算缓存峰值占用的关键一项。轮次间隔调大能减少清理次数,但峰值占用会同步抬高。

CDC 的重复与幂等 upsert

CDC 管道几乎一定会重复投递:切换点误差、故障重放、至少一次语义都会带来重复。幂等 upsert 是最自然的解法:

按主键写:同一条记录来两次,结果与来一次相同
按事件追加:同一条记录来两次,就多出一条

lab 的 listStateEntries(1000, true, 3) 返回 3(用例 16):1000 个事件去重后只剩 3 个不同元素;listStateEntries(1000, false, 3) 返回 1000(用例 17):不去重则 1000 条全留。

CDC 的更新语义是「替换」而不是「追加」:同一个键的多次变更,最终只能保留最新一条。若下游按追加处理,同一订单的十次状态变更会变成十行,计数与金额都会被放大。幂等 upsert 天然匹配 CDC,因为它把「重复」折叠成「覆盖」。

全量快照怎么读才不阻塞业务

全量阶段要读整张表,读法直接决定对源库的影响:

读法对业务影响一致性
加锁读阻塞写入,影响大强一致
一致性快照读几乎无影响快照时刻一致
分段无锁读影响小需配合位点校验

一致性快照读是主流做法:数据库在某个时刻给出一份不变的数据视图,读的过程中业务照常写入,视图不受影响。它的代价是源库要保留一段历史版本,长事务会拖住版本回收。

分段读把大表拆成多段并行读,吞吐高,但必须记录每段的位点并与日志起点对齐。分段越多,切换点校验越复杂——并行度换来的是速度,付出的是切换点一致性的验证成本。

没有一种读法既零影响又强一致:加锁最准但最伤业务,快照读平衡,分段读最快却最难对齐。选择取决于「源库能不能承受」与「漏数能不能接受」,而不是照搬默认配置。上线前先确认源库确实支持一致性快照,否则后面的切换点保证无从谈起。

CDC 管道的端到端检查

检查项要回答的问题
快照位点全量与增量是否锚定同一时刻
变更类型更新是否按撤回加插入处理
去重口径下游是否按主键覆盖
缓存新鲜度维表能容忍多旧
切换演练恢复后是否漏数或重复

五项里「切换演练」最容易被跳过,也最该做:在预发环境人为制造一次从快照到日志的切换、一次故障恢复,比对行数与关键聚合值。CDC 的漏数不会报错,只有对账才能发现,演练是上线前唯一能暴露它的手段。演练至少要覆盖「快照刚结束就发生变更」这个边界。

把切换点、去重口径与缓存新鲜度写进同一张配置表,再让运维按表核对,比依赖个人记忆可靠。三项里任何一项漂移,结果都会悄悄偏一点,而偏一点在长链路里会被不断放大。

判断去重口径只有一句:同一条记录到达两次,最终表里是一行还是两行。答案是一行,下游就必须支持按主键覆盖;答案可以是两行,才允许按追加处理。

三个常见误解

误解一:CDC 只读增量日志就够。 真相:没有初始全量快照,得到的只是变化量;变更流必须叠加在快照之上才是完整表。

误解二:全量快照与增量日志「大概同时」开始就行。 真相:切换点差一点就会漏数或重复,必须锚定一致的位点;漏数静默且难查。

误解三:缓存 TTL 从最后访问起算更友好。 真相:热点键会被永久续期,永远读不到新值;维表缓存应从创建或写入起算。

一句话总结本节

CDC 把数据库日志解析成插入、更新前后像与删除四类事件,与动态表一一对应;但变更流必须叠加在初始全量快照之上,且快照与增量日志的切换点必须锚定一致位点,否则起点偏晚会漏数、偏早会重复。CDC 流关联实时维表时,缓存决定数据库压力与新鲜度,TTL 应从创建或写入起算,从访问起算会让热点键永远陈旧;过期清理分批进行,积压量约等于过期速度乘轮次间隔。CDC 的更新是替换而非追加,幂等 upsert 天然匹配它的重复投递。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路