《大规模分布式计算深入解析》10.1 动态表与连续查询

流是表的变更日志,动态表是快照在时间轴上的序列。本节拆开连续查询的四个决定:变更为何分插入、撤回与删除,结果为何分追加流与更新流,聚合与去重为何必然长出状态,状态为何只能靠窗口或生存时间收敛。最后用去重查询说明状态量由键基数决定。

10.1 动态表与连续查询

第 10 章把前九章的机制收进一个 SQL 接口。前面的算子、时间、窗口、状态、检查点、背压与连接都在这一章退到幕后:用户只写一条查询,计划器把它翻译成有状态的流式作业。理解这条翻译链的入口,是「动态表」这个抽象。

流是表的变更日志

流与表不是两种数据,而是同一份数据的两种看法:

看法单位关注什么
流一条记录变化发生的顺序
表一行数据某一刻的完整内容

把流按顺序重放,就得到一张不断变化的表;把表在每个时刻的差异记下来,就得到一条流。流是表的变更日志,表是流重放的结果,这个对称关系是整章的地基。

四种变更行

标记含义何时出现
+I插入一行新记录进入
-U撤回更新前的旧行聚合结果即将改变
+U插入更新后的新行聚合结果已经改变
-D删除一行记录被删除或过期

retract流可用UPDATE_BEFORE与UPDATE_AFTER表达更新;upsert流在有键且计划/sink支持时可只发送新值或删除。不能把两行编码当作所有更新流的固定形式。下游按其接受的changelog合同维护结果。

静态表是快照,动态表是演化

批处理读到的表是「某一时刻的快照」,流处理里的表是「快照随时间的序列」。两者的关系可以写成一句:

快照 = 从头重放变更日志到某一时刻
动态表 = 快照在时间轴上的序列

批处理只需要最后一个快照,流处理需要每一个中间快照。这就是为什么同一个查询在批里跑一次就结束,在流里却要一直跑:它维护的不是一次结果,而是结果的整条演化路径。

连续查询:查询不结束

维度传统查询连续查询
执行次数一次每条变更触发一次增量计算
结束条件输入有界,算完即止输入无界,永不结束
输出一张结果表一条结果变更流

连续查询不是「反复执行同一条查询」,而是「维护一个结果并随输入增量更新」。全量重算在无界输入上不可行,增量维护才是唯一可落地的实现;这也解释了为什么它必然依赖状态。

追加流与更新流

查询结果本身也是动态表,它的变更流有两种形态:

形态含哪些行典型查询
追加流只有 +I过滤、投影、无聚合的展开
更新流+I、-U、+U、-D聚合、去重、排名、join

判断标准很简单:结果里的某一行会不会被后来的输入改变。会改变就必须能撤回,不会改变就只需要追加。同一条查询的上下两段可能形态不同,比如先过滤(追加)再计数(更新)。

实际计划里两种形态常常长在同一棵树上:前半段是追加流,后半段是更新流,最终写出的形态由最末端决定。下游只需要关心末端形态,中间形态不会离开这个作业;反过来,如果末端是更新流而下游只接追加,中间做得再对也没用。

为什么必须有撤回:一个算例

对点击流按用户计数,某用户已经点了 3 次,第 4 条记录到达:

时刻 1:count = 3    输出 +I (用户 A, 3)
时刻 2:count = 4    只发 +I (用户 A, 4) 会怎样?
下游求和:3 + 4 = 7   ← 错,真实值是 4
正确做法:-U (用户 A, 3) 然后 +U (用户 A, 4)
下游求和:3 - 3 + 4 = 4

没有撤回,下游只能做覆盖写,不能做累加。这也是更新流必须携带旧值的原因:撤回是下游唯一能自我纠正的依据。换成一个求最大值的下游,漏掉撤回甚至会长期保留一个错误的高值。

撤回怎么落到下游

消费方式做法要求
物化成表重放变更日志,维护当前快照能存全量结果
撤回流原样写出 +I/-U/+U/-D下游支持撤回
更新插入流按主键覆盖,撤回与插入合并结果有唯一键

把更新流写进只支持追加的下游,是最常见的语义事故:撤回行被当成普通记录写入,下游统计直接翻倍。要么换支持撤回的下游,要么在查询里把结果转成按主键的更新插入流,二选一,没有第三种。

SQL 的状态从哪来

子句要记住什么状态量级
GROUP BY每个键的累加器键数
JOIN两侧尚未匹配的行未匹配行数
去重已见过的键与保留的那一行去重键数
窗口聚合窗口内元素或累加器窗口内条数
ORDER BY / LIMIT排序缓冲上限条数

用户写的是声明式查询,计划器生成的是有状态算子。查询文本里没有任何一个词提到「状态」,但每一处需要跨行记忆的地方都会长出状态,而且用户既看不到它的形态,也数不清它有几个。以 SELECT userId, COUNT(*) FROM clicks GROUP BY userId 为例,计划器给出的是一条四级链路:

阶段算子是否有状态状态内容
读源扫描点击流否无
分区按 userId 哈希分发否无
聚合每键维护计数是每键一个计数值
输出变更流编码是上次发出的结果

最后一级的状态最容易被忽略:要发出 -U 就必须知道旧值,所以输出端也得留一份最近结果。这意味着更新流比追加流多一份「与结果等量」的状态——结果有多大,这份状态就有多大。

这也解释了为什么把一条查询改写成「先聚合再聚合」会更费内存:每一级聚合都自带一份累加器与一份上次结果,链路越长,叠加的状态越多。优化的方向不是减少级数本身,而是确认每一级的状态是否真的必要;有些级数消不掉(比如去重后再聚合),有些只是写法的副产品,能合并就合并。

一个去重查询的状态量

去重的典型写法是按主键取第一行。它的状态量取决于「有多少个不同的键」,而不是「处理了多少条记录」:

lab 的 listStateEntries(1000, true, 3) 返回 3(用例 16):1000 条事件去重后只剩 3 个不同元素;listStateEntries(1000, false, 3) 返回 1000(用例 17):不去重则 1000 条全留。

事件数不同键数去重后状态
100033 条
100010001000 条
1 亿1000 万1000 万条

「去重查询很省状态」是个错觉:省不省取决于基数。事件再多、键很少时状态很小;键随时间不断新增时,状态会一路涨到基数上限,与事件总量无关。用例 11 给出了另一半口径:100 万条分到 1000 个键,平均每键 1000 条——总量是键数与每键条数的乘积,两个因子都要看。

状态靠窗口与 TTL 收敛

连续查询永不结束,状态就没有天然的终点。收敛只有两种手段:

手段边界来源代价
窗口语义上的时间边界只适用于有窗口语义的查询
TTL时间上的存活上限过期后结果可能改变

窗口是「算完了就丢」,TTL 是「放久了就丢」:前者不改变结果,后者会改变结果,10.3 会展开这个代价。

窗口的局限在于它要求查询本身带时间语义:全局去重、无界的双流 join 都没有窗口可依,只剩 TTL 一条路。线上出问题的往往不是窗口聚合,而是那些「看起来没有时间维度」的查询。

有状态流作业的恢复应覆盖必要SQL算子状态及源位置;BATCH采用不同恢复机制。增量checkpoint复用SST文件,逻辑键变化不等于本次上传字节。实际传输、恢复所需集合和SQL算子TTL分别按5.2、10.3与13.2验收,不能用已移除的恒等函数或旧用例编号证明。

估算顺序建议是:先数键基数,再估每个键要保留多久,最后看单条序列化后的大小;三者相乘得到量级,再与堆预算对照。「保留多久」在 SQL 里就是 TTL,所以 TTL 不是调优参数,而是容量公式里的一个乘数。

同一个 SQL 的两种执行模式

维度批模式流模式
输入有界无界
执行一次算完持续增量
输出最终结果一次写出结果变更流持续写出
状态中间结果,用完即弃长期保留,受 TTL 约束

同一条查询在两个模式下语义相同、计划不同:批模式可以把整张表读进来做全量聚合,流模式必须维护累加器并输出撤回。12.1 会讲流批一体的统一入口,这里只需记住一句:「同一套 SQL」不等于「同一套执行计划」,两边能接受的算子与优化规则并不完全重合。

两边优化规则的差别也很实际:批模式可以靠统计信息选择连接顺序,流模式更在意分区方式与状态布局。把批作业直接改成流作业,最常见的故障是某个算子在没有统计信息的情况下选错连接策略,表现为状态暴涨或反压。

三个常见误解

误解一:流和表是两种不同的数据,需要两套处理逻辑。 真相:流是表的变更日志,表是流重放的结果,同一个查询在两种看法下语义一致。

误解二:只有聚合查询才需要状态。 真相:去重、join、排序、去重计数都产生状态;判断依据是「是否需要跨行记忆」,不是「是否带聚合函数」。

误解三:结果表就是最终答案,直接写出去即可。 真相:结果是一条变更流,含撤回与删除;写进只支持追加的下游会把统计翻倍。

一句话总结本节

流是表的变更日志,动态表是快照在时间轴上的序列,连续查询则是对这张动态表持续求值、输出另一张动态表。变更分插入、撤回旧值、插入新值与删除四种,更新可按retract或upsert合同编码,是否需要旧值取决于计划与sink。结果形态取决于「某一行会不会被后来的输入改变」:不会就是追加流,会就是更新流。聚合、去重、join、排序都会长出状态,去重的状态量由键基数而非事件数决定;状态保留需按窗口、算子语义、键域和TTL决定,恢复机制按执行模式核对。同一条 SQL 在批与流两种模式下语义相同,执行计划不同。

本章实现对照

Flink 动态表与变更日志

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

机制边界与故障路径

动态表是逻辑关系随输入变化的视角,changelog可以含插入、更新前后值和删除。sink是否接受某种模式是计划和连接器合同,不是所有查询都只append。

flowchart LR
    IN["事件/变更源"] --> TABLE["动态表"] --> QUERY["连续关系查询"]
    QUERY --> CHANGE["I / UB / UA / D changelog"]
    CHANGE --> MODE{"Sink支持的变更模式?"}
    MODE --> APP["只追加结果"]
    MODE --> UPSERT["按键upsert/删除"]
    KEY["主键与唯一性约束"] --> UPSERT
    CHANGE -. "不兼容" .-> ERR["计划拒绝或需改写"]

这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路