10.1 动态表与连续查询
第 10 章把前九章的机制收进一个 SQL 接口。前面的算子、时间、窗口、状态、检查点、背压与连接都在这一章退到幕后:用户只写一条查询,计划器把它翻译成有状态的流式作业。理解这条翻译链的入口,是「动态表」这个抽象。
流是表的变更日志
流与表不是两种数据,而是同一份数据的两种看法:
| 看法 | 单位 | 关注什么 |
|---|---|---|
| 流 | 一条记录 | 变化发生的顺序 |
| 表 | 一行数据 | 某一刻的完整内容 |
把流按顺序重放,就得到一张不断变化的表;把表在每个时刻的差异记下来,就得到一条流。流是表的变更日志,表是流重放的结果,这个对称关系是整章的地基。
四种变更行
| 标记 | 含义 | 何时出现 |
|---|---|---|
| +I | 插入一行 | 新记录进入 |
| -U | 撤回更新前的旧行 | 聚合结果即将改变 |
| +U | 插入更新后的新行 | 聚合结果已经改变 |
| -D | 删除一行 | 记录被删除或过期 |
retract流可用UPDATE_BEFORE与UPDATE_AFTER表达更新;upsert流在有键且计划/sink支持时可只发送新值或删除。不能把两行编码当作所有更新流的固定形式。下游按其接受的changelog合同维护结果。
静态表是快照,动态表是演化
批处理读到的表是「某一时刻的快照」,流处理里的表是「快照随时间的序列」。两者的关系可以写成一句:
快照 = 从头重放变更日志到某一时刻
动态表 = 快照在时间轴上的序列
批处理只需要最后一个快照,流处理需要每一个中间快照。这就是为什么同一个查询在批里跑一次就结束,在流里却要一直跑:它维护的不是一次结果,而是结果的整条演化路径。
连续查询:查询不结束
| 维度 | 传统查询 | 连续查询 |
|---|---|---|
| 执行次数 | 一次 | 每条变更触发一次增量计算 |
| 结束条件 | 输入有界,算完即止 | 输入无界,永不结束 |
| 输出 | 一张结果表 | 一条结果变更流 |
连续查询不是「反复执行同一条查询」,而是「维护一个结果并随输入增量更新」。全量重算在无界输入上不可行,增量维护才是唯一可落地的实现;这也解释了为什么它必然依赖状态。
追加流与更新流
查询结果本身也是动态表,它的变更流有两种形态:
| 形态 | 含哪些行 | 典型查询 |
|---|---|---|
| 追加流 | 只有 +I | 过滤、投影、无聚合的展开 |
| 更新流 | +I、-U、+U、-D | 聚合、去重、排名、join |
判断标准很简单:结果里的某一行会不会被后来的输入改变。会改变就必须能撤回,不会改变就只需要追加。同一条查询的上下两段可能形态不同,比如先过滤(追加)再计数(更新)。
实际计划里两种形态常常长在同一棵树上:前半段是追加流,后半段是更新流,最终写出的形态由最末端决定。下游只需要关心末端形态,中间形态不会离开这个作业;反过来,如果末端是更新流而下游只接追加,中间做得再对也没用。
为什么必须有撤回:一个算例
对点击流按用户计数,某用户已经点了 3 次,第 4 条记录到达:
时刻 1:count = 3 输出 +I (用户 A, 3)
时刻 2:count = 4 只发 +I (用户 A, 4) 会怎样?
下游求和:3 + 4 = 7 ← 错,真实值是 4
正确做法:-U (用户 A, 3) 然后 +U (用户 A, 4)
下游求和:3 - 3 + 4 = 4
没有撤回,下游只能做覆盖写,不能做累加。这也是更新流必须携带旧值的原因:撤回是下游唯一能自我纠正的依据。换成一个求最大值的下游,漏掉撤回甚至会长期保留一个错误的高值。
撤回怎么落到下游
| 消费方式 | 做法 | 要求 |
|---|---|---|
| 物化成表 | 重放变更日志,维护当前快照 | 能存全量结果 |
| 撤回流 | 原样写出 +I/-U/+U/-D | 下游支持撤回 |
| 更新插入流 | 按主键覆盖,撤回与插入合并 | 结果有唯一键 |
把更新流写进只支持追加的下游,是最常见的语义事故:撤回行被当成普通记录写入,下游统计直接翻倍。要么换支持撤回的下游,要么在查询里把结果转成按主键的更新插入流,二选一,没有第三种。
SQL 的状态从哪来
| 子句 | 要记住什么 | 状态量级 |
|---|---|---|
| GROUP BY | 每个键的累加器 | 键数 |
| JOIN | 两侧尚未匹配的行 | 未匹配行数 |
| 去重 | 已见过的键与保留的那一行 | 去重键数 |
| 窗口聚合 | 窗口内元素或累加器 | 窗口内条数 |
| ORDER BY / LIMIT | 排序缓冲 | 上限条数 |
用户写的是声明式查询,计划器生成的是有状态算子。查询文本里没有任何一个词提到「状态」,但每一处需要跨行记忆的地方都会长出状态,而且用户既看不到它的形态,也数不清它有几个。以 SELECT userId, COUNT(*) FROM clicks GROUP BY userId 为例,计划器给出的是一条四级链路:
| 阶段 | 算子 | 是否有状态 | 状态内容 |
|---|---|---|---|
| 读源 | 扫描点击流 | 否 | 无 |
| 分区 | 按 userId 哈希分发 | 否 | 无 |
| 聚合 | 每键维护计数 | 是 | 每键一个计数值 |
| 输出 | 变更流编码 | 是 | 上次发出的结果 |
最后一级的状态最容易被忽略:要发出 -U 就必须知道旧值,所以输出端也得留一份最近结果。这意味着更新流比追加流多一份「与结果等量」的状态——结果有多大,这份状态就有多大。
这也解释了为什么把一条查询改写成「先聚合再聚合」会更费内存:每一级聚合都自带一份累加器与一份上次结果,链路越长,叠加的状态越多。优化的方向不是减少级数本身,而是确认每一级的状态是否真的必要;有些级数消不掉(比如去重后再聚合),有些只是写法的副产品,能合并就合并。
一个去重查询的状态量
去重的典型写法是按主键取第一行。它的状态量取决于「有多少个不同的键」,而不是「处理了多少条记录」:
lab 的 listStateEntries(1000, true, 3) 返回 3(用例 16):1000 条事件去重后只剩 3 个不同元素;listStateEntries(1000, false, 3) 返回 1000(用例 17):不去重则 1000 条全留。
| 事件数 | 不同键数 | 去重后状态 |
|---|---|---|
| 1000 | 3 | 3 条 |
| 1000 | 1000 | 1000 条 |
| 1 亿 | 1000 万 | 1000 万条 |
「去重查询很省状态」是个错觉:省不省取决于基数。事件再多、键很少时状态很小;键随时间不断新增时,状态会一路涨到基数上限,与事件总量无关。用例 11 给出了另一半口径:100 万条分到 1000 个键,平均每键 1000 条——总量是键数与每键条数的乘积,两个因子都要看。
状态靠窗口与 TTL 收敛
连续查询永不结束,状态就没有天然的终点。收敛只有两种手段:
| 手段 | 边界来源 | 代价 |
|---|---|---|
| 窗口 | 语义上的时间边界 | 只适用于有窗口语义的查询 |
| TTL | 时间上的存活上限 | 过期后结果可能改变 |
窗口是「算完了就丢」,TTL 是「放久了就丢」:前者不改变结果,后者会改变结果,10.3 会展开这个代价。
窗口的局限在于它要求查询本身带时间语义:全局去重、无界的双流 join 都没有窗口可依,只剩 TTL 一条路。线上出问题的往往不是窗口聚合,而是那些「看起来没有时间维度」的查询。
有状态流作业的恢复应覆盖必要SQL算子状态及源位置;BATCH采用不同恢复机制。增量checkpoint复用SST文件,逻辑键变化不等于本次上传字节。实际传输、恢复所需集合和SQL算子TTL分别按5.2、10.3与13.2验收,不能用已移除的恒等函数或旧用例编号证明。
估算顺序建议是:先数键基数,再估每个键要保留多久,最后看单条序列化后的大小;三者相乘得到量级,再与堆预算对照。「保留多久」在 SQL 里就是 TTL,所以 TTL 不是调优参数,而是容量公式里的一个乘数。
同一个 SQL 的两种执行模式
| 维度 | 批模式 | 流模式 |
|---|---|---|
| 输入 | 有界 | 无界 |
| 执行 | 一次算完 | 持续增量 |
| 输出 | 最终结果一次写出 | 结果变更流持续写出 |
| 状态 | 中间结果,用完即弃 | 长期保留,受 TTL 约束 |
同一条查询在两个模式下语义相同、计划不同:批模式可以把整张表读进来做全量聚合,流模式必须维护累加器并输出撤回。12.1 会讲流批一体的统一入口,这里只需记住一句:「同一套 SQL」不等于「同一套执行计划」,两边能接受的算子与优化规则并不完全重合。
两边优化规则的差别也很实际:批模式可以靠统计信息选择连接顺序,流模式更在意分区方式与状态布局。把批作业直接改成流作业,最常见的故障是某个算子在没有统计信息的情况下选错连接策略,表现为状态暴涨或反压。
三个常见误解
误解一:流和表是两种不同的数据,需要两套处理逻辑。 真相:流是表的变更日志,表是流重放的结果,同一个查询在两种看法下语义一致。
误解二:只有聚合查询才需要状态。 真相:去重、join、排序、去重计数都产生状态;判断依据是「是否需要跨行记忆」,不是「是否带聚合函数」。
误解三:结果表就是最终答案,直接写出去即可。 真相:结果是一条变更流,含撤回与删除;写进只支持追加的下游会把统计翻倍。
一句话总结本节
流是表的变更日志,动态表是快照在时间轴上的序列,连续查询则是对这张动态表持续求值、输出另一张动态表。变更分插入、撤回旧值、插入新值与删除四种,更新可按retract或upsert合同编码,是否需要旧值取决于计划与sink。结果形态取决于「某一行会不会被后来的输入改变」:不会就是追加流,会就是更新流。聚合、去重、join、排序都会长出状态,去重的状态量由键基数而非事件数决定;状态保留需按窗口、算子语义、键域和TTL决定,恢复机制按执行模式核对。同一条 SQL 在批与流两种模式下语义相同,执行计划不同。
本章实现对照
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
机制边界与故障路径
动态表是逻辑关系随输入变化的视角,changelog可以含插入、更新前后值和删除。sink是否接受某种模式是计划和连接器合同,不是所有查询都只append。
flowchart LR
IN["事件/变更源"] --> TABLE["动态表"] --> QUERY["连续关系查询"]
QUERY --> CHANGE["I / UB / UA / D changelog"]
CHANGE --> MODE{"Sink支持的变更模式?"}
MODE --> APP["只追加结果"]
MODE --> UPSERT["按键upsert/删除"]
KEY["主键与唯一性约束"] --> UPSERT
CHANGE -. "不兼容" .-> ERR["计划拒绝或需改写"]
这张图标明本章机制的组件和边界,不是本机已运行过所有分支的追踪记录。算例、原生观测与未测工程能力应按正文及实验 README 的范围分别核对。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。