《大规模分布式计算深入解析》5.3 状态 TTL 与访问模式

区分 Flink DataStream 处理时间 TTL、刷新策略、过期可见性和物理清理。

5.3 状态 TTL 与访问模式

本节以 Flink 1.20.3 的 DataStream 状态为准。TTL 使用处理时间,窗口和事件时间的迟到规则走各自的时间语义。通过 StateTtlConfig 分别选择时间戳更新、可见性和清理策略。

状态时间戳何时刷新

选项行为
OnCreateAndWrite创建与每次写入更新,读取不刷新
OnReadAndWrite有效状态的读取也刷新,访问路径代价可能增加
NeverReturnExpired过期后读取视作缺失
ReturnExpiredIfNotCleanedUp首次读到尚未清理的过期值时可以返回,随后清理访问到的过期状态

例子:TTL 50 秒,t=0 创建,t=30 更新。在写刷新模式下,t=70 仍有效,t=80 到期。若业务要求从首次创建起算固定寿命,将创建时刻独立写入业务状态,按该时间判断。原教学方法 expiredOnCreate 是固定时间戳的算例。

清理与 SQL 语义

过期判定与释放空间是不同事件。堆后端可增量清理,RocksDB 可在 compaction 时按配置清理,全量快照过滤只影响相应类型的快照与恢复结果。先观察读取是否返回缺失,再观察磁盘、堆和快照大小。SQL TTL 受额外配置和查询算子约束。提前忘记 join 对端或聚合历史可能影响可见结果,详见 10.3。

来源:Flink 1.20 状态 TTL 。

三个常见误解

  • “OnCreateAndWrite 只在第一次创建刷新”。更新状态也会刷新。
  • “过期后一直能读到旧值”。可见性配置与访问后的清理共同决定结果。
  • “清理前会继续影响事件时间窗口”。状态读取、事件时间和窗口生命周期需要分别定义。

一句话总结本节

先定义可接受的历史长度,再选择时间戳刷新、读取可见和清理策略,并测试过期对状态恢复与查询结果的影响。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路