《大规模分布式计算深入解析》10.3 状态 TTL 与 SQL 语义

分开DataStream TTL与SQL计划状态;按算子级STATE_TTL hint和处理时间刷新解释结果变化。

10.3 状态 TTL 与 SQL 语义

SQL的状态由物理计划生成,用户可通过EXPLAIN、算子指标、配置和支持的hint分析它,而不只是设置一个全作业时长。TTL是资源与正确性条件,提前忘记历史可能使join缺匹配、聚合重新开始、去重忘记旧键。

DataStream TTL基础不能直接替代SQL算子合同

Flink1.20 DataStream状态TTL以处理时间为基准。OnCreateAndWrite在创建及每次写入刷新;OnReadAndWrite还在有效读取时刷新。TTL50ms、t0写a、t30改b,则t70有效、t80过期;不是固定从首次创建算到50。需要固定寿命时在业务状态保存首次创建时间。

NeverReturnExpired影响读取可见性;物理释放可能在访问清理、堆增量清理或RocksDB compaction中发生。过期不是事件时间窗口的cleanup,TTL配置也不能替代watermark或allowedLateness。

SQL有作业级与支持的算子级控制

table.exec.state.ttl提供流水线的空闲状态保留配置;1.20对regular join和group aggregation支持STATE_TTL hint,可在query block内给输入/算子不同期限。别名、输入侧和嵌套query block的适用范围必须看计划;不能认为所有SQL算子均按同一TTL实现。

SELECT /*+ STATE_TTL('o'='3d', 'l'='1d') */ *
FROM orders o JOIN lineitem l ON o.id = l.order_id;

该语句只展示hint语义,运行还需兼容的表DDL、连接器和计划器。验收时比较无hint、全局配置与不同输入hint的EXPLAIN,并用跨期限匹配数据检查可见结果。

容量估算有前提

固定新键到达率λ、固定每键字节、少更新且可及时清理时,可近似用λ×TTL×每键字节。热点反复更新、有限键域、缓存、compaction和已过期未清理都会改变曲线;“TTL十倍状态必十倍”不是定律。

机制图

flowchart TD
  P["SQL EXPLAIN识别有状态算子"] --> C["读取全局TTL与本query block支持的hint"]
  C --> U["按算子实现决定状态更新时间"]
  U --> EX{"处理时间已过期?"}
  EX -- 否 --> READ["参与本次join/聚合;可能刷新"]
  EX -- 是 --> MISS["按可见性规则视作缺失"]
  MISS --> R["检查结果是否丢历史或重新开始"]
  MISS --> GC["物理清理另由访问/增量/compaction执行"]

实验与证据边界

Java Entry覆盖写刷新和有效读刷新;原生SqlTtlProbe实际编译默认与hinted计划,解析join state字段,断言默认两侧7200000ms、覆盖后259200000/86400000ms。它不执行datagen读取、外部sink写入或TTL到期后的join结果。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

state · sqlttl

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路