12.2 流式读批与有界流的水位线
“有界输入跑STREAMING”和“BATCH运行”都能结束,但不能把它们的所有watermark、timer和状态行为视为同一实现。本节先固定执行模式,再分析结束信号。
STREAMING中的有界源
真实结束时运行时/源协议可传播结束水位线,推动尚未到期的事件时间定时器;暂时idle不能伪造此信号。自定义SourceFunction若提前发MAX后继续发送旧记录,已经清理的窗口不能凭记录重来恢复。
周期有界乱序生成器依然以maxTimestamp-B-1为数值,周期回调不意味着墙钟推进事件时间。B=0时也是maxTimestamp-1ms;这与输入真正结束发出的结束信号不同。
BATCH不只是把watermark策略设为无穷
1.20批模式按key处理有界数据,具有与流模式不同的事件时间和定时器行为,自定义WatermarkGenerator可被忽略;TimestampAssigner仍用于时间戳。自定义算子不能假定同一个operator跨所有key观察到的水位线永远与流模式一样单调。
同一输入不同模式的最终结果要在支持的算子语义下比较,不把处理时间UDF、随机数、外部lookup当作自动确定性。
触发与清理保持独立
流式TimeWindow的默认首次触发在exclusive end-1,清理在maxTimestamp+lateness。允许迟到时首次FIRE不立即删除窗口内容;结束水位线会推动相应清理定时器。计数触发器若替换了默认事件时间触发器,不能假定结束时必然再FIRE所有不足阈值的数据。
实验与证据边界
本机SemanticsProbe同时运行STREAMING窗口和BATCH失败重算,分别验收输出。模型覆盖的是指定有限窗口与输入状态,不实现所有源的end-of-input、SQL或混合执行模式。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
modes · watermarks · windows
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。