3.2 水位线(watermark)与乱序
水位线是算子处理事件时间的进度信号,不是数据齐全的物理证明。本节限定 Flink 1.20.3、毫秒时间戳和流执行模式。一个策略可以低估未来乱序;迟到处置必须在下游算子里另定。
生成时机不等于进度来源
有界乱序生成器在 onEvent 更新已见最大事件时间,周期回调发出 maxTimestamp - B - 1。周期是处理时间调度,数值来自事件时间;没有新事件时反复回调不会让数值自动追上墙钟。120ms、B=30ms,输出89ms。减1使边界上仍可能到达的事件不被过早排除。初始化还需避免减法溢出。
序列10、4、20、9的历史最大乱序距离为11个时间单位;这是样本统计,不是未来乱序上界。若单位为秒,要先换成毫秒再代入生成器。不能由“延迟至少11秒”推导任意数据零丢失;周期发射、网络和背压还会增加观察延迟。
多输入是另一个问题
同一路输入的标记只能向前推进;多个活跃输入之间取最小。三路90、105、80合成80,不能因为标记随事件发出就改取最大。单路先见105再见80时忽略回退标记,这与三路取最小没有矛盾。
idle是状态,不是 MAX_WATERMARK。某路idle后可暂不参与合成;全部idle时传播idle状态,不能凭空宣布事件时间结束。恢复活跃也不能使已发水位线倒退;恢复流中较旧记录可能已无法进入被清理的窗口。
| 状态 | 合成规则 | 必须保留的信息 |
|---|---|---|
| 活跃输入 | 活跃水位线最小值,整体不回退 | 各输入最新值 |
| 部分idle | 忽略idle输入 | idle标记及最后进度 |
| 全部idle | 传播idle状态 | 已发水位线,不能替换为无穷 |
| 输入真正结束 | 按源/运行时结束协议 | 与暂时idle分开 |
机制图
flowchart TD
E["事件到达:更新 maxTimestamp"] --> P["周期 emit:maxTimestamp-B-1"]
P --> I["该输入的单调水位线"]
I --> C{"仍有活跃输入?"}
ID["idle/active 状态变化"] --> C
C -- 是 --> M["取活跃输入最小值,且不回退"]
C -- 否 --> S["传播idle;保持已有事件时间进度"]
M --> W["下游窗口/事件时间定时器"]
END["源真正结束"] --> X["结束协议可发MAX;不是idle"]
实验与证据边界
WatermarkTracker.Inputs 保存每路状态、已发水位线并验证全部idle、恢复活跃与回退标记;watermarkAfter(120,30)=89。原生 BoundaryProbe 调用发布JAR中的生成器和multiplexer,验证相同边界;不测分布式网络延迟。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。