《大规模分布式计算深入解析》3.2 水位线(watermark)与乱序

区分单输入生成、多输入合成和idle状态;按1.20.3明确maxTimestamp-B-1的毫秒边界。

3.2 水位线(watermark)与乱序

水位线是算子处理事件时间的进度信号,不是数据齐全的物理证明。本节限定 Flink 1.20.3、毫秒时间戳和流执行模式。一个策略可以低估未来乱序;迟到处置必须在下游算子里另定。

生成时机不等于进度来源

有界乱序生成器在 onEvent 更新已见最大事件时间,周期回调发出 maxTimestamp - B - 1。周期是处理时间调度,数值来自事件时间;没有新事件时反复回调不会让数值自动追上墙钟。120ms、B=30ms,输出89ms。减1使边界上仍可能到达的事件不被过早排除。初始化还需避免减法溢出。

序列10、4、20、9的历史最大乱序距离为11个时间单位;这是样本统计,不是未来乱序上界。若单位为秒,要先换成毫秒再代入生成器。不能由“延迟至少11秒”推导任意数据零丢失;周期发射、网络和背压还会增加观察延迟。

多输入是另一个问题

同一路输入的标记只能向前推进;多个活跃输入之间取最小。三路90、105、80合成80,不能因为标记随事件发出就改取最大。单路先见105再见80时忽略回退标记,这与三路取最小没有矛盾。

idle是状态,不是 MAX_WATERMARK。某路idle后可暂不参与合成;全部idle时传播idle状态,不能凭空宣布事件时间结束。恢复活跃也不能使已发水位线倒退;恢复流中较旧记录可能已无法进入被清理的窗口。

状态合成规则必须保留的信息
活跃输入活跃水位线最小值,整体不回退各输入最新值
部分idle忽略idle输入idle标记及最后进度
全部idle传播idle状态已发水位线,不能替换为无穷
输入真正结束按源/运行时结束协议与暂时idle分开

机制图

flowchart TD
  E["事件到达:更新 maxTimestamp"] --> P["周期 emit:maxTimestamp-B-1"]
  P --> I["该输入的单调水位线"]
  I --> C{"仍有活跃输入?"}
  ID["idle/active 状态变化"] --> C
  C -- 是 --> M["取活跃输入最小值,且不回退"]
  C -- 否 --> S["传播idle;保持已有事件时间进度"]
  M --> W["下游窗口/事件时间定时器"]
  END["源真正结束"] --> X["结束协议可发MAX;不是idle"]

实验与证据边界

WatermarkTracker.Inputs 保存每路状态、已发水位线并验证全部idle、恢复活跃与回退标记;watermarkAfter(120,30)=89。原生 BoundaryProbe 调用发布JAR中的生成器和multiplexer,验证相同边界;不测分布式网络延迟。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

watermarks · windows

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路