3.3 迟到数据与侧输出
“比水位线旧”不等于“不能再进入窗口”。一个事件可能分到多个窗口:先逐窗口决定是否接纳,只有没有任何窗口接受时,才进入元素过晚和侧输出的判断。
三个边界
限定事件时间 TimeWindow [start,end)。maxTimestamp=end-1;通常注册在该时间首次触发。清理时间为 maxTimestamp+allowedLateness,加法溢出时按实现饱和处理。水位线到达清理点,窗口不可再接纳。
例:[90,105),lateness=10ms,首次触发104、清理114。wm=105时,事件90仍可进入该窗口并再次产出更新结果;直接算90+10<105就丢弃它会少算。wm=114时该窗口已过期。Flink元素侧输出谓词包含 timestamp+lateness <= watermark,但它还受“全部候选窗口被跳过”这一前置条件约束,不能独立当窗口接纳公式。
| watermark | 事件 | 该窗口动作 |
|---|---|---|
| 100 | 90 | 接纳,默认首次触发尚未到 |
| 104 | 已存数据 | 首次FIRE;lateness>0时继续保留 |
| 105 | 90 | 接纳并late refire,修正已有结果 |
| 114 | 95 | 清理点已到;全部窗口拒绝后走侧输出或丢弃 |
结果更新也是数据契约
允许迟到时,结果流可能有同一key/window的多个累计值。下游不能把每次累计值简单追加求和;应按窗口键覆盖、使用合适的变更日志语义,或发布明确的差量。侧输出保留明细不自动修正主结果,也不自动获得独立事务保证。
滑动窗口可能只清理部分候选窗口,同一记录仍能进入其余窗口,因此“记录迟到率”和“窗口拒绝率”的分母不同。侧输出并不保证零额外网络:分支未链化或跨任务时仍会产生传输和独立背压。
机制图
flowchart TD
R["记录:key、event timestamp"] --> A["WindowAssigner:可能得到多个窗口"]
A --> EACH["逐个窗口判断;状态归属为 key + window"]
EACH --> L{"cleanupTime 小于等于当前 watermark?"}
L -- 否 --> S["写入该窗口内容/累加器"]
S --> T["调用 Trigger;其计数/定时器有独立状态"]
T --> F{"FIRE?"}
F -- 是 --> O["输出窗口结果;FIRE 本身不清内容"]
F -- 否 --> KEEP["等待更多记录或定时器"]
L -- 是 --> SKIP["跳过该窗口;不等于所有窗口都拒绝"]
SKIP --> ALL{"所有分配窗口均被跳过,且满足元素过晚谓词?"}
ALL -- 是 --> SIDE["配置侧输出则旁路;否则丢弃并计数"]
ALL -- 否 --> OTHER["继续其他窗口或结束本记录"]
WM["watermark 推进"] --> TIMER["触发到期事件时间定时器"]
TIMER --> FIRE["maxTimestamp 定时器:首次/迟到触发"]
TIMER --> CLEAN["cleanupTime 定时器:删除内容与相关状态"]
实验与证据边界
教学 WindowEngine.Lifecycle 验证首次结果1、迟到更新3、清理后95旁路。SemanticsProbe 在本机真实WindowOperator上使用15ms滚动窗口和10ms allowedLateness,验证主流及侧流;该场景是单key,不代表SQL TVF或所有session/滑动组合。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。