《大规模分布式计算深入解析》3.3 迟到数据与侧输出

按窗口清理点判断接纳,再判定侧输出;区分迟到重触发与过期丢弃。

3.3 迟到数据与侧输出

“比水位线旧”不等于“不能再进入窗口”。一个事件可能分到多个窗口:先逐窗口决定是否接纳,只有没有任何窗口接受时,才进入元素过晚和侧输出的判断。

三个边界

限定事件时间 TimeWindow [start,end)。maxTimestamp=end-1;通常注册在该时间首次触发。清理时间为 maxTimestamp+allowedLateness,加法溢出时按实现饱和处理。水位线到达清理点,窗口不可再接纳。

例:[90,105),lateness=10ms,首次触发104、清理114。wm=105时,事件90仍可进入该窗口并再次产出更新结果;直接算90+10<105就丢弃它会少算。wm=114时该窗口已过期。Flink元素侧输出谓词包含 timestamp+lateness <= watermark,但它还受“全部候选窗口被跳过”这一前置条件约束,不能独立当窗口接纳公式。

watermark事件该窗口动作
10090接纳,默认首次触发尚未到
104已存数据首次FIRE;lateness>0时继续保留
10590接纳并late refire,修正已有结果
11495清理点已到;全部窗口拒绝后走侧输出或丢弃

结果更新也是数据契约

允许迟到时,结果流可能有同一key/window的多个累计值。下游不能把每次累计值简单追加求和;应按窗口键覆盖、使用合适的变更日志语义,或发布明确的差量。侧输出保留明细不自动修正主结果,也不自动获得独立事务保证。

滑动窗口可能只清理部分候选窗口,同一记录仍能进入其余窗口,因此“记录迟到率”和“窗口拒绝率”的分母不同。侧输出并不保证零额外网络:分支未链化或跨任务时仍会产生传输和独立背压。

机制图

flowchart TD
    R["记录:key、event timestamp"] --> A["WindowAssigner:可能得到多个窗口"]
    A --> EACH["逐个窗口判断;状态归属为 key + window"]
    EACH --> L{"cleanupTime 小于等于当前 watermark?"}
    L -- 否 --> S["写入该窗口内容/累加器"]
    S --> T["调用 Trigger;其计数/定时器有独立状态"]
    T --> F{"FIRE?"}
    F -- 是 --> O["输出窗口结果;FIRE 本身不清内容"]
    F -- 否 --> KEEP["等待更多记录或定时器"]
    L -- 是 --> SKIP["跳过该窗口;不等于所有窗口都拒绝"]
    SKIP --> ALL{"所有分配窗口均被跳过,且满足元素过晚谓词?"}
    ALL -- 是 --> SIDE["配置侧输出则旁路;否则丢弃并计数"]
    ALL -- 否 --> OTHER["继续其他窗口或结束本记录"]
    WM["watermark 推进"] --> TIMER["触发到期事件时间定时器"]
    TIMER --> FIRE["maxTimestamp 定时器:首次/迟到触发"]
    TIMER --> CLEAN["cleanupTime 定时器:删除内容与相关状态"]

实验与证据边界

教学 WindowEngine.Lifecycle 验证首次结果1、迟到更新3、清理后95旁路。SemanticsProbe 在本机真实WindowOperator上使用15ms滚动窗口和10ms allowedLateness,验证主流及侧流;该场景是单key,不代表SQL TVF或所有session/滑动组合。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

windows

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路