《大规模分布式计算深入解析》1.2 连续处理与事件时间

本节区分事件时间、摄取时间与处理时间:处理时间随到达顺序变化,同一份数据重放两次结果不同;事件时间把记录归属固定在数据自身,代价是需要水位线与迟到处理。文中给出不可复现的量化算例、逐条与微批两种形态的对照,以及结果正确与结果及时的取舍表。

1.2 连续处理与事件时间

1.1 说明了流的输入没有终点。这一节补上第二个前提:既然没有终点,那「哪些记录算同一批」就不能靠「任务结束」来决定,只能靠时间。而时间有三种,选哪一种,直接决定结果能不能复现。

三种时间:谁给记录打的时间戳

口径由谁赋值例子
事件时间数据产生方订单创建时刻、传感器采样时刻
摄取时间消息队列写入时刻队列追加时间戳
处理时间算子处理时的机器时钟窗口算子调用系统时间

三者的可信度与可得性成反比:事件时间最接近业务真相,但可能缺失、可能被上游写错;处理时间随手可得,但和数据的含义毫无关系。摄取时间夹在中间,本节后半会单独说它为什么常被低估。

为什么处理时间不可复现

同一份数据重放两次,处理时间会变,因为「什么时候被处理」取决于当时的负载与网络。

第一次重放:链路空闲,1000 条/秒
  5 秒处理时间窗口 → 收到 5000 条
第二次重放:前置积压 3 秒,补数据瞬间 2600 条/秒
  同一窗口 → 收到 8000 条
重放窗口内记录数聚合结果
第一次5000均值 A
第二次8000均值 B

同一份输入、同一个程序、两次输出不同,这就是不可复现。它不是因为程序有缺陷,而是因为「处理时间」这个变量本身就不受输入控制。

事件时间可复现的代价

事件时间把「记录属于哪个窗口」写死在数据里,重放多少次结果都一样。代价是要回答两个问题:

问题手段代价
等到什么时候算「到齐」水位线结果延迟
到齐之后又来怎么办允许迟到、侧输出状态保留更久

水位线是一句承诺:事件时间小于等于 T 的记录原则上不会再来了。这句话永远可能是错的,所以水位线是一门「用延迟换确定性」的生意——放得越宽,迟到越少,结果越晚。

连续处理的两种形态

形态延迟下界状态更新粒度典型实现
逐条处理网络往返每条记录连续流引擎
微批批间隔每批微批引擎

逐条处理不是「一条一条慢慢来」,而是「不为批边界停顿」:算子收到一条就更新一次状态,检查点由屏障异步穿插,不打断数据流。微批则相反,它靠「攒够一批」来摊薄调度开销。

两种形态的成本结构也不同,本质是「按次」与「按常驻」的差别:逐条处理是常驻成本,任务不结束、槽位不释放。

项批流
资源生命周期任务运行期间全天候
扩缩容重新提交即生效需要保存点迁移
成本模型按次按常驻
失败影响重跑一次持续不可用直到恢复

「按次」与「按常驻」是两种完全不同的账:一天跑 20 分钟的批,账单是 20 分钟;同样的吞吐用流跑,账单是 24 小时。1.1 的算例已经量化过这个差距。

结果正确与结果及时的取舍

选择换来付出
处理时间低延迟、不需要水位线结果不可复现
事件时间 + 小延迟容忍可复现、延迟低乱序大时大量迟到
事件时间 + 大延迟容忍迟到少、结果稳结果延迟高
定时批结果最稳延迟以小时计

没有免费的选项:想又快又准,只能压缩「乱序的实际分布」。这属于数据链路治理(统一时钟、减少跨机房乱序),不是调引擎参数。

处理时间适用的场景

场景为什么可以需要注意
集群监控(负载、连接数)关心的就是「现在」结果不用于对账
限流与熔断需要即时反应允许近似
大屏滚动指标展示用途重放结果不同可接受
告警去抖时间窗只是节流手段不需要精确归属

判断标准只有一条:这份结果会不会被人复算。只要有人拿它去对账、去追责、去重跑,处理时间就不合格。

水位线推进速度决定结果延迟

水位线不是「时间」,而是「进度」;它推进得多快,决定结果多久能出来:

结果延迟 ≈ 已见最大事件时间 - 当前水位线
已见最大事件时间当前水位线滞后
12010515
16001000600

推进太慢,结果一直不出来;推进太快,迟到暴增。WatermarkSuite 用例 16 测的「60 秒推进 600,即每秒 10」就是把这条曲线变成一个可观测的刻度:若上游乱序上界是 11 秒,水位线至少要落后已见最大值 11 秒,否则那部分乱序记录必然被判为迟到。

水位线如何穿过算子

算子类型水位线怎么产生注意
源按数据或按周期产生多个分区取最小
单输入算子直接透传不改变进度
多输入算子取所有输入的最小值一路慢,全体慢
空闲输入超时后忽略否则永远不推进

「取最小」是多输入算子的默认语义:两条流做关联,只要一路没有数据,另一路水位线再高也没用,整个算子被最慢的一路拖着。WatermarkSuite 用例 13 与 14 就是这么设计的:两路都活跃时取 20,第二路空闲 60 秒后只剩 100。

空闲源是把双刃剑:不忽略,水位线卡死;忽略得太早,可能把「其实还会来」的流当成已经结束。

摄取时间:一个被忽略的折中

口径时间戳来源乱序来源可复现
事件时间数据自身业务链路是
摄取时间队列写入入队前那一段是(队列保留原时间戳)
处理时间算子时钟负载与网络否

摄取时间是事件时间的廉价替身:时间戳在入队时打一次、之后不再变,所以可复现;乱序只剩「入队前」这一段,通常比端到端乱序小得多。当业务时间戳缺失或不可信时,摄取时间往往比处理时间更值得选。

迟到数据的三种处理

水位线设得再宽,也总有记录越线而来。处理方式只有三种:

处理方式结果语义代价
直接丢弃结果偏低且不可修正简单,但偏差会长期累积
允许迟到、重触发窗口结果被修正状态要多保留一段时间
侧输出到单独流主结果稳定,迟到另作处理需要额外下游与合并逻辑

是否接纳要看窗口而不是只比较记录timestamp:事件时间窗口[start,end)首次触发在end-1ms,清理在end-1+allowedLateness。以[90,105)、lateness10ms为例,wm105时事件90仍可进入并重触发;wm114时窗口已清理。元素timestamp+lateness<=watermark只是全部候选窗口拒绝后的侧输出判据之一,不是单独的接纳公式。重触发会再次输出累计结果,下游需按窗口键更新,不能简单重复相加。详见3.3和4.2。

一个反直觉的结论:事件时间不保证更准

情形处理时间的结果事件时间的结果
上游时间戳正确、乱序可控近似可用精确
上游时间戳错误(客户端时钟漂移)分错窗口,但至少有规律按错误时间分窗口,错得更「一致」
大量迟到(超过水位线容忍)全部计入,只是归属随机迟到部分被丢弃或进侧输出

事件时间保证的是「可复现」,不是「更正确」:如果数据自身的时间戳是错的,事件时间只会把这个错误稳定地重复出来。所以使用事件时间之前,先确认上游时间戳的质量。

三个常见误解

误解一:事件时间比处理时间更准,所以总是更好。 真相:事件时间保证的是可复现;上游时间戳错了,它只会稳定地重复这个错误。

误解二:水位线是一条「时间线」,越过就代表数据到齐。 真相:水位线是「进度承诺」,它可以被设错;设错的代价是迟到数据被丢或结果偏差。

误解三:连续处理一定比微批延迟低。 真相:延迟下界确实更低,但真实延迟由最慢的那个环节决定,反压严重时两者差距会消失。

一句话总结本节

流没有终点,所以「哪些记录算同一批」只能由时间定义,而时间有三种:事件时间来自数据、摄取时间来自队列、处理时间来自算子时钟。处理时间随负载漂移,同一份数据重放两次会落进不同窗口,结果不可复现;事件时间把归属写死在数据里,代价是需要水位线判断「到齐」、需要允许迟到处理「又来」。连续处理有逐条与微批两种形态,前者延迟下界更低、后者调度开销更小。选型的判据不是「谁更准」,而是「这份结果会不会被复算」。

实验与证据边界

下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。

模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路