1.2 连续处理与事件时间
1.1 说明了流的输入没有终点。这一节补上第二个前提:既然没有终点,那「哪些记录算同一批」就不能靠「任务结束」来决定,只能靠时间。而时间有三种,选哪一种,直接决定结果能不能复现。
三种时间:谁给记录打的时间戳
| 口径 | 由谁赋值 | 例子 |
|---|---|---|
| 事件时间 | 数据产生方 | 订单创建时刻、传感器采样时刻 |
| 摄取时间 | 消息队列写入时刻 | 队列追加时间戳 |
| 处理时间 | 算子处理时的机器时钟 | 窗口算子调用系统时间 |
三者的可信度与可得性成反比:事件时间最接近业务真相,但可能缺失、可能被上游写错;处理时间随手可得,但和数据的含义毫无关系。摄取时间夹在中间,本节后半会单独说它为什么常被低估。
为什么处理时间不可复现
同一份数据重放两次,处理时间会变,因为「什么时候被处理」取决于当时的负载与网络。
第一次重放:链路空闲,1000 条/秒
5 秒处理时间窗口 → 收到 5000 条
第二次重放:前置积压 3 秒,补数据瞬间 2600 条/秒
同一窗口 → 收到 8000 条
| 重放 | 窗口内记录数 | 聚合结果 |
|---|---|---|
| 第一次 | 5000 | 均值 A |
| 第二次 | 8000 | 均值 B |
同一份输入、同一个程序、两次输出不同,这就是不可复现。它不是因为程序有缺陷,而是因为「处理时间」这个变量本身就不受输入控制。
事件时间可复现的代价
事件时间把「记录属于哪个窗口」写死在数据里,重放多少次结果都一样。代价是要回答两个问题:
| 问题 | 手段 | 代价 |
|---|---|---|
| 等到什么时候算「到齐」 | 水位线 | 结果延迟 |
| 到齐之后又来怎么办 | 允许迟到、侧输出 | 状态保留更久 |
水位线是一句承诺:事件时间小于等于 T 的记录原则上不会再来了。这句话永远可能是错的,所以水位线是一门「用延迟换确定性」的生意——放得越宽,迟到越少,结果越晚。
连续处理的两种形态
| 形态 | 延迟下界 | 状态更新粒度 | 典型实现 |
|---|---|---|---|
| 逐条处理 | 网络往返 | 每条记录 | 连续流引擎 |
| 微批 | 批间隔 | 每批 | 微批引擎 |
逐条处理不是「一条一条慢慢来」,而是「不为批边界停顿」:算子收到一条就更新一次状态,检查点由屏障异步穿插,不打断数据流。微批则相反,它靠「攒够一批」来摊薄调度开销。
两种形态的成本结构也不同,本质是「按次」与「按常驻」的差别:逐条处理是常驻成本,任务不结束、槽位不释放。
| 项 | 批 | 流 |
|---|---|---|
| 资源生命周期 | 任务运行期间 | 全天候 |
| 扩缩容 | 重新提交即生效 | 需要保存点迁移 |
| 成本模型 | 按次 | 按常驻 |
| 失败影响 | 重跑一次 | 持续不可用直到恢复 |
「按次」与「按常驻」是两种完全不同的账:一天跑 20 分钟的批,账单是 20 分钟;同样的吞吐用流跑,账单是 24 小时。1.1 的算例已经量化过这个差距。
结果正确与结果及时的取舍
| 选择 | 换来 | 付出 |
|---|---|---|
| 处理时间 | 低延迟、不需要水位线 | 结果不可复现 |
| 事件时间 + 小延迟容忍 | 可复现、延迟低 | 乱序大时大量迟到 |
| 事件时间 + 大延迟容忍 | 迟到少、结果稳 | 结果延迟高 |
| 定时批 | 结果最稳 | 延迟以小时计 |
没有免费的选项:想又快又准,只能压缩「乱序的实际分布」。这属于数据链路治理(统一时钟、减少跨机房乱序),不是调引擎参数。
处理时间适用的场景
| 场景 | 为什么可以 | 需要注意 |
|---|---|---|
| 集群监控(负载、连接数) | 关心的就是「现在」 | 结果不用于对账 |
| 限流与熔断 | 需要即时反应 | 允许近似 |
| 大屏滚动指标 | 展示用途 | 重放结果不同可接受 |
| 告警去抖 | 时间窗只是节流手段 | 不需要精确归属 |
判断标准只有一条:这份结果会不会被人复算。只要有人拿它去对账、去追责、去重跑,处理时间就不合格。
水位线推进速度决定结果延迟
水位线不是「时间」,而是「进度」;它推进得多快,决定结果多久能出来:
结果延迟 ≈ 已见最大事件时间 - 当前水位线
| 已见最大事件时间 | 当前水位线 | 滞后 |
|---|---|---|
| 120 | 105 | 15 |
| 1600 | 1000 | 600 |
推进太慢,结果一直不出来;推进太快,迟到暴增。WatermarkSuite 用例 16 测的「60 秒推进 600,即每秒 10」就是把这条曲线变成一个可观测的刻度:若上游乱序上界是 11 秒,水位线至少要落后已见最大值 11 秒,否则那部分乱序记录必然被判为迟到。
水位线如何穿过算子
| 算子类型 | 水位线怎么产生 | 注意 |
|---|---|---|
| 源 | 按数据或按周期产生 | 多个分区取最小 |
| 单输入算子 | 直接透传 | 不改变进度 |
| 多输入算子 | 取所有输入的最小值 | 一路慢,全体慢 |
| 空闲输入 | 超时后忽略 | 否则永远不推进 |
「取最小」是多输入算子的默认语义:两条流做关联,只要一路没有数据,另一路水位线再高也没用,整个算子被最慢的一路拖着。WatermarkSuite 用例 13 与 14 就是这么设计的:两路都活跃时取 20,第二路空闲 60 秒后只剩 100。
空闲源是把双刃剑:不忽略,水位线卡死;忽略得太早,可能把「其实还会来」的流当成已经结束。
摄取时间:一个被忽略的折中
| 口径 | 时间戳来源 | 乱序来源 | 可复现 |
|---|---|---|---|
| 事件时间 | 数据自身 | 业务链路 | 是 |
| 摄取时间 | 队列写入 | 入队前那一段 | 是(队列保留原时间戳) |
| 处理时间 | 算子时钟 | 负载与网络 | 否 |
摄取时间是事件时间的廉价替身:时间戳在入队时打一次、之后不再变,所以可复现;乱序只剩「入队前」这一段,通常比端到端乱序小得多。当业务时间戳缺失或不可信时,摄取时间往往比处理时间更值得选。
迟到数据的三种处理
水位线设得再宽,也总有记录越线而来。处理方式只有三种:
| 处理方式 | 结果语义 | 代价 |
|---|---|---|
| 直接丢弃 | 结果偏低且不可修正 | 简单,但偏差会长期累积 |
| 允许迟到、重触发窗口 | 结果被修正 | 状态要多保留一段时间 |
| 侧输出到单独流 | 主结果稳定,迟到另作处理 | 需要额外下游与合并逻辑 |
是否接纳要看窗口而不是只比较记录timestamp:事件时间窗口[start,end)首次触发在end-1ms,清理在end-1+allowedLateness。以[90,105)、lateness10ms为例,wm105时事件90仍可进入并重触发;wm114时窗口已清理。元素timestamp+lateness<=watermark只是全部候选窗口拒绝后的侧输出判据之一,不是单独的接纳公式。重触发会再次输出累计结果,下游需按窗口键更新,不能简单重复相加。详见3.3和4.2。
一个反直觉的结论:事件时间不保证更准
| 情形 | 处理时间的结果 | 事件时间的结果 |
|---|---|---|
| 上游时间戳正确、乱序可控 | 近似可用 | 精确 |
| 上游时间戳错误(客户端时钟漂移) | 分错窗口,但至少有规律 | 按错误时间分窗口,错得更「一致」 |
| 大量迟到(超过水位线容忍) | 全部计入,只是归属随机 | 迟到部分被丢弃或进侧输出 |
事件时间保证的是「可复现」,不是「更正确」:如果数据自身的时间戳是错的,事件时间只会把这个错误稳定地重复出来。所以使用事件时间之前,先确认上游时间戳的质量。
三个常见误解
误解一:事件时间比处理时间更准,所以总是更好。 真相:事件时间保证的是可复现;上游时间戳错了,它只会稳定地重复这个错误。
误解二:水位线是一条「时间线」,越过就代表数据到齐。 真相:水位线是「进度承诺」,它可以被设错;设错的代价是迟到数据被丢或结果偏差。
误解三:连续处理一定比微批延迟低。 真相:延迟下界确实更低,但真实延迟由最慢的那个环节决定,反压严重时两者差距会消失。
一句话总结本节
流没有终点,所以「哪些记录算同一批」只能由时间定义,而时间有三种:事件时间来自数据、摄取时间来自队列、处理时间来自算子时钟。处理时间随负载漂移,同一份数据重放两次会落进不同窗口,结果不可复现;事件时间把归属写死在数据里,代价是需要水位线判断「到齐」、需要允许迟到处理「又来」。连续处理有逐条与微批两种形态,前者延迟下界更低、后者调度开销更小。选型的判据不是「谁更准」,而是「这份结果会不会被复算」。
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。