3.1 事件/处理/摄取时间
第 3 章讲时间与水位线。流计算里第一道选择题不是「用什么窗口」,而是「用谁的时间」:事件时间、摄取时间、处理时间是三个不同的时钟,选错口径,后面所有的窗口、水位线、迟到处理都会跟着错。
三种时间的定义
| 口径 | 时间来自哪里 | 由谁打戳 |
|---|---|---|
| 事件时间 | 数据自身携带的时间字段 | 数据生产方 |
| 摄取时间 | 数据进入流系统的时刻 | 源算子 |
| 处理时间 | 算子处理这条数据的机器时钟 | 处理算子 |
三者的差别不是精度,而是「时间的归属」:事件时间属于业务,摄取时间属于系统入口,处理时间属于当前这台机器。
归属不同,追问的问题也不同:事件时间回答「这件事什么时候发生」,摄取时间回答「系统什么时候收到」,处理时间回答「算子什么时候算到它」。先确定业务问的是哪一句,再选口径。
事件时间:可复现但会迟到
事件时间是记录里本来就有的时间,比如日志的写入时间、订单的创建时间。
| 优点 | 缺点 |
|---|---|
| 重放同一份数据得到同样结果 | 数据会乱序到达 |
| 能还原业务发生的真实顺序 | 迟到的数据可能错过窗口 |
| 与处理速度、机器时钟无关 | 需要水位线来判断「等多久」 |
可复现是事件时间最大的价值:同样的输入、同样的逻辑,今天跑和明天跑结果一致。代价是系统必须容忍乱序——你永远不知道「更早的事件」还会不会来,只能用启发式的水位线去猜。
摄取时间:介于两者之间
摄取时间由源算子在数据进入系统时打上,之后随记录一起流动。
| 维度 | 表现 |
|---|---|
| 可复现 | 单次运行内稳定;重放时重新打戳,跨运行不可复现 |
| 乱序 | 比事件时间小,但网络与分区仍会引入乱序 |
| 依赖业务时间戳 | 不依赖,缺失时间字段也能用 |
| 延迟 | 取决于源到算子的链路 |
摄取时间是「没有可靠事件时间」时的折中:它比处理时间稳定(同一次运行内不会随处理快慢变化),又比事件时间省事(不需要数据自带时间戳)。
处理时间:最快但不可复现
处理时间就是算子看当前机器时钟的那一刻。
| 优点 | 缺点 |
|---|---|
| 实现最简单,无需时间戳与水位线 | 结果依赖到达顺序与机器时钟 |
| 延迟最低,数据到即处理 | 重放结果不同,无法回溯 |
| 不受乱序影响 | 时钟回拨会导致窗口错乱 |
处理时间适合「只看当下」的场景:实时监控大盘、粗粒度的吞吐统计。只要业务问「昨天这个时段到底发生了什么」,处理时间就交不出可复现的答案。
三种口径的对照
把关键维度放在一起:
| 维度 | 事件时间 | 摄取时间 | 处理时间 |
|---|---|---|---|
| 可复现 | 是 | 跨运行否 | 否 |
| 乱序程度 | 高 | 中 | 无 |
| 端到端延迟 | 受水位线约束 | 中 | 最低 |
| 是否需时间戳 | 必须 | 不需要 | 不需要 |
这张表决定了选型的第一刀:只要结果要能复现,事件时间几乎是唯一选择;只做当下观测,处理时间最省。
时间戳与水位线在哪生成
时间口径不是抽象概念,它落在具体的位置上:
事件时间:从记录字段提取 → 在源或首个算子声明 → 水位线随数据推进
摄取时间:源算子打戳 → 记录携带该戳 → 水位线由源推进
处理时间:算子本地时钟 → 不产生水位线
事件时间的水位线可以在源生成,也可以在后续算子生成;摄取时间的水位线由源按打戳推进;处理时间根本没有水位线,窗口按本地时钟触发。「在哪生成」决定了乱序在哪个环节被吸收。
越早生成,越早把乱序交给下游处理;越晚生成,算子能看到的原始顺序越多,但窗口触发也越晚。位置本身就是一次延迟与准确性的交换。
水位线的滞后、推进与健康度
事件时间下,系统用两个量衡量水位线是否跟得上数据。第一个是滞后:
滞后 = 已见最大事件时间 - 当前水位线
lab 的用例 8 验证:已见最大事件时间为 120、当前水位线为 105,滞后为 15。滞后越大,说明系统为了等迟到的数据,主动压低了水位线;滞后长期偏大,端到端延迟就会偏高。
第二个是推进方式。最常见的做法是定期:每隔一段时间,用「已见最大值减去延迟量」推进水位线。
watermarkAfter(已见最大事件时间, 延迟) = 已见最大事件时间 - 延迟
lab 的用例 12 验证:已见最大事件时间为 120、延迟设为 30,水位线推进到 90。延迟量就是「愿意为乱序等多久」的显式表达:设 30 秒,就意味着假定不会有比「已见最大值减 30」更早的数据再来。
把推进折算成速度,就是第三个量:
推进速度 = (水位线增量) / 经过的秒数
lab 的用例 16 验证:水位线从 1000 推进到 1600,用了 60 秒,速度为每秒 10。推进速度长期低于数据产生速度,说明延迟量设得过大,或者某个输入拖住了全局水位线——后者会在 3.2 展开。
同一份日志的三种结果
设一条日志在 12:00:00 产生,设备缓存 5 分钟后于 12:05:00 上报,源在 12:05:00 收到,算子在 12:05:02 处理。按 1 分钟滚动窗口统计:
| 口径 | 时间取值 | 落入窗口 |
|---|---|---|
| 事件时间 | 12:00:00 | 12:00 至 12:01 |
| 摄取时间 | 12:05:00 | 12:05 至 12:06 |
| 处理时间 | 12:05:02 | 12:05 至 12:06 |
同一份数据,事件时间把它算进「发生的那一分钟」,另外两种口径把它算进「到达的那一分钟」。如果业务问「12:00 这一分钟的告警数」,只有事件时间答得对;如果只问「系统现在处理了多少」,处理时间就够。
选择口径的决策表
把选型问题拆成三个可回答的问题:
| 问题 | 回答 | 推荐口径 |
|---|---|---|
| 结果需要可复现吗 | 需要 | 事件时间 |
| 能容忍等待乱序吗 | 能等数十秒 | 事件时间 |
| 数据自带可靠时间戳吗 | 没有 | 摄取时间或处理时间 |
| 只关心当下、可丢弃历史吗 | 是 | 处理时间 |
三个问题按顺序问:先问可复现,再问能否等,最后问有没有时间戳。答案冲突时,优先满足可复现——不可复现的结果在排查问题时几乎无法自证。
如果三个问题都答「无所谓」,处理时间就是最省的选择;一旦有一个答案变严,口径就应向事件时间靠。
口径混用的故障形态
三种时间混用,故障往往不报错,只是结果悄悄不对:
| 现象 | 可能的根因 |
|---|---|
| 重跑结果不一致 | 用了处理时间或摄取时间 |
| 窗口计数偏少 | 事件时间口径下迟到数据被丢弃 |
| 大盘数字与离线对不上 | 两边口径不同(到达时间对发生时间) |
| 延迟突然变大 | 水位线被慢输入或空闲源压住 |
「对不上」的第一诊断不是查代码,而是查口径:确认两边统计的是发生时间还是到达时间,多数差异当场就能解释。
迟到与水位线的关系
这一节只埋一个伏笔:事件时间下,「迟到」不是由到达时刻定义的,而是由水位线定义的。一条数据是否迟到,取决于它的时间戳与当前水位线的相对位置,以及允许迟到量。
允许迟到量的判定在 3.2 展开,窗口如何清理在 3.3 讨论。记住一条就够:水位线是「承诺」,迟到是「承诺被打破」。
三个常见误解
误解一:处理时间最准,因为它看的是真实时钟。 真相:处理时间看的是「机器现在几点」,与业务发生时间无关,且不可复现。
误解二:事件时间不需要考虑延迟。 真相:事件时间必须配水位线,水位线的延迟量就是为乱序付出的等待。
误解三:摄取时间可以完全替代事件时间。 真相:摄取时间在重放时会重新打戳,跨运行不可复现,无法替代事件时间做对账。
一句话总结本节
事件时间来自数据自身、可复现但会乱序迟到;摄取时间由源算子打戳、单次运行内稳定但跨运行不可复现;处理时间取机器时钟、最快但结果依赖到达顺序。时间戳与水位线的生成位置决定了乱序在哪被吸收:事件时间可在源或算子生成,摄取时间由源推进,处理时间没有水位线。同一份延迟 5 分钟上报的日志,三种口径会落进不同窗口;选型时先问可复现、再问能否等、最后问有无时间戳。
本章实现对照
实验与证据边界
下载本卷教学模型 · 固定版本原生探针 · 实验版本说明 。Java 8 runner 在解包目录运行,范围及预期断言数见 README。
模型实际实现静态算子图、窗口/水位线状态转换、处理时间TTL、检查点事件序、有限事务和文件引用等;并非完整Flink运行时。原生实验逐项列在 native/README,不把仅在文字或模型中讨论的SQL到期数据结果、连接器、RocksDB性能与多节点故障写成实测。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。