10.3 输出模式与端到端精确一次
以 Spark 3.5.7 为例,输出模式描述每个触发周期交给 Sink 的逻辑行。可用组合取决于查询算子和 Sink。Append 输出新增或已定稿的行。Update 输出变化的行,在无聚合等场景可与 Append 效果等价。Complete 输出整个结果表,通常用于可完整维护结果表的聚合。窗口聚合采用 Append 时,应检查水印与聚合时间列约束。
每批执行与外部可见性
| 写出方式 | 恢复边界 |
|---|---|
| 内置文件 Sink | 使用文件 Sink 元数据日志记录成功批次,通过支持该日志的读路径消费已提交文件 |
| Kafka Sink | Spark 3.5.7 文档给出的写入语义是至少一次 |
foreachBatch | 回调可以重试。利用同一查询检查点下稳定的 batchId,在目标端一次原子操作中写数据与提交标识 |
批次身份应同时包含稳定查询标识和批次编号。重建或更换检查点前,应明确是否沿用原目标写入身份,避免不同查询的批次号冲突。源还必须可按记录的范围重放,并能获得等价的数据与计算结果。
提交成功但进度确认丢失
设批次 42 已写入目标并独立可见,但引擎写入进度前崩溃。重启可再次执行批次 42,Sink 查询原子记录的批次标识,并返回已提交结果。如果独立执行“先删除旧批次,再插入新批次”,两句之间的崩溃会让读者看到空档。最终收敛与中间可见性应分别测试。稳定的行键适合可重复 upsert,但批次中若涉及删除、跨行不变量或多项副作用,仍需目标端的一致提交边界。
来源:Spark 3.5.7 Structured Streaming 、FileStreamSink.scala 。
批次提交与丢失确认
稳定批次标识和目标端原子提交一起使用。重启后重复调用回调是可以观察到的。
sequenceDiagram
participant E as MicroBatchExecution
participant P as 查询检查点
participant S as 外部 Sink
E->>P: 保存批次 42 的输入范围
E->>S: 提交查询身份、批次 42 与结果
S->>S: 原子发布结果与已提交标识
alt 引擎记录成功
S-->>E: 完成
E->>P: 写批次提交记录
else 发布后确认丢失
E->>P: 重启并恢复批次 42
E->>S: 再次尝试提交批次 42
S-->>E: 批次已存在,复用提交结果
E->>P: 写批次提交记录
end
三个常见误解
- “Append 等于没有重复”。输出模式描述哪些行交给 Sink。
- “检查点替业务系统去重”。目标仍需自己的提交或幂等约束。
- “重试整批并最终得到同样结果即可保护所有读者”。应同时验证中途状态和副作用。
一句话总结本节
查询输出模式决定传给 Sink 的行,源重放、批次恢复与外部提交协议共同决定读者观察到的结果。
本节 lab
下载 bd-spark-lab 源码 · 实验运行与版本说明
在 bd-spark-lab/ 中复现输出模式与精确一次的判据:
- 源码:
src/stream/MicroBatch.java(outputMode / exactlyOnce)与src/stream/StreamSuite.java。 - 运行:
javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。 - 断言:
StreamSuite用例 6-8 验证「无聚合 → append、有聚合且要全量 → complete、有聚合的增量 → update」;用例 9-10 验证「事务性 sink → 端到端精确一次,普通 sink → 仅 at-least-once」。 - 整卷 runner 的预期汇总为
TOTAL: 109 passed, 0 failed。
对应本节判断链:查询有无聚合 → 决定可选模式 → 窗口关闭才可 append → sink 语义决定端到端保证 → 业务决定语义强度——lab 的模式选择与 exactlyOnce 判定就是这条链的两个决策点。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。