《大规模分布式计算深入解析》10.3 输出模式与端到端精确一次

区分输出模式、内置 Sink、foreachBatch 批次标识、可见性与失败恢复。

10.3 输出模式与端到端精确一次

以 Spark 3.5.7 为例,输出模式描述每个触发周期交给 Sink 的逻辑行。可用组合取决于查询算子和 Sink。Append 输出新增或已定稿的行。Update 输出变化的行,在无聚合等场景可与 Append 效果等价。Complete 输出整个结果表,通常用于可完整维护结果表的聚合。窗口聚合采用 Append 时,应检查水印与聚合时间列约束。

每批执行与外部可见性

写出方式恢复边界
内置文件 Sink使用文件 Sink 元数据日志记录成功批次,通过支持该日志的读路径消费已提交文件
Kafka SinkSpark 3.5.7 文档给出的写入语义是至少一次
foreachBatch回调可以重试。利用同一查询检查点下稳定的 batchId,在目标端一次原子操作中写数据与提交标识

批次身份应同时包含稳定查询标识和批次编号。重建或更换检查点前,应明确是否沿用原目标写入身份,避免不同查询的批次号冲突。源还必须可按记录的范围重放,并能获得等价的数据与计算结果。

提交成功但进度确认丢失

设批次 42 已写入目标并独立可见,但引擎写入进度前崩溃。重启可再次执行批次 42,Sink 查询原子记录的批次标识,并返回已提交结果。如果独立执行“先删除旧批次,再插入新批次”,两句之间的崩溃会让读者看到空档。最终收敛与中间可见性应分别测试。稳定的行键适合可重复 upsert,但批次中若涉及删除、跨行不变量或多项副作用,仍需目标端的一致提交边界。

来源:Spark 3.5.7 Structured Streaming 、FileStreamSink.scala 。

批次提交与丢失确认

稳定批次标识和目标端原子提交一起使用。重启后重复调用回调是可以观察到的。

sequenceDiagram
    participant E as MicroBatchExecution
    participant P as 查询检查点
    participant S as 外部 Sink
    E->>P: 保存批次 42 的输入范围
    E->>S: 提交查询身份、批次 42 与结果
    S->>S: 原子发布结果与已提交标识
    alt 引擎记录成功
        S-->>E: 完成
        E->>P: 写批次提交记录
    else 发布后确认丢失
        E->>P: 重启并恢复批次 42
        E->>S: 再次尝试提交批次 42
        S-->>E: 批次已存在,复用提交结果
        E->>P: 写批次提交记录
    end

三个常见误解

  • “Append 等于没有重复”。输出模式描述哪些行交给 Sink。
  • “检查点替业务系统去重”。目标仍需自己的提交或幂等约束。
  • “重试整批并最终得到同样结果即可保护所有读者”。应同时验证中途状态和副作用。

一句话总结本节

查询输出模式决定传给 Sink 的行,源重放、批次恢复与外部提交协议共同决定读者观察到的结果。

本节 lab

下载 bd-spark-lab 源码 · 实验运行与版本说明

在 bd-spark-lab/ 中复现输出模式与精确一次的判据:

  • 源码:src/stream/MicroBatch.java(outputMode / exactlyOnce)与 src/stream/StreamSuite.java。
  • 运行:javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:StreamSuite 用例 6-8 验证「无聚合 → append、有聚合且要全量 → complete、有聚合的增量 → update」;用例 9-10 验证「事务性 sink → 端到端精确一次,普通 sink → 仅 at-least-once」。
  • 整卷 runner 的预期汇总为 TOTAL: 109 passed, 0 failed。

对应本节判断链:查询有无聚合 → 决定可选模式 → 窗口关闭才可 append → sink 语义决定端到端保证 → 业务决定语义强度——lab 的模式选择与 exactlyOnce 判定就是这条链的两个决策点。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路