《大规模分布式计算深入解析》15.1 流计算设计空间总结

以时间、状态、恢复、外部提交四类合同收束流设计空间;避免通用常量与语义降档表。

15.1 流计算设计空间总结

设计流系统先固定业务结果,再选择时间和资源策略。不同访问模型、源可重读范围与外部sink合同,决定哪些机制有意义;没有一张“配置齐全就自动精确一次”的万能表。

四个决策面

决策面关键问题可复验输入
时间事件时间、处理时间、结束与idle怎样区分乱序、等边界、输入恢复
状态按key还是operator归属,哪些历史可忘热点、TTL刷新与恢复
恢复已完成元数据、重启范围、源保留失败前后位点/状态对账
外部效果append、upsert、事务、完整历史prepared/提交确认丢失

预算不等于测量

RocksDB native预算与JVM heap不同,默认managed模式按slot共享部分内存;192MB只能是指定两项预算的加法。状态规模、slot放置、ColumnFamily、compaction和文件元数据影响进程及磁盘,不能以一条水平线覆盖全部内存。

checkpoint本次上传、完整状态和恢复下载是不同量。新SST字节与变化键字节不同;共享文件按引用回收,不通过手工周期全量截断“日志链”。

语义从可观察结果定义

checkpoint支持内部一致恢复;源可重放和确定性计算、外部sink恢复合同也必须成立。没有checkpoint只能说明缺少这一恢复机制,不自动推导至多一次。幂等覆盖可能只保证最终状态,不保存每次中间更新;事务也要有读者隔离和可恢复句柄。

模式矩阵 、内存架构 、提交时序 是三个独立视角,不把一个局部成功外推为全系统能力。

实验与证据边界

本卷模型涵盖有限状态转换、算术及反例;原生本机探针覆盖键组、窗口、批重算、源/state checkpoint恢复和恢复映射拒绝。RocksDB性能、跨节点、SQL连接器与外部事务的未测范围在README中列明。

下载教学模型 · 原生探针 · 版本与运行说明 。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。

一手实现对照

modes · backends · commit

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析·向量数据库与 AI 检索内核》 · 目录与学习路径(45 篇)
  2. 《大规模分布式计算深入解析》15.3 自研向量引擎:可执行骨架与工程缺口
  3. 《大规模分布式计算深入解析》14.1 Milvus:组件架构、段管理与检索链路