15.1 流计算设计空间总结
设计流系统先固定业务结果,再选择时间和资源策略。不同访问模型、源可重读范围与外部sink合同,决定哪些机制有意义;没有一张“配置齐全就自动精确一次”的万能表。
四个决策面
| 决策面 | 关键问题 | 可复验输入 |
|---|---|---|
| 时间 | 事件时间、处理时间、结束与idle怎样区分 | 乱序、等边界、输入恢复 |
| 状态 | 按key还是operator归属,哪些历史可忘 | 热点、TTL刷新与恢复 |
| 恢复 | 已完成元数据、重启范围、源保留 | 失败前后位点/状态对账 |
| 外部效果 | append、upsert、事务、完整历史 | prepared/提交确认丢失 |
预算不等于测量
RocksDB native预算与JVM heap不同,默认managed模式按slot共享部分内存;192MB只能是指定两项预算的加法。状态规模、slot放置、ColumnFamily、compaction和文件元数据影响进程及磁盘,不能以一条水平线覆盖全部内存。
checkpoint本次上传、完整状态和恢复下载是不同量。新SST字节与变化键字节不同;共享文件按引用回收,不通过手工周期全量截断“日志链”。
语义从可观察结果定义
checkpoint支持内部一致恢复;源可重放和确定性计算、外部sink恢复合同也必须成立。没有checkpoint只能说明缺少这一恢复机制,不自动推导至多一次。幂等覆盖可能只保证最终状态,不保存每次中间更新;事务也要有读者隔离和可恢复句柄。
模式矩阵 、内存架构 、提交时序 是三个独立视角,不把一个局部成功外推为全系统能力。
实验与证据边界
本卷模型涵盖有限状态转换、算术及反例;原生本机探针覆盖键组、窗口、批重算、源/state checkpoint恢复和恢复映射拒绝。RocksDB性能、跨节点、SQL连接器与外部事务的未测范围在README中列明。
下载教学模型
· 原生探针
· 版本与运行说明
。Java 8 教学包在解包目录运行 javac -d out $(find src -name "*.java")、java -cp out lab.RunAll;它是有限模型,不是 Flink 实现的替代品。原生探针的具体断言、输出和未测范围以随包 README 为准。
一手实现对照
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。