从逻辑 DAG 落到 Task 和内部主题。
实现机制
拓扑由 source、processor 和 sink 组成,运行任务按分区分工。改键或 join 可能触发 repartition,影响计算域和负载。
消费位点、内部主题、状态恢复和任务线程需要分别配置。
Streams 拓扑、任务与重分区的执行路径
flowchart TD
N0["Source topic"]
N1["拓扑处理和可能的 repartition"]
N0 --> N1
N2["Task 更新状态与 changelog"]
N1 --> N2
N3["按处理保证提交"]
N2 --> N3
N4["产出 sink"]
N3 --> N4
N2 -- "Task 迁移或崩溃" --> F0["从 changelog 与提交水位恢复"]
验证
给一次 selectKey 后 groupBy 画出内部主题和 task 分配。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。