《大规模分布式计算深入解析》12.1 Streams 拓扑、任务与重分区

从逻辑 DAG 落到 Task 和内部主题。

从逻辑 DAG 落到 Task 和内部主题。

实现机制

拓扑由 source、processor 和 sink 组成,运行任务按分区分工。改键或 join 可能触发 repartition,影响计算域和负载。

消费位点、内部主题、状态恢复和任务线程需要分别配置。

Streams 拓扑、任务与重分区的执行路径

flowchart TD
    N0["Source topic"]
    N1["拓扑处理和可能的 repartition"]
    N0 --> N1
    N2["Task 更新状态与 changelog"]
    N1 --> N2
    N3["按处理保证提交"]
    N2 --> N3
    N4["产出 sink"]
    N3 --> N4
    N2 -- "Task 迁移或崩溃" --> F0["从 changelog 与提交水位恢复"]

验证

给一次 selectKey 后 groupBy 画出内部主题和 task 分配。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图