《大规模分布式计算深入解析》5.1 拉取、长轮询与批处理

说明 Fetch 调度、poll 与业务执行的层次。

说明 Fetch 调度、poll 与业务执行的层次。

实现机制

拉取可等最小字节数或超时,客户端缓冲与 poll 返回批量分开限制。处理耗时须符合消费组协议中的活动规则。

Kafka 偏移量是每分区位置。暂停/恢复可限制处理压力,暂停也要按协议处理持续 poll 和心跳。

拉取、长轮询与批处理的执行路径

flowchart TD
    N0["Fetch 拉取分区"]
    N1["poll 返回记录"]
    N0 --> N1
    N2["业务处理及目标提交"]
    N1 --> N2
    N3["记录该分区下一 offset"]
    N2 --> N3
    N4["重启从已提交位置恢复"]
    N3 --> N4
    N2 -- "业务成功但位点未提交" --> F0["重放并按业务 ID 去重"]

验证

用一次 Fetch 到两个 poll 的样本,记录 fetch、poll 和处理批的记录数。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图