《大规模分布式计算深入解析》5.3 并行扫描与 IO 调度

单流扫描跑不满带宽,并行扫描靠多流叠加,但受带宽封顶:4 流 × 500MB/s 在 1.6GB/s 上限下加速 3.2 倍;10GB 对象存储、16 并发、单流 100MB/s 时,理论 16 倍也被压到 6.25 秒;队列深度 16、延迟 50ms 对应 320 req/s。

5.3 并行扫描与 IO 调度

5.1 和 5.2 讨论的是「少读」:少读行、少读列。这一节讨论另一条路:在必须读的数据量不变时,用并发把读取时间压下来。单流扫描往往只用到存储带宽的一小部分,并行扫描把数据切成多片同时读,理论上能线性加速,但一路上有三个天花板:分片能力、聚合带宽与请求延迟。

把这三个天花板算清楚,才能判断一条扫描查询该加并发、加带宽,还是该换分片方式。

并行扫描先要能分片

并行扫描的第一步不是开线程,而是把数据切成互不重叠、可独立读取的分片:

分片方式切分依据优点限制
文件级每个文件一片实现简单,元数据清晰文件大小不均会倾斜
Row group 级每个 row group 一片粒度适中,利于调度受 row group 大小约束
字节区间按 offset 范围切粒度最细,负载均衡好需要格式支持随机定位
分区级按分区目录切天然并行,可配合裁剪分区数不足时并发上不去

分片数决定并发的上限。文件数或 row group 数少于目标并发数时,多出来的线程无事可做;分片大小不均时,最慢的那片决定整体完成时间。分片是并行扫描的前置条件,不是开完线程再补的细节。

单流为什么跑不满

单流读取受限于单个连接的吞吐:一次只有一个请求在途,存储端的响应延迟无法被掩盖。lab 的用例 41 给了一个具体口径:单流 500MB/s,4 条流并行。

如果聚合带宽无限,4 条流应当叠加到 2GB/s,也就是 4 倍加速。但真实存储有一个总带宽上限,本例是 1.6GB/s:

理论上限 = 4 流 × 500MB/s = 2GB/s
聚合带宽上限 = 1.6GB/s
实际可用 = min(2GB/s, 1.6GB/s) = 1.6GB/s
加速比 = 1.6GB/s ÷ 500MB/s = 3.2 倍
若聚合带宽无限 = 4 倍
流数理论带宽受 1.6GB/s 封顶后加速比
1500MB/s500MB/s1 倍
21GB/s1GB/s2 倍
42GB/s1.6GB/s3.2 倍

加速比在 4 流时没有到 4 倍,差的那 0.8 倍就是聚合带宽的封顶。这个上限先于流数到顶,说明继续加流不会继续加速;此时该做的是提高聚合带宽或减少要读的数据量,而不是继续堆并发。

10GB 对象存储:16 并发也要 6.25 秒

用例 42 把同样的逻辑放到对象存储上:10GB 数据、单流 100MB/s、16 并发,聚合带宽仍是 1.6GB/s。

数据量 = 10GB = 10 × 1000MB = 10,000MB
单流带宽 = 100MB/s
16 并发的理论上限 = 16 × 100MB/s = 1,600MB/s = 1.6GB/s
聚合带宽上限 = 1.6GB/s
实际带宽 = min(1.6GB/s, 1.6GB/s) = 1.6GB/s
扫描耗时 = 10,000MB ÷ 1,600MB/s = 6.25 秒
口径并发数带宽10GB 耗时
单流1100MB/s10,000MB ÷ 100MB/s
16 并发、无上限161.6GB/s6.25 秒
16 并发、封顶 1.6GB/s161.6GB/s6.25 秒

这里 16 并发恰好把带宽顶到上限,所以理论 16 倍与封顶后的结果重合。如果并发继续加到 32,带宽仍是 1.6GB/s,耗时不会低于 6.25 秒。6.25 秒是这道题的带宽下限,不是一个可以通过调并发继续压缩的数字。

List 与请求延迟

对象存储与本地盘的一个重要差别是元数据操作也要走网络。列出前缀下的对象(List)是分页的,每页一次请求;如果每次查询都重新 List 整个前缀,元数据请求会先于数据读取成为瓶颈。

操作是否走网络常见代价优化方向
List 前缀是分页请求,次数随对象数增长缓存清单、按分区缩小前缀
HEAD 对象是一次往返延迟批量探测、复用元数据
GET 数据是受单流带宽与延迟约束并发、区间读、缓存

List 的代价不在字节,而在请求次数与往返延迟。把清单缓存下来、按分区裁剪前缀,往往比提高并发更能缩短扫描的启动时间。数据读取阶段的并发再高,也补不回元数据阶段串行等待的时间。

队列深度决定吞吐

数据读取阶段,吞吐不只取决于带宽,还取决于有多少请求同时在途。lab 的用例 43 给出队列深度的换算:单请求延迟 50ms,队列深度 16。

吞吐 = 队列深度 ÷ 单请求延迟
深度 16 = 16 ÷ 0.05 秒 = 320 req/s
深度 32 = 32 ÷ 0.05 秒 = 640 req/s
队列深度单请求延迟吞吐
1650ms320 req/s
3250ms640 req/s

队列深度翻倍,吞吐翻倍;延迟降低一半,吞吐也翻倍。这个公式说明:当单请求延迟很高时,加并发(加深队列)是提高吞吐的直接手段;当队列已经很深、带宽已经打满时,再加深只会增加排队时间,不会增加吞吐。

队列深度不是越大越好:它解决的是「请求没发出去」的问题,而不是「带宽不够」的问题。带宽打满后继续加深队列,只会把等待从存储端搬到客户端队列里。

三个数字串成一条判断链

本节三个用例其实是一条链上的三个环节:

环节数字说明什么
并行加速4 流 × 500MB/s,封顶 1.6GB/s,加速 3.2 倍并发受聚合带宽约束
实际耗时10GB、16 并发、1.6GB/s,耗时 6.25 秒带宽上限直接决定下限
请求吞吐深度 16、延迟 50ms,320 req/s延迟高时用队列深度补吞吐

判断顺序是:先看分片够不够,再看聚合带宽是否封顶,最后看队列深度是否匹配延迟。分片不足时加并发无效;带宽封顶时加流无效;延迟主导时加深队列才有效。三者顺序错了,调优就会在错误的方向上堆资源。

分片倾斜与长尾

分片数量够了,还要看每片大小是否均匀:

倾斜类型表现后果缓解
文件大小不均个别文件远大于其他长尾决定完成时间拆分大文件、按字节区间切
分区热点某些分区数据集中部分任务过载二级分片、动态负载均衡
元数据不均某些前缀对象过多List 变慢打散前缀、缓存清单

并行扫描的完成时间由最慢的分片决定,不由平均分片决定。多开线程只能让快的分片更早结束,无法缩短最慢分片的读取时间;分片均衡往往比增加并发更有效。

带宽、并发、延迟三者的关系

把本节三个量放在一起,扫描时间可以写成:

单请求吞吐 = 队列深度 ÷ 单请求延迟
聚合吞吐 = min(并发数 × 单流带宽, 聚合带宽上限)
扫描时间 = 数据量 ÷ 聚合吞吐
瓶颈特征优先手段
分片不足并发上不去、部分线程空闲增加分片、拆分大文件
聚合带宽封顶加流后吞吐不变提高带宽、减少数据量
请求延迟主导队列浅、单请求慢加深队列、批量请求

三条公式对应三种瓶颈:分片不足时,并发数上不去;聚合带宽封顶时,并发数再多也换不来吞吐;延迟主导时,吞吐与队列深度成正比。判断瓶颈属于哪一类,比盲目加资源更重要。

一条扫描查询的调度流程

把前面的判断串起来,一条扫描查询的调度大致经过四步:

步骤动作失败时的表现
1. 分片按文件、row group 或字节区间切分分片少于并发,线程空闲
2. 建队按并发数与延迟设置队列深度队列过浅,带宽用不满
3. 读取多流并发读取,受聚合带宽约束封顶后加流无效
4. 收尾等待最慢分片完成长尾拉长总时间

四步里任何一步成为瓶颈,后面的优化都会被掩盖。分片不足时调队列深度、带宽封顶时调分片,都是把力气花在非瓶颈环节;先用监控确认瓶颈位置,再决定加并发、加带宽还是改分片。线程空闲率、聚合带宽利用率与请求延迟分布,分别对应这三类瓶颈。

对象存储的区间读与合并

对象存储通常支持按字节区间读取(Range GET),这给细粒度分片提供了基础,但也带来新的取舍:

读法请求数单请求大小适用
整对象读少大顺序全扫
区间读多小只读部分列或行组
合并区间中中相邻小范围读取

区间越小,请求数越多,延迟占比越高。把相邻的小区间合并成较大的请求,可以在不牺牲裁剪精度的前提下减少往返次数;这与队列深度的关系是互补的:合并请求降低延迟敏感度,加深队列提高并发吞吐。

Range GET 的粒度要与分片方式对齐:按 row group 分片时,区间边界落在 row group 边界上,才能避免读到半个块再丢弃;按字节区间切分时,则要让每个区间足够大,摊销请求延迟。区间大小没有统一最优值,它取决于单请求延迟与带宽的比值。

三个常见误解

误解一:并发数翻倍,扫描时间就减半。 真相:并发只在聚合带宽未封顶时有效,用例 41 里 4 流只到 3.2 倍而非 4 倍,封顶后继续加流没有收益。

误解二:对象存储的瓶颈总是数据读取带宽。 真相:List 与 HEAD 也走网络,元数据请求次数多时,启动阶段的串行延迟可能比数据读取更显眼。

误解三:队列越深吞吐越高。 真相:队列深度只在延迟主导时提升吞吐,带宽打满后加深队列只会增加排队时间。

一句话总结本节

并行扫描先把数据切成可独立读取的分片,再用多流叠加吞吐:4 流 × 500MB/s 在 1.6GB/s 聚合带宽下只加速 3.2 倍而非 4 倍;10GB 对象存储、16 并发、单流 100MB/s 时,耗时被 1.6GB/s 压在 6.25 秒。队列深度 16、延迟 50ms 对应 320 req/s,深度 32 对应 640 req/s;分片、带宽、延迟三者按顺序判断,才能找到真正的瓶颈。

本节 lab

下载卷五 Java 8 实验 · 实验运行与版本说明

在 bd-engine-lab/ 中验证并行扫描、对象存储耗时与队列吞吐的口径:

  • 源码:src/format/Format.java 与 src/format/FormatSuite.java。
  • 运行:cd bd-engine-lab && mkdir -p out && javac -d out $(find src -name '*.java') && java -cp out lab.RunAll。
  • 断言:用例 41 验证「4 流 × 500MB/s,聚合带宽上限 1.6GB/s,加速 3.2 倍」;用例 42 验证「10GB 对象存储、单流 100MB/s、16 并发,受 1.6GB/s 封顶,耗时 6.25 秒」;用例 43 验证「队列深度 16、单请求延迟 50ms,吞吐 16/0.05=320 req/s」,深度 32 对应的 640 req/s 是同一公式的推导,不作断言。
  • 预期汇总输出:TOTAL: 116 passed, 0 failed。

对应本节判断链:先确认数据能否切成分片 → 4 流叠加到 2GB/s 但被 1.6GB/s 封顶,加速 3.2 倍 → 10GB 数据在 1.6GB/s 下至少 6.25 秒 → 对象存储还要算 List 与请求延迟 → 延迟主导时用队列深度换吞吐,16 深度对应 320 req/s → 按分片、带宽、延迟的顺序定位瓶颈。

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图