13.3 ClickHouse 的分布式表与两阶段聚合
ClickHouse Distributed 表把请求路由到远端表,分片做局部计算,发起节点按查询语义归并结果。
读路径与聚合分工
sequenceDiagram
participant C as 客户端
participant I as 发起节点
participant A as 分片 A 的副本
participant B as 分片 B 的副本
C->>I: 提交对 Distributed 表的聚合
par 读取 A
I->>A: 下发可执行的扫描、过滤与 Partial
A-->>I: 返回分组聚合状态
and 读取 B
I->>B: 未能剪除 B 时下发
B-->>I: 返回分组聚合状态
end
I->>I: 按 group key 合并并 finalize
I-->>C: 返回结果
Distributed 表可以根据配置扇出,同时选择可用副本。分片剪枝需启用相应设置且优化器可从谓词推导分片键。MergeTree 的稀疏主索引按 Granule 跳过读取,不能据此把整条 Distributed SQL 当成单键 KV 查询。普通可合并聚合在分片生成状态,发起节点收到后 final merge;部分配置和可证明的键分布可省掉归并。分片到发起节点的这种聚集与两侧哈希重分布应在网络账中分开。
对比本地和全局 IN
常规分布式 IN 的子查询可在各分片按本地数据执行,依赖布局前提;GLOBAL IN 先在发起端形成临时集合,再发送到远端。检查集合大小、重复数据、权限与配置限制。用 Distributed 表的 EXPLAIN 看远端读取和聚合,结合 query log、ProfileEvents 追踪。不同版本计划节点名可能有差别。
实验与资料
下载卷六实验包
,参照包内 README。测试数据、DDL 和计划对照命令见 engine-plans.md。src/ 下的 Java 8 教学模型。
ClickHouse Distributed 表 · ClickHouse 分布式 IN · ClickHouse 稀疏主索引
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。