8.1 connector 抽象:split、分区与并行度
Connector 把公开的数据和能力映射成查询引擎可规划的句柄与读取工作单元。Split 是一份可调度的读取描述。
从元数据到 PageSource
引擎经 Connector 获取表/列句柄、约束和统计。规划器可能多次试探过滤、投影、聚合或连接下推。Split Manager 根据版本、约束、列和数据布局枚举范围,协调器把 Split 送给工作节点,读取接口返回页或记录。Split 可以是行组范围、多个小文件组合、Shard 范围或数据源特定句柄;Task 往往消费多个 Split。
切分和并发的不同上限
100 GiB 均匀划成 128 MiB 输入单位,模型约 800 个 Split,均摊到 16 节点约 50 个/节点。实际并发受线程、可切分格式、文件布局、源端连接数和内存影响。核对计划候选文件数、实际调度 Split、每秒读页和源端连接峰值。也要检查取消后读取是否停止。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图
。
Trino Connector 开发接口 · Trino Connector 下推
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。