8.2 谓词与列下推到外部数据源
谓词下推、投影下推和文件裁剪分别改变远端计算、返回列、物理 I/O。Connector 可能只接受部分约束。
对三个量分别建账
flowchart LR
Q["查询谓词与投影"] --> V{"Connector 能保持语义?"}
V -->|"能处理全部或部分"| P["提交接受的约束与列"]
V -->|"不能处理"| C["保留所需列与 residual"]
P --> S["源端读取:记录物理 IO"]
C --> S
S --> R["返回序列化结果:记录源端输出"]
R --> F["执行 residual 与投影"]
F --> E["按物理计划交换:记录跨机字节"]
以 100 GiB 输入、1% 行返回、投影列占同口径字节 3% 为例,理想远端输出模型是 30.72 MiB。条件要能完全下推,且列字节占比应以返回行的代表性宽度估算。扫描磁盘仍可能读取所有相关 Parquet 行组和过滤列,Exchange 还能因重新编码、重复广播发生变化。卷五的 Parquet 探针用同样结果行数对照不同候选行组。
检查 residual 与类型语义
下推方言必须在 NULL、时区、Decimal 精度、排序规则、表达式异常等方面保持相同语义。不能安全执行的部分留在引擎做 residual。Trino 的 EXPLAIN 可定位 ScanFilterProject、Connector 表句柄和独立聚合/过滤结点;检验实际远端查询与三个字节指标,再用同一快照比对结果。
实验与资料
下载卷六实验包
,参照包内 README。src/ 下的 Java 8 教学模型。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。