《大规模分布式计算深入解析》11.3 湖上 MPP 与专用数仓的取舍

湖上 MPP 与仓内本地存储的对比,应固定表版本和查询语义,并测冷读、热读和不同并发。两者都可能使用远端存储或本地缓存。

11.3 湖上 MPP 与专用数仓的取舍

湖上 MPP 与仓内本地存储的对比,应固定表版本和查询语义,并测冷读、热读和不同并发。两者都可能使用远端存储或本地缓存。

可计算的下界与观测指标

若物理需读 100 GiB、有效聚合带宽为 200 MiB/s,单算连续读数据需要 512 秒。它是给定带宽的模型,连接器并发、对象请求、Footer、序列化和压缩都会改变实际结论。第 8.2 节 的 30.72 MiB 是远端输出模型,只有布局与物理跳过也按同样比例生效时才可代入扫描带宽。

对照固定的条件记录
冷缓存同快照、格式、投影、谓词请求数、物理读量和首行/尾行
热缓存同工作集、容量和预热顺序本地命中、回源和 P95
多租户相同并发和 SLO源端限额、排队、成本
带删除同行级快照语义删除文件或日志费用及结果

实验与资料

下载卷六实验包 ,参照包内 README。src/ 下的 Java 8 教学模型。本章架构或流程见本章机制图 。

Apache Iceberg 规范 · Trino EXPLAIN ANALYZE

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图