链上数据分析:Dune、Flipside 与数据仓库
系统讲解链上数据分析的完整链路:从原始区块、交易与日志的解析,到 ABI 解码与 trace 归集,再到 Dune 的 SQL 查询引擎、Flipside 的策展数据集与自建数据仓库的取舍,涵盖增量同步、数据建模、增量物化视图与查询成本优化等工程细节。
tag
系统讲解链上数据分析的完整链路:从原始区块、交易与日志的解析,到 ABI 解码与 trace 归集,再到 Dune 的 SQL 查询引擎、Flipside 的策展数据集与自建数据仓库的取舍,涵盖增量同步、数据建模、增量物化视图与查询成本优化等工程细节。
讲清 BI 前端与 OLAP 数仓的分工边界,涵盖语义层与指标口径统一、星型模型与宽表取舍、预聚合物化视图、聚合下推、时间维度处理、去重计数优化、缓存预热以及查询治理与成本控制。文章以 ClickHouse 与 Doris 为例给出可落地的建表与查询改写方案。
从 T+1 离线数仓到分钟级实时数仓,ClickHouse 是 OLAP 侧的核心引擎。本文系统讲解实时数仓的分层架构(ODS/DWD/DWS/ADS)、Kafka 到 ClickHouse 的实时管道、物化视图秒级预聚合、一致性/迟到数据/重放三大挑战、宽表窄表建模、Lambda 与 Kappa 架构选型,以及实时数仓的运维要点。
全面解析 Kimball 维度建模、Data Vault 2.0、Data Mesh、Anchor Modeling 与 OBT 五大建模方法论,涵盖星型/雪花模型、Hub-Link-Satellite、领域自治等核心概念与完整 SQL 实战