数据工程专题索引:从 ETL 到实时数仓的现代数据架构
现代数据工程实践合集,涵盖 ETL 设计、批流一体、数据质量、Data Mesh、FinOps 与平台工程。
tag
现代数据工程实践合集,涵盖 ETL 设计、批流一体、数据质量、Data Mesh、FinOps 与平台工程。
深入剖析数据工程中的核心管道设计模式,涵盖 ETL 与 ELT 架构选型、批量与增量同步策略、CDC 捕获、流批一体实现以及数据质量保障体系。
Python 数据工程全景:ETL 核心模式、Pandas 高级数据转换、Polars 高性能引擎、Pandera 数据校验、Airflow 与 Dagster 管道编排、增量处理与 CDC、数据质量监控,以及从 API 到数据仓库的完整实战。
Kafka Connect Source/Sink Connector、Debezium CDC、数据管道构建与 Kafka Connect 生产实践。
深入讲解数据仓库、数据湖、湖仓一体架构的演进历程,涵盖维度建模、ETL流程、实时数仓、Iceberg/Hudi等核心技术,提供ClickHouse、Spark的实战案例。