Schema 迁移与数据演进：零停机地改变数据形态
深入解析数据库与数据管道中的 Schema 迁移与演进：迁移工具选型（Flyway/Liquibase/Prisma/dbt）、迁移版本管理与幂等、安全迁移模式（expand-contract/加列默认值/双写）、破坏性变更的规避、大表迁移的锁与性能、数据演进（增删列/改类型/合并表）的工程规范、以及流式数据（Kafka/数仓）中的 Schema 演进与兼容性策略。
category
data-engineering
共 45 篇文章。
SQL 查询优化：从执行计划到吞吐调优
深入解析 SQL 查询优化：读懂执行计划（EXPLAIN/EXPLAIN ANALYZE）与代价模型、索引设计（B+树/覆盖索引/联合索引）、分区裁剪与分桶优化、谓词下推与投影下推、Join 策略（Hash/Merge/Nested Loop）与数据倾斜、聚合与窗口函数优化、大表扫描与列存优化、慢查询定位方法，以及数仓 SQL 调优的工程实践。
指标层与语义层：让指标口径成为工程资产
深入解析指标层（Metrics Layer）与语义层（Semantic Layer）：指标口径不一致的根源、定义指标体系（原子指标/派生指标/复合指标）、语义层的设计原则（单一定义/多路复用/可度量）、dbt 语义层与 LookML/MetricFlow 的实现、指标的生命周期治理、自助分析平台如何消费指标、以及指标质量与口径变更的可观测性。
数据管道编排：Airflow、Dagster 与 Prefect 生产实践
深入解析数据管道编排（Pipeline Orchestration）：编排与调度的区别、Airflow/Dagster/Prefect 三大框架对比与选型、DAG 设计模式（依赖管理/幂等/重试/超时）、动态任务与数据感知调度、编排中的资源与并发控制、失败重试与告警、可观测性与可测试性，以及端到端数据编排平台的生产架构。
特征存储（Feature Store）架构：从一致性到在线检索的完整实践
深入解析特征存储（Feature Store）的架构与实践：特征平台核心概念、训练服务一致性（Training-Serving Skew）、特征注册与管理（FeatureView/版本）、在线离线存储（Redis/向量检索）、批流特征计算管道、Feast 与定制方案对比、特征血缘与监控，以及推荐系统端的完整实战案例。
反向 ETL 与数据激活：让数据仓库的价值回到业务系统
深入解析反向 ETL（Reverse ETL）与数据激活：核心概念与业务价值、RudderStack/Hightouch/Census 三大工具对比、CRM/SaaS/客服等同步目标、受众分段同步、Webhook 与 API 激活、与 CDP 的关系、实时与批量同步模式，以及端到端架构设计与生产落地案例。
数据可观测性：从管道监控到数据宕机的全方位保障
系统解析数据可观测性（Data Observability）的落地体系：管道 Job 状态/耗时/失败率监控、数据新鲜度与数据宕机概念、Volume/Quality/Schema 四类核心指标、Airflow/Dagster 工作流可观测性、日志与链路追踪、告警分级与 on-call 机制，以及与 dbt/ELT 管道的深度集成，附生产配置与案例。
湖仓一体架构：Iceberg、Delta Lake 与 Hudi 的统一数据底座
深入解析湖仓一体（Lakehouse）架构：数据湖与数仓的演进关系、Apache Iceberg 开放表格式（ACID/时间旅行/增量读取）、Delta Lake 与 Hudi 三方对比、Bronze/Silver/Gold 分层设计、统一存储与多引擎协作、文件布局优化与批流一体写入，附 Spark/Flink/Trino 生产配置与落地案例。
数据目录与血缘追踪：元数据驱动的数据资产管理
深入解析企业数据目录与血缘追踪的完整落地路径：技术/业务/操作元数据模型、OpenMetadata/DataHub/Amundsen 三大开源平台对比、数据资产扫描与分类、SQL 解析与 OpenLineage 血缘采集、搜索与发现、Owner 与分级治理，以及血缘驱动的变更影响分析，附真实配置与生产案例。
数据质量监控实战：从质量维度到 Great Expectations 与 Soda 落地
系统解析数据质量监控的完整落地路径：数据质量六大维度、Great Expectations 期望套件与 Checkpoint、Soda Core 与 SodaCL 规则编写、质量门禁嵌入 CI/CD、基数与均值漂移异常检测、质量报告与血缘联动，附真实生产配置与案例。
数据工程深度指南：Modern Data Stack 全栈实践
深入探索 Modern Data Stack 的每个组件：ELT/ETL 架构选型、dbt 数据转换、数据仓库/湖/湖仓一体、Airflow/Prefect/Dagster 编排、Great Expectations/Soda 数据质量、DataHub/Amundsen 数据目录与治理。附完整代码示例与对比表。
数据工程专题索引：从 ETL 到实时数仓的现代数据架构
数据工程是现代数据驱动组织的核心技术支柱，负责将原始数据转化为可信赖、可访问、可分析的数据资产。本专题系统覆盖数据采集与清洗、ETL/ELT 管道设计、批流一体架构（Spark/Flink）、实时数据仓库（ClickHouse/Doris）、数据质量监控与治理框架（Great Expectations/Soda Core）、数据目录与血缘追踪、Data Mesh 去中心化数据架构、数据平台工程（DBT/Dataform）以及云原生 FinOps 成本优化策略，并深入湖仓一体（Iceberg/Delta Lake/Hudi）、数据可观测性（Data Observability）、反向 ETL 数据激活与特征存储（Feast）、数据管道编排（Airflow/Dagster/Prefect）、指标层与语义层（MetricFlow）、SQL 查询优化（执行计划/分区裁剪）、Schema 迁移与数据演进（expand-contract/双写）、数据安全隐私合规（PII 识别/脱敏/GDPR）以及流处理窗口与水印进阶（事件时间/Exactly-Once）等深度专题，为数据工程师与平台架构师提供从概念到落地的完整知识体系。并补齐数据管道测试与 CI/CD（单元测试/数据 diff 门禁/制品晋级）、Spark 性能调优（Shuffle/内存/数据倾斜）、Flink 状态后端与 Checkpoint 调优、流式 SQL（Flink SQL/ksqlDB）、非结构化文档 ETL 与多模态数据、湖仓访问控制与权限治理（行过滤/列掩码/统一 Catalog）等进阶议题。
数据管道设计模式：ETL vs ELT、增量同步与流批一体
深入剖析数据工程中的核心管道设计模式，涵盖 ETL 与 ELT 架构选型、批量与增量同步策略、CDC 捕获、流批一体实现以及数据质量保障体系。
数据治理与质量管理：数据血缘、质量监控与合规设计
在现代数据驱动的组织中，数据资产呈指数级增长。从业务系统到实时流处理、从数据湖到数据仓库，企业面临的不仅是技术架构的复杂性，更是如何确保数据可信、可追溯且符合监管要求的治理挑战。本文将从数据治理框架出发，深入探讨数据血缘、质量监控、数据目录与合规设计的核心技术与实践方法。
数据平台工程：Data Mesh、FinOps 与 DataOps 生产实践
深入解析数据平台工程的核心范式，涵盖 Data Mesh 架构设计、DataOps CI/CD 实践、FinOps 成本优化与平台工程模式，附完整代码示例与生产落地经验。
实时数仓架构实战：Kafka + Flink + ClickHouse 流批一体
从零构建基于 Kafka + Flink + ClickHouse 的实时数仓，涵盖数据采集、流式计算、OLAP 存储与实时大盘的全链路实战。
Kafka Connect CDC 实战：Debezium 数据同步与变更捕获
深入解析 Kafka Connect 与 Debezium 的 CDC 数据捕获架构，涵盖 MySQL、PostgreSQL Source Connector 配置，Elasticsearch 与 S3 Sink Connector 实践，Schema Evolution 策略以及 SMT 单条消息转换。
BI 可视化工具深度对比：Tableau、Power BI、Superset 与 Metabase
通过六大章节深入对比 Tableau、Power BI、Apache Superset 与 Metabase 四款主流 BI 可视化工具，涵盖产品定位、数据源接入、建模方法、图表配置、嵌入集成与自定义扩展，并附完整代码示例与选型决策表。
数据仓库建模深度指南：从 Kimball 到 Data Mesh
全面解析 Kimball 维度建模、Data Vault 2.0、Data Mesh、Anchor Modeling 与 OBT 五大建模方法论，涵盖星型/雪花模型、Hub-Link-Satellite、领域自治等核心概念与完整 SQL 实战
09. dbt 数据转换与 DataOps
dbt (data build tool) 完整实践指南：models、tests、docs、macros 核心概念，Jinja 模板编程，CI/CD 集成以及 dbt Cloud 与 dbt Core 部署策略。