CSV/TSV 解析陷阱
系统梳理 CSV/TSV 解析的坑：RFC 4180 的引号与转义规则、分隔符与方言（dialect）检测、BOM 与编码、多行字段与换行符、引号内的逗号与换行、类型推断陷阱（科学计数法/前导零/日期/空值与 NULL 的歧义）、TSV 的额外约束、流式解析与内存、Excel 与公式注入安全，以及按场景的解析器选型建议。
tag
数据工程
共 14 篇文章。
数据平台基础设施即代码
用 Terraform 管理数据平台：数据湖的存储分层与生命周期策略、ETL 作业与编排资源的声明、数据仓库与 Lake Formation 行列级细粒度权限、多环境隔离策略与最小权限模型，以及分区裁剪、标签分摊与扫描量驱动的成本治理与常见故障排错。
工作流成本优化
本文系统讲解工作流的成本优化，回答任务粒度多细才划算、缓存与增量计算能省多少、抢占式实例的重试成本如何核算、闲置资源怎么回收。覆盖成本构成与归因方法、调度开销量化、缓存命中与增量物化、计算下推、Spot 实例的收益与代价、重试成本核算、存储与历史清理、单位成本指标、预算控制与优化优先级排序，并给出可落地的度量方法与配置片段。
调度、回填与补数
本文系统讲解工作流的调度、回填与补数，回答 cron 与间隔调度该怎么选、上游未就绪如何等待、回填为什么容易重跑出错、时区与夏令时有哪些陷阱。覆盖数据区间语义、锚点对齐与调度漂移、依赖感知与条件门控、三种回填模式与并发控制、补数与对账、幂等前提、SLA 定义与告警、大规模调度的容量规划，并给出可落地的配置片段与排查方法。
工作流数据传递与 Schema
本文系统讲解工作流的任务间数据传递与 Schema 演进，回答大数据集该传值还是传引用、Schema 变更怎样不破坏运行中实例、敏感字段如何加密与脱敏。覆盖值传递与 Claim Check 模式、中间结果存储选型、Schema 注册中心与兼容规则、序列化格式的体积与性能对比、事件历史累积治理、字段分级与密钥管理、生命周期清理与契约测试，并给出可落地的代码与配置片段。
Dagster 与 Prefect 数据编排
本文对比 Dagster 与 Prefect 两代数据编排框架与 Airflow 的差异，回答资产为中心与任务为中心该怎么选、IO Manager 与资源如何组织、分区与回填怎么落地。覆盖软件定义资产、类型系统与数据契约、资源与 IO Manager、分区回填、Prefect 的 Flow 与 Deployment、Work Pool、重试缓存与抖动、动态工作流与异步，并给出从 Airflow 迁移的路径。
Airflow DAG 调度体系
本文系统讲解 Airflow 的调度体系与工程实践，回答 DAG 该怎么写、调度周期与数据区间如何对齐、回填为什么容易重跑出错、Executor 怎么选。覆盖 TaskFlow API、数据区间语义与 catchup、任务幂等设计、动态任务映射、传感器与 deferrable 模式、XCom 传递边界、池与并发控制、Asset 数据驱动调度、迁移管道编排与性能调优。
数据标注与数据集工程
本文系统讲解数据标注与数据集工程，回答 VOC、COCO、YOLO 三种标注格式怎么选、标注一致性如何度量、数据泄漏如何避免、半自动标注怎么落地等实战问题。覆盖主流数据集规模、标注工具、标注类型、一致性计算、数据划分与防泄漏、SAM 预标注与主动学习、合成数据与域差距，并给出 COCO 统计与 VOC 转 COCO 两段可运行代码，附格式对比表、权衡与常见坑。
列式数据格式：Parquet、ORC 与 Arrow 的原理与选型
系统讲解列式数据格式：行存与列存的访问模式差异、Parquet 的 row group/column chunk/page 三层结构、字典与 RLE 编码、按列压缩、谓词下推与统计信息、ORC 对比、Arrow 内存格式与零拷贝、小文件与分区问题，以及数据湖场景的选型决策。
数据分析与统计：埋点体系、事件模型与内容热度计算
全面讲解微型博客数据分析体系建设：埋点采集与事件模型设计、漏斗分析实战、内容热度计算算法，以及数据看板与指标治理的最佳实践。
数据工程深度指南：Modern Data Stack 全栈实践
深入探索 Modern Data Stack 的每个组件：ELT/ETL 架构选型、dbt 数据转换、数据仓库/湖/湖仓一体、Airflow/Prefect/Dagster 编排、Great Expectations/Soda 数据质量、DataHub/Amundsen 数据目录与治理。附完整代码示例与对比表。
数据工程专题索引：从 ETL 到实时数仓的现代数据架构
数据工程是现代数据驱动组织的核心技术支柱，负责将原始数据转化为可信赖、可访问、可分析的数据资产。本专题系统覆盖数据采集与清洗、ETL/ELT 管道设计、批流一体架构（Spark/Flink）、实时数据仓库（ClickHouse/Doris）、数据质量监控与治理框架（Great Expectations/Soda Core）、数据目录与血缘追踪、Data Mesh 去中心化数据架构、数据平台工程（DBT/Dataform）以及云原生 FinOps 成本优化策略，并深入湖仓一体（Iceberg/Delta Lake/Hudi）、数据可观测性（Data Observability）、反向 ETL 数据激活与特征存储（Feast）、数据管道编排（Airflow/Dagster/Prefect）、指标层与语义层（MetricFlow）、SQL 查询优化（执行计划/分区裁剪）、Schema 迁移与数据演进（expand-contract/双写）、数据安全隐私合规（PII 识别/脱敏/GDPR）以及流处理窗口与水印进阶（事件时间/Exactly-Once）等深度专题，为数据工程师与平台架构师提供从概念到落地的完整知识体系。并补齐数据管道测试与 CI/CD（单元测试/数据 diff 门禁/制品晋级）、Spark 性能调优（Shuffle/内存/数据倾斜）、Flink 状态后端与 Checkpoint 调优、流式 SQL（Flink SQL/ksqlDB）、非结构化文档 ETL 与多模态数据、湖仓访问控制与权限治理（行过滤/列掩码/统一 Catalog）等进阶议题。
Kafka Connect CDC 实战：Debezium 数据同步与变更捕获
深入解析 Kafka Connect 与 Debezium 的 CDC 数据捕获架构，涵盖 MySQL、PostgreSQL Source Connector 配置，Elasticsearch 与 S3 Sink Connector 实践，Schema Evolution 策略以及 SMT 单条消息转换。
Python 数据工程与 ETL 管道实战
Python 数据工程全景：ETL 核心模式、Pandas 高级数据转换、Polars 高性能引擎、Pandera 数据校验、Airflow 与 Dagster 管道编排、增量处理与 CDC、数据质量监控，以及从 API 到数据仓库的完整实战。