湖仓访问控制与权限治理
湖仓把数据放进对象存储后，权限不再由数据库统一把守，任何人都可能绕过引擎直读文件。本文拆解湖仓权限的三层模型（存储层、表层、行列表级）、Iceberg 与 Delta 的表级授权、统一 Catalog 与凭证下发机制、行过滤与列掩码、标签驱动的访问控制、跨引擎权限一致性、审计与合规落地，并给出最小权限的推进路径与踩坑清单。
category
data-engineering
共 45 篇文章。
非结构化文档 ETL 与多模态数据
企业 80% 的数据躺在 PDF、扫描件、Office 文档、邮件与音视频里，它们无法被 SQL 直接查询。本文讲清非结构化 ETL 的完整链路：文档解析工具选型与 PDF 三种形态的差异、OCR 与版面分析、表格抽取、分块策略与重叠控制、元数据与血缘注入、嵌入生成与向量入库、增量重处理与幂等设计，以及质量评估、成本控制与常见踩坑清单。
流式 SQL：Flink SQL 与 ksqlDB
流式 SQL 把无限流当作持续变化的表，用标准 SQL 描述持续计算，是降低实时开发门槛的关键。本文讲清动态表与 changelog 的三种模式、Flink SQL 的 DDL 与连接器定义、事件时间与水位线声明、窗口 TVF 与各类 Join 的语义差异、状态与性能代价，再对比 ksqlDB 的架构、语法与 pull/push 查询，给出选型对照与生产踩坑清单。
Flink 状态后端与 Checkpoint 调优
Flink 作业的稳定性最终落在状态与 Checkpoint 上：状态后端选错会导致 OOM，Checkpoint 参数配错会让作业反复重启。本文拆解 HashMapStateBackend 与 RocksDB 的取舍、Checkpoint 间隔/超时/并发/增量/非对齐的参数含义、State TTL 与状态规模治理、本地恢复把恢复时间从分钟压到秒，并给出监控指标、参数模板与踩坑清单。
Spark 性能调优：Shuffle、内存与数据倾斜
Spark 作业变慢的原因通常只有三个：Shuffle 太贵、内存不够用、数据分布不均。本文从执行计划与 Spark UI 定位瓶颈入手，拆解 Shuffle 的落盘与网络代价及减少手段、统一内存管理与 executor 内存分配公式、GC 与序列化选择、数据倾斜的识别与加盐/广播/AQE 三类解法、小文件与小分区治理，并给出可直接套用的参数基线与调优流程。
数据管道测试与 CI/CD：从单元测试到数据 diff 门禁
数据管道的测试无法照搬应用测试：SQL 转换、状态存储与外部依赖让单元测试、集成测试和生产验证各有分工。本文拆解管道测试金字塔的分层策略、dbt 与 pytest 的单元测试写法、容器化集成测试、数据 diff 与对账断言、契约与 Schema 兼容性校验、CI/CD 流水线设计（分支构建、制品晋级、幂等回滚），以及影子运行与灰度发布的生产验证方法与常见反模式。
数据归档与生命周期：冷热分层、保留策略与合规删除
数据只增不减是成本失控的根源。本文讲解冷热分层架构与存储分层（热/温/冷/归档）、保留策略的设计方法、归档与恢复流程、合规删除与数据主体请求的处理、自动化生命周期流水线，以及分区策略、成本核算与生产踩坑清单，帮你把数据生命周期当作一等公民来治理。
流处理精确一次与状态后端：Checkpoint、两阶段提交与恢复
精确一次不是引擎的单点特性，而是源、处理、汇三方协作的结果。本文深入 Flink 的 Checkpoint 与 Barrier 对齐、状态后端与增量快照、两阶段提交 Sink 的实现、故障恢复流程与状态一致性级别，并给出状态大小治理、Kafka 端到端精确一次实战与生产踩坑清单。
数据湖运维：小文件合并、压缩与元数据维护
数据湖的性能退化往往不是写入慢，而是维护缺失。本文系统讲解小文件问题的成因与代价、Compaction 的 binpack 与 sort 策略、快照过期与元数据清理、孤儿文件回收、Iceberg/Hudi/Delta 三种表格式的运维差异，以及自动化维护流水线、监控指标与生产踩坑清单。
Polars 与 DuckDB：单机现代数据处理栈
在单机上处理 GB 到 TB 级数据，Polars 与 DuckDB 正在取代 pandas 与传统数据库。本文剖析 Polars 的列式内存与惰性查询优化、DuckDB 的向量化执行与嵌入式部署，讲清两者的分工与互操作、向量化与并行原理、从 pandas 迁移的实战路径、典型场景与反模式，以及何时该从单机转向分布式。
现代数据集成平台：Airbyte、Fivetran 与 SeaTunnel 选型实战
数据集成平台决定数据进入仓库的可靠性与成本。本文对比 Airbyte、Fivetran 与 SeaTunnel 的架构、连接器生态与运维模式，深入同步模式（全量/增量/CDC）、schema 漂移处理、调度与监控、成本模型，并给出选型决策树与从自研脚本迁移到平台化集成的落地路径。
向量数据库与 RAG 数据管道：嵌入生成、索引与检索服务
从数据工程视角拆解 RAG 链路：分块策略与嵌入模型选型、HNSW 与 IVF 索引原理、量化压缩对召回率的影响、Milvus/Qdrant/pgvector 选型对比、增量写入与重建管道、混合检索与重排序、召回率与延迟的可观测指标，以及生产环境最常见的一致性、分块与过滤踩坑清单。
流批一体：从 Lambda/Kappa 架构到统一计算层
深入解析流批一体（Stream-Batch Unification）架构：流批分离的历史与痛点、Lambda 架构双链路的一致性问题、Kappa 架构的统一路径、流批同语义（Flink SQL/Table API）与窗口语义一致性、实时数仓与批处理对账方法、统一计算层选型（Flink/Spark/湖仓底座）、一张表的双模写入与增量回算、从流批分离到一体的分阶段演进路径与工程避坑清单。
数据平台成本与 FinOps：存储、计算、弹性与降本实践
深入解析数据平台的成本治理与 FinOps：存储与计算成本模型、按量与预留定价、Spot 实例与弹性计算、数据生命周期与分层存储、TTL 与归档策略、FinOps 三阶段（可见/优化/运营）、预算告警与成本分摊、ETL 与查询的降本实践、单位成本指标体系与组织保障机制。
数据网格 Data Mesh：领域数据产品、自助平台与联邦治理
深入解析数据网格（Data Mesh）架构：领域数据所有权、数据即产品、自助数据平台与联邦计算治理四大原则、领域数据产品的构成要素与产品化思维、自助平台的工程能力清单、集中式治理与联邦治理的边界、与集中式数仓/湖仓的架构对比、组织与平台双轮驱动的落地路径、常见陷阱，以及指标体系驱动的演进路线图。
列存与向量化查询引擎：Doris、ClickHouse、StarRocks 与 Trino 的性能本质
深入解析现代 OLAP 查询引擎的性能本质：行式与列式存储的取舍、列存压缩与编码、向量化执行引擎与火山模型的差异、Batch 处理与 SIMD 指令级并行、MPP 架构与 Shuffle、Doris/ClickHouse/StarRocks/Trino 四大引擎的架构对比、基于代价的查询优化器与基数估算、谓词下推与列剪枝、Join/聚合执行策略，以及场景化选型与调优实践。
数据合约与 Schema Registry：让数据接口可演进、可兼容、可测试
深入解析数据合约（Data Contract）与 Schema Registry 的治理体系：Schema 与数据合约的本质区别、Confluent Schema Registry 的架构与主题策略、Avro/Protobuf/JSON Schema 三种序列化语言对比、向后/向前/完全兼容级别的演进规则、消费者驱动的契约测试（Pact）、Schema 权限与审计、从 Kafka 到数仓的端到端落地，以及生产环境的最佳实践与避坑清单。
Apache Iceberg 深度剖析：元数据层、ACID 与表优化
深入剖析 Apache Iceberg 表格式的实现细节：Catalog → Metadata File → Manifest List → Manifest → Data File 五级元数据模型、快照隔离与乐观并发控制、时间旅行与快照回滚的内部机制、隐藏分区与分区演进、Schema 演化的兼容规则、小文件合并与表优化存储过程、Flink 两阶段提交写入与 Spark 生产调优，帮助你在湖仓选型之外真正理解 Iceberg 为什么可靠。
流处理进阶：窗口、水印与状态
深入解析流处理核心机制：事件时间 vs 处理时间、窗口类型（滚动/滑动/会话/计数）、水印（Watermark）与乱序数据处理、迟到事件的三种策略（丢弃/更新/旁路）、Exactly-Once 语义与状态管理、检查点与故障恢复、状态后端与增量计算、流表 Join 与维表关联、背压机制，以及流处理系统设计的工程实践。
数据安全与隐私合规：从加密到合规审计
深入解析数据安全与隐私合规：数据分级与敏感数据识别（PII 扫描）、传输与存储加密（TLS/字段级加密/密钥管理）、脱敏与掩码（静态/动态脱敏）、访问控制（角色/行级/列级权限）、数据外发与共享的安全、隐私合规（GDPR/PIPL/CCPA 的落地流程）、数据保留与删除（TTL/删除权）、以及数据安全审计与事件响应的工程实践。