时序数据管道与存储选型
本文系统讲解物联网时序数据管道与存储选型，从设备到看板的全链路出发，覆盖 MQTT 与 Kafka Connect 采集、批量攒批与乱序迟到处理、watermark 与幂等去重、时序数据模型与标签基数控制、InfluxDB 与 TimescaleDB 与 ClickHouse 选型对比、Gorilla 与 ZSTD 压缩、连续聚合与分层保留、容量估算与告警可视化，并给出 SQL 示例与常见坑清单。
tag
数据管道
共 6 篇文章。
《Python编程实战》11.3 数据管道与 ETL 编排
把抽取-转换-加载拼成一条可重跑、有依赖的数据管道：讲透幂等的三种落地手段，用标准库手写一个带拓扑排序与幂等状态的 DAG 调度器并真跑，再用 Polars 原生 Parquet 做分区落盘，最后收束成一份数据质量校验、水位线监控与可观测清单。
Serverless 定时任务实战：Vercel Cron、Cloudflare Cron Triggers 与调度编排
系统拆解 Serverless 平台的定时任务：Vercel Cron 与 Cloudflare Cron Triggers 的配置、调度窗口与精度、幂等与防重入、定时任务触发的数据管道、与 GitHub Actions / 传统 cron 的对比，给出「定时任务 + 事件驱动」的可靠调度模式。
ClickHouse 实时数仓架构实战：分层设计、实时管道与 Lambda/Kappa
从 T+1 离线数仓到分钟级实时数仓，ClickHouse 是 OLAP 侧的核心引擎。本文系统讲解实时数仓的分层架构（ODS/DWD/DWS/ADS）、Kafka 到 ClickHouse 的实时管道、物化视图秒级预聚合、一致性/迟到数据/重放三大挑战、宽表窄表建模、Lambda 与 Kappa 架构选型，以及实时数仓的运维要点。
数据库测试与 Schema 变更安全网：迁移、数据层与数据管道的验证实践
深入讲解数据库测试与 Schema 变更的验证体系：真实数据库测试（Testcontainers）与模拟的权衡、Flyway/Liquibase 迁移测试（空库/升级库/回滚验证）、数据层集成测试（事务/索引/隔离级别）、数据管道测试（dbt test/Great Expectations/ETL 幂等）、数据一致性验证，以及 CI 中数据库测试与生产变更的安全网实践。
Python 数据工程与 ETL 管道实战
Python 数据工程全景：ETL 核心模式、Pandas 高级数据转换、Polars 高性能引擎、Pandera 数据校验、Airflow 与 Dagster 管道编排、增量处理与 CDC、数据质量监控，以及从 API 到数据仓库的完整实战。