时序数据管道与存储选型
本文系统讲解物联网时序数据管道与存储选型,从设备到看板的全链路出发,覆盖 MQTT 与 Kafka Connect 采集、批量攒批与乱序迟到处理、watermark 与幂等去重、时序数据模型与标签基数控制、InfluxDB 与 TimescaleDB 与 ClickHouse 选型对比、Gorilla 与 ZSTD 压缩、连续聚合与分层保留、容量估算与告警可视化,并给出 SQL 示例与常见坑清单。
tag
本文系统讲解物联网时序数据管道与存储选型,从设备到看板的全链路出发,覆盖 MQTT 与 Kafka Connect 采集、批量攒批与乱序迟到处理、watermark 与幂等去重、时序数据模型与标签基数控制、InfluxDB 与 TimescaleDB 与 ClickHouse 选型对比、Gorilla 与 ZSTD 压缩、连续聚合与分层保留、容量估算与告警可视化,并给出 SQL 示例与常见坑清单。
讲解 Elasticsearch 时序数据处理:数据流与索引生命周期、TSDB 索引模式、采样与降维、date_histogram 时序聚合,以及预测与异常检测的落地。
单机 Prometheus 是监控世界的"步兵"——开箱即用、指标模型简洁、PromQL 强大。但它有三个天然短板:数据只能本地保留 15 天(本地磁盘有限)、单点无 HA(挂了监控就没了)、无法跨集群全局查询。当监控规模从几十台机器涨到几百个集群、几亿条序列时,就需要把 …
Loki 与 Elasticsearch 不同——它不索引日志全文,只索引标签(labels)和元数据,日志内容本身按压缩块存进对象存储。这套"标签索引 + 对象存储 + LogQL 流式查询"的设计带来极低的存储成本,但把调优的重心从"索引优化"转向了 …
系统性可观测性数据存储架构指南:时序数据库对比(Prometheus/Mimir/VictoriaMetrics/Thanos Cortex/InfluxDB/TimescaleDB)、列式存储(ClickHouse/Druid/Pinot)在可观测性中的应用、日志存储对比(Loki/ES/S3+Athena/ClickHouse)、对象存储成本模型与分层策略、数据保留策略(热/温/冷/冻结)、压缩算法与降采样(Downsampling)、OTel Collector 存储后端路由、多云存储成本对比、数据合规与主权。