JSON 与灵活 Schema 建模实践
详解 MySQL JSON 与 PostgreSQL JSONB 的差异、半结构化数据建模原则、JSON 字段索引方案，以及从灵活 Schema 演进迁移到规范化表结构的完整路径。
category
database
共 166 篇文章。
联邦查询与外部数据源：MySQL、PostgreSQL 与 URL 表引擎
ClickHouse 不必把数据都搬进来——MySQL/PostgreSQL 表引擎实时读业务库、URL/File/S3 表引擎把接口与文件当表查、字典外部源做低延迟维表关联。本文系统讲解外部数据源访问方式、性能特征与注意事项，以及用物化视图+定期拉取做数据同步的替代方案。
查询缓存与结果缓存设计
梳理 MySQL 查询缓存的演进与消亡、应用层结果缓存的落地方式、缓存一致性的失效与双写方案，以及命中率分析与穿透击穿雪崩治理。
JOIN 高级技巧与优化：哈希连接、全局表与关联陷阱
JOIN 是分析查询最容易写错也最容易写慢的算子。本文深入 JOIN 的哈希连接内存模型、单机与分布式 JOIN 的差异、Global Join 广播机制、字典替代 JOIN 的低延迟方案、JOIN 键类型匹配与空值语义陷阱、子查询改写，以及跨场景的选择策略。
InnoDB 缓冲池与内存调优
深入 InnoDB Buffer Pool 内部结构：LRU 新旧子链表、Free/Flush 链表、内存占用盘点与核心参数调优，以及如何识别和善待热数据。
数据库死锁检测与处理实战
从死锁成因与四大必要条件出发，详解 InnoDB 死锁检测机制、锁等待监控、死锁日志分析方法，并给出解除与预防死锁的工程化清单。
写入链路与吞吐调优：从单条 INSERT 到批量装载
写入是分析库最容易踩坑的一环：单条 INSERT 为什么慢、批量 INSERT 与 async_insert 的正确姿势、parts 膨胀与分区过多的代价、ReplacingMergeTree 去重与幂等、Kafka 消费写入优化，以及一套可复现的吞吐测试方法论。
查询裁剪：主键索引、分区裁剪与数据跳过索引
查询为什么快？因为 ClickHouse 不必读所有数据。本文系统讲解查询裁剪三件套：稀疏主键索引如何跳过 granule、分区裁剪如何跳过整个目录、跳数索引（minmax/set/bloom_filter/ngrambf）如何二次过滤，以及用 EXPLAIN indexes 与 PIPELINE 观察裁剪效果、排查裁剪失效的完整方法论。
GraphQL 过滤、搜索与聚合：查询数据的工程化
GraphQL 过滤、搜索与聚合建模实战：过滤器参数化设计（FilterInput/等值/范围/成员）、排序与分页的工程约定、全文搜索的 GraphQL 建模（Elasticsearch/搜索聚合）、统计与聚合查询设计（Aggregation 类型/分组统计）、过滤与授权的组合（行级过滤不泄露）、多字段搜索与 faceted 搜索、性能（过滤下推/索引）以及常见过滤器设计反模式。
GraphQL 多态类型设计：Interface 与 Union 深度实践
GraphQL 多态类型设计实战：interface 与 union 的区别与选型、多态 schema 建模（共同字段抽象/鉴别字段）、inline fragment 与 __typename 的消费模式、多态查询的性能与 N+1、多态类型的 mutation 设计、接口演进与破坏性变更、union/interface 在真实业务（消息流/支付/内容类型）中的应用，以及多态与 Federation 的组合实践。
ClickHouse JSON 与半结构化数据处理：导入、提取、性能陷阱与建模
日志、事件、埋点数据天然是 JSON 半结构化——但 JSON 进列式存储有天然冲突：查询慢、裁剪失效。本文系统讲解 JSON 列类型（String/JSON/Object/Map）的取舍、数据导入解析、JSON 路径提取查询、性能陷阱，以及展平、物化列、混合建模等优化策略和日志场景实战。
ClickHouse Schema 建模最佳实践：主键、分区、压缩与宽窄表设计
ClickHouse 的 Schema 设计决定存储效率与查询性能的九成。本文系统讲解查询模式驱动的建模方法论：数据类型选择、主键（排序键）前缀匹配设计、分区粒度与裁剪平衡、列级压缩编码、表引擎匹配、宽表窄表权衡、嵌套结构建模，以及建模反模式与表演进。
ClickHouse 生产性能调优实战：写入、查询、内存与集群优化
生产环境的 ClickHouse 性能问题很少是单一原因。本文给出可执行的调优框架：先量化再定位，逐层优化写入（批量/并发/格式）、查询（索引/分区/裁剪）、内存与资源（配额/超时）、物化视图预聚合、表引擎压缩、集群分片副本，并用慢查询定位流程与监控闭环收尾。
ClickHouse 与对象存储 S3 集成：冷热分层、外部表与备份恢复
对象存储（S3 兼容）是 ClickHouse 的「第二存储层」：成本低、容量无限，适合冷数据与备份。本文系统讲解 S3 表引擎、外部数据查询、TTL 冷热分层迁移、S3 备份恢复、批量导入导出、性能与一致性权衡，以及 S3 + ClickHouse 的生产架构最佳实践。
ClickHouse 实时数仓架构实战：分层设计、实时管道与 Lambda/Kappa
从 T+1 离线数仓到分钟级实时数仓，ClickHouse 是 OLAP 侧的核心引擎。本文系统讲解实时数仓的分层架构（ODS/DWD/DWS/ADS）、Kafka 到 ClickHouse 的实时管道、物化视图秒级预聚合、一致性/迟到数据/重放三大挑战、宽表窄表建模、Lambda 与 Kappa 架构选型，以及实时数仓的运维要点。
查询缓存与预热：缓存策略、热点治理与查询加速
系统讲解 ClickHouse 查询缓存与预热实践：查询结果缓存（Query Cache）的配置与适用场景、profile events 分析查询成本、Prepared Statements、预聚合与物化视图作为「预热」手段、热点查询治理（重复查询去重）、缓存失效策略，以及缓存与实时性的权衡。
时序分析最佳实践：时间序列建模、降采样与异常检测 SQL
系统讲解 ClickHouse 处理时间序列数据的最佳实践：时序表设计（时间列/排序键/分区）、时间分组聚合（dateBin/toStartOfInterval）、降采样与稀疏化、滑动窗口与同比环比、常见时序指标（最大最小值/变异系数）、SQL 异常检测（Z-score/移动平均）、与 TSDB（InfluxDB/Prometheus）的对比，以及大规模时序写入与保留策略。
数据迁移实战：从 MySQL/MongoDB 迁到 PostgreSQL
把生产库迁到 PostgreSQL 是常见但高风险的工程。本文系统讲解迁移评估（兼容性差异矩阵）、迁移方案（逻辑导出导入/ETL 工具/双写 CDC）、MySQL 到 PG 的类型与语法差异、MongoDB 到 PG 的文档关系映射、零停机切换流程（双写/校验/回滚）、以及迁移后的验证与优化清单。
字典与维度表 JOIN：Dictionaries、dictGet 与星型模型优化
系统讲解 ClickHouse 维度查询优化：Dictionaries 字典（内置/外部/缓存）与 dictGet 高速取数、JOIN 引擎（Join/Full/PartialMerge）的原理与内存特性、星型模型中事实表 + 维度表的建模、字典更新策略（LIFETIME/复杂键）、宽表 vs 字典 vs JOIN 的取舍，以及多表 JOIN 的实践陷阱。
复制表与跨机房容灾：ReplicatedMergeTree、双活架构与脑裂防护
系统讲解 ClickHouse 复制与跨机房容灾：ReplicatedMergeTree 的复制原理（基于 ClickHouse Keeper/ZooKeeper 的日志复制）、多副本读写路径、副本间数据同步延迟、ClickHouse Keeper 与 ZooKeeper 对比、跨机房部署拓扑（同城双活/异地多活）、脑裂（Split Brain）成因与防护（Keeper 仲裁/quorum）、以及故障切换演练与数据一致性校验。