卷十共 45 节,沿「一份数据如何被高效地检索、打分与聚合」阅读。前九卷从计算切分、血缘重算、状态检查点、调度湖训练、单机字节、跨节点交换、副本一致、存储地基一路走到事件流平台;本卷补上数据被消费的另一条主干——检索:倒排索引与压缩、倒排构建与更新、Lucene 段与提交点、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与 primary-backup 复制、副本一致性、扩容再平衡、可观测运维与高级检索(向量 kNN、同义词建议、生态集成),最后收口于检索系统的设计空间与自研取舍。
系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核 · 卷九 分布式消息与事件流平台内核 · 卷十 分布式检索与搜索引擎内核 · 卷十一 图计算与图数据库内核 (后一卷)
全书概览
| 项目 | 内容 |
|---|---|
| 系列 | 《大规模分布式计算深入解析》卷十 |
| 主题 | 分布式检索与搜索引擎内核(ES/Lucene/OpenSearch 内核位) |
| 篇幅 | 15 章 × 3 节 = 45 篇(精炼图解版) |
| 实验包 | /downloads/bd-compute/bd-search-lab.zip (Java 8 账本 147 断言 + OpenSearch 2.19.7 探针) |
| 阅读基线 | 建议先读卷一/卷七/卷八,再读本卷;单卷独立阅读亦可 |
| 阅读路径 | 见 卷十目录与学习路径 |
第 1 章 检索问题域与倒排索引
| 节 | 文章 |
|---|---|
| 1.1 | 1.1 从全表扫描到倒排索引 |
| 1.2 | 1.2 词频、文档频率与删除 |
| 1.3 | 1.3 Posting 编码 |
第 2 章 倒排索引的构建与更新
| 节 | 文章 |
|---|---|
| 2.1 | 2.1 内存批量构建 |
| 2.2 | 2.2 更新、删除与新段 |
| 2.3 | 2.3 词典中的 FST |
第 3 章 Lucene 段与索引结构
| 节 | 文章 |
|---|---|
| 3.1 | 3.1 Segment 与 Commit 文件 |
| 3.2 | 3.2 段内的存储结构 |
| 3.3 | 3.3 NRT Refresh 与 Flush |
第 4 章 段合并
| 节 | 文章 |
|---|---|
| 4.1 | 4.1 TieredMergePolicy |
| 4.2 | 4.2 合并调度与 I/O |
| 4.3 | 4.3 删除和空间回收 |
第 5 章 分片与副本
| 节 | 文章 |
|---|---|
| 5.1 | 5.1 Shard 是一个 Lucene 索引 |
| 5.2 | 5.2 ID 和自定义路由 |
| 5.3 | 5.3 副本放置与故障域 |
第 6 章 集群与元数据
| 节 | 文章 |
|---|---|
| 6.1 | 6.1 节点角色与发现 |
| 6.2 | 6.2 集群状态和分配 |
| 6.3 | 6.3 协调节点与候选 |
第 7 章 查询执行
| 节 | 文章 |
|---|---|
| 7.1 | 7.1 Bool 查询与匹配门槛 |
| 7.2 | 7.2 Query Then Fetch |
| 7.3 | 7.3 深分页与 PIT |
第 8 章 相关性排序
| 节 | 文章 |
|---|---|
| 8.1 | 8.1 从 TF-IDF 到 BM25 |
| 8.2 | 8.2 长度归一化和跨片统计 |
| 8.3 | 8.3 多字段 Boost 与 Bool 打分 |
第 9 章 聚合
| 节 | 文章 |
|---|---|
| 9.1 | 9.1 桶聚合及误差 |
| 9.2 | 9.2 度量聚合与基数估计 |
| 9.3 | 9.3 聚合执行和 Pipeline |
第 10 章 写入路径与复制
| 节 | 文章 |
|---|---|
| 10.1 | 10.1 Translog 写入路径 |
| 10.2 | 10.2 Primary-Backup 复制 |
| 10.3 | 10.3 等待活跃分片 |
第 11 章 副本一致性
| 节 | 文章 |
|---|---|
| 11.1 | 11.1 Refresh 可见窗口 |
| 11.2 | 11.2 读拷贝选择和 Preference |
| 11.3 | 11.3 Primary 晋升与 Recovery |
第 12 章 扩容与再平衡
| 节 | 文章 |
|---|---|
| 12.1 | 12.1 分片数和容量 |
| 12.2 | 12.2 再平衡和迁移 |
| 12.3 | 12.3 滚动升级和兼容 |
第 13 章 可观测与运维
| 节 | 文章 |
|---|---|
| 13.1 | 13.1 慢查询与 Profile |
| 13.2 | 13.2 吞吐、等待和命中口径 |
| 13.3 | 13.3 集群健康与故障演练 |
第 14 章 高级检索特性
| 节 | 文章 |
|---|---|
| 14.1 | 14.1 向量 kNN 与 HNSW |
| 14.2 | 14.2 同义词、建议和体验 |
| 14.3 | 14.3 事件流到检索索引 |
第 15 章 卷十收口
| 节 | 文章 |
|---|---|
| 15.1 | 15.1 检索引擎设计空间 |
| 15.2 | 15.2 以一条文档串起十卷 |
| 15.3 | 15.3 从现有搜索系统到自研 |
相关阅读
- 书稿专题 :站内全部书稿的入口。
- 卷十一 图计算与图数据库内核 :图的免索引邻接与向量 kNN 是本卷倒排与 BM25 之后的关系侧与向量侧延伸。
- 卷十 目录与学习路径 :45 篇的三条阅读路线、十卷主线对照、十五章依赖关系与逐节索引。
- 卷九 分布式消息与事件流平台内核 :事件流平台是本卷写入路径与生态集成的上游。
- 卷八 分布式存储与 KV 引擎内核 :追加日志、页缓存、压缩与层间合并是本卷段与倒排的存储地基。
- 卷七 分布式一致性、复制与事务内核 :多数派、日志前缀与 fencing,是本卷分片副本与 recovery 的协议层。