posts

《大规模分布式计算深入解析·分布式检索与搜索引擎内核》 · 全书目录与章节索引(45 篇)

卷十分布式检索与搜索引擎内核的 45 篇索引。含检索问题域与倒排索引、倒排构建与更新、Lucene 段与索引结构、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与复制、副本一致性、扩容与再平衡、可观测与运维、高级检索特性的机制图与 Java 8 账本加 OpenSearch 原生探针。

卷十共 45 节,沿「一份数据如何被高效地检索、打分与聚合」阅读。前九卷从计算切分、血缘重算、状态检查点、调度湖训练、单机字节、跨节点交换、副本一致、存储地基一路走到事件流平台;本卷补上数据被消费的另一条主干——检索:倒排索引与压缩、倒排构建与更新、Lucene 段与提交点、段合并、分片与副本、集群与元数据、查询执行、BM25 相关性排序、聚合、写入路径与 primary-backup 复制、副本一致性、扩容再平衡、可观测运维与高级检索(向量 kNN、同义词建议、生态集成),最后收口于检索系统的设计空间与自研取舍。

系列导读与实验 · 卷一 计算模型与分布式文件系统 · 卷二 批处理引擎:Spark 内核 · 卷三 流计算与状态引擎:Flink 内核 · 卷四 调度、数据湖与分布式训练 · 卷五 执行引擎与存储格式内核 · 卷六 分布式 SQL 执行与 MPP 内核 · 卷七 分布式一致性、复制与事务内核 · 卷八 分布式存储与 KV 引擎内核 · 卷九 分布式消息与事件流平台内核 · 卷十 分布式检索与搜索引擎内核 · 卷十一 图计算与图数据库内核 (后一卷)

全书概览

项目内容
系列《大规模分布式计算深入解析》卷十
主题分布式检索与搜索引擎内核(ES/Lucene/OpenSearch 内核位)
篇幅15 章 × 3 节 = 45 篇(精炼图解版)
实验包/downloads/bd-compute/bd-search-lab.zip (Java 8 账本 147 断言 + OpenSearch 2.19.7 探针)
阅读基线建议先读卷一/卷七/卷八,再读本卷;单卷独立阅读亦可
阅读路径见 卷十目录与学习路径

第 1 章 检索问题域与倒排索引

节文章
1.11.1 从全表扫描到倒排索引
1.21.2 词频、文档频率与删除
1.31.3 Posting 编码

第 2 章 倒排索引的构建与更新

节文章
2.12.1 内存批量构建
2.22.2 更新、删除与新段
2.32.3 词典中的 FST

第 3 章 Lucene 段与索引结构

节文章
3.13.1 Segment 与 Commit 文件
3.23.2 段内的存储结构
3.33.3 NRT Refresh 与 Flush

第 4 章 段合并

节文章
4.14.1 TieredMergePolicy
4.24.2 合并调度与 I/O
4.34.3 删除和空间回收

第 5 章 分片与副本

节文章
5.15.1 Shard 是一个 Lucene 索引
5.25.2 ID 和自定义路由
5.35.3 副本放置与故障域

第 6 章 集群与元数据

节文章
6.16.1 节点角色与发现
6.26.2 集群状态和分配
6.36.3 协调节点与候选

第 7 章 查询执行

节文章
7.17.1 Bool 查询与匹配门槛
7.27.2 Query Then Fetch
7.37.3 深分页与 PIT

第 8 章 相关性排序

节文章
8.18.1 从 TF-IDF 到 BM25
8.28.2 长度归一化和跨片统计
8.38.3 多字段 Boost 与 Bool 打分

第 9 章 聚合

节文章
9.19.1 桶聚合及误差
9.29.2 度量聚合与基数估计
9.39.3 聚合执行和 Pipeline

第 10 章 写入路径与复制

节文章
10.110.1 Translog 写入路径
10.210.2 Primary-Backup 复制
10.310.3 等待活跃分片

第 11 章 副本一致性

节文章
11.111.1 Refresh 可见窗口
11.211.2 读拷贝选择和 Preference
11.311.3 Primary 晋升与 Recovery

第 12 章 扩容与再平衡

节文章
12.112.1 分片数和容量
12.212.2 再平衡和迁移
12.312.3 滚动升级和兼容

第 13 章 可观测与运维

节文章
13.113.1 慢查询与 Profile
13.213.2 吞吐、等待和命中口径
13.313.3 集群健康与故障演练

第 14 章 高级检索特性

节文章
14.114.1 向量 kNN 与 HNSW
14.214.2 同义词、建议和体验
14.314.3 事件流到检索索引

第 15 章 卷十收口

节文章
15.115.1 检索引擎设计空间
15.215.2 以一条文档串起十卷
15.315.3 从现有搜索系统到自研

相关阅读

全部文章 Books game Java Indie golang 客户端开发 Minigame Saas rust Python