在同一命中集合中观察分片 IDF 对评分的影响。
实现机制
当 k1、b 和文档长度相同,词项在字段统计中的稀有程度会改变评分。词在某分片 5/5、另一分片 1/5 出现时,本地统计差异很大。
OpenSearch 2.19.7 实测局部评分分别约 0.0870 与 1.3863,DFS 都约 0.5261。DFS 需要额外统计阶段。
本章流程图见 8.1 从 TF-IDF 到 BM25 。
验证
运行 opensearch-semantics.py 对比两组分数和命中集合。
一手资料
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。