《大规模分布式计算深入解析》1.2 词频、文档频率与删除

按字段和统计范围解释 tf、df 与有效文档。

按字段和统计范围解释 tf、df 与有效文档。

实现机制

tf 是指定文档字段内词的频率,df 是当前统计作用域内含该词的文档计数。分片与 DFS 得到不同范围。

删除标志可使文档对查询不可见,其原 posting 与部分统计可能还要等待 merge。字符计数和分析后 token 数也要分开。

本章流程图见 1.1 从全表扫描到倒排索引 。

验证

用一篇含 apple 两次的文档和两个不同分片,计算局部 df 与全局 df。

下载实验包 · 本卷目录 · 系列导读

一手资料

继续阅读

探索更多技术文章

浏览归档,发现更多关于系统设计、工具链和工程实践的内容。

全部文章 返回首页

「books」更多文章

  1. 《大规模分布式计算深入解析》15.3 落地:从 Neo4j 到自研图引擎
  2. 《大规模分布式计算深入解析·图计算与图数据库内核》 · 目录与学习路径(45 篇)
  3. 《大规模分布式计算深入解析》15.2 十一卷主线:从切分到图