倒排索引

倒排索引是文档检索系统中最常见的数据结构，被广泛的应用于搜索引擎。它是一种根据内容查找文档的方式。由于不是根据文档来找内容，而是根据进行了相反的操作，因此叫做倒排索引。

倒排索引的一个简单结构如下图所示：

 

单词文档列表

 

 

 

最常见的是使用词频作为权重，即单词在一个文档中出现的次数。如图所示，已知3个文档。

  

则他们的索引文件为

 

因此，当搜索条件为“MapReduce”“is”“simple”的时候，对应的集合为{(0.txt,1),(1.txt,1),(2.txt,2)}且{(0.txt,1),(1.txt,2)}且{(0.txt,1),(1.txt,1)}={0.txt,1.txt}

即关键字出现在0.txt和1.txt中。

以上只是词频作为权重，当然实际应用中权重可能很复杂，这里仅仅以词频为权重进行编码。

结合MapReduce框架的执行流程，倒排索引的处理步骤设计如下：

 

 

InputFormat处理后：

  

 

map()方法处理后：(之所以把文本位置放到K,为了方便Mapper处理)

 

 

Mapper框架进行处理：(之所以把文本位置放到K,为了方便此处处理)

  

 

Combiner进行处理：

 

 

 

为了方便Reducer框架进行处理，Combiner的输出需要改变一下：

  

 

Reducer框架进行处理：

 

 

Reduce()方法进行处理

 
 

以上过程转化为代码，仅仅需要重写map(),combine(),reduce()方法即可。

需要注意的是，对于输入输出的处理，上一环节的输入格式应该和上一环节的输出格式一样。

已有 0 人发表留言，猛击->> 这里<<-参与讨论


ITeye推荐

• —软件人才免语言低担保 赴美带薪读研！—