【架构师面试-搜索-1】-全文检索和倒排索引

什么是全文检索

全文检索是利用倒排索引技术对需要搜索的数据进行处理，然后提供快速匹配的技术。其实全文检索还有另外一种专业定义，先创建索引然后对索引进行搜索的过程，就是全文检索。

1：倒排索引

倒排索引是一种存储数据的方式，与传统查找有很大区别：

传统查找：采用数据按行存储，查找时逐行扫描，或者根据索引查找，然后匹配搜索条件，效率较差。概括来讲是先找到文档，然后看是否匹配。查找一个10MB的word文档，大概需要3秒

倒排索引：首先对数据按列拆分存储，然后对文档中的数据分词，对词条进行索引，并记录词条在文档中出现的位置。这样查找时只要找到了词条，就找到了对应的文档。概括来讲是先找到词条，然后看看哪些文档包含这些词条。

2：创建倒排索引流程

当我们需要把这些数据创建倒排索引时，会分为两步：

1：创建文档列表

首先将数据按列进行拆分存储，类型于mysql的表存储，每一条数据，就是一个文档，形成文档列表：

2：创建倒排索引列表

然后对文档中的数据进行分词，得到词条。对词条进行编号，并以词条创建索引。然后记录下包含该词条的所有文档编号（及其它信息）。

 

流程如下：

 

3：搜索流程

搜索的基本流程：

当用户输入任意的搜索关键词时，首先对用户输入的内容进行词拆分，得到要搜索的所有词条，如用户搜索“java培训”，拆分后就是“java 、培训”,

然后拿着这些拆分后的词去倒排索引列表中进行匹配。找到这些词对应的所有文档编号

然后根据这些编号去文档列表中找到文档。

 

4：什么是ElasticSearch

开源的高扩展的分布式全文检索引擎

近乎实时的检索数据；

本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

ES使用Java开发【早期是用Maven构建，后期Gradle】

核心是Lucene

如果您觉得文章好看，欢迎点赞收藏加关注，一连三击呀，感谢！！☺☻