搜索引擎基础---分词和倒排索引简述

搜索引擎是什么?

所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等,同时可添加其他一系列辅助模块,以为用户创造更好的网络使用环境--百度百科。

 

分词和倒排索引

分词可以说是搜索引起的基石,如果一个搜索引擎没有好的分词器那么这个搜索引擎必然是失败的。

搜索是以词作为最小单元,依靠分词器进行构建,最后会生成一个倒排索引。

分词器就负责拆分我们的语句。比如“my name is nijunyang”。分词的时候会处理掉一些区分度不高的词,英文中“is,are”,中文“的,是”这些之类。

搜索引擎基础---分词和倒排索引简述_第1张图片

 

通过分词之后结果再次指向原来的文档,通过value反向生成key(多个),这就是倒排索引。而我们以前的那些正向索引是先key-value,一般来说是一一对应,而且key也不是通过value去生成。

为什么百度搜索很多时候搜出来的东西不如意,这应该就和分词器有关系,因为中文分词和英文分词是有很大区别的,中文断句不同,分出来的key就不一样。

而且很多语句断句不同是有歧义的,比如“武汉市长江大桥”——>“武汉市/长江大桥”,“武汉/市长/江大桥”,如果本意是第二种,但是分词按照第一种,那么搜索“江大桥”,就搜不到这一条数据。

 

TF-IDF(term frequency–inverse document frequency): 决定搜索结果的匹配度,当前也可以花钱--比如“莆田系”医院。

TF: 词频,一篇文档中出现了多少次,这个词,出现越多说明关联度越高。

DF:文档频率,包含这个词的文档总数。如果大家都有这个词,说明这个词的区分度并不高,比如:是,的

IDF:逆文档。1/DF,包含该词的文档越少,也就是DF越小,IDF越大,则说明该词对这篇文档重要性就越大。

TFIDF: TF*IDF,如果某个词在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为该词具有很好的类别区分能力

 

你可能感兴趣的:(搜索引擎基础---分词和倒排索引简述)