分布式搜索引擎elasticsearch

目录

  • 一、了解es
    • 1.1、elasticsearch作用
    • 1.2 ELK技术栈
  • 二、倒排索引
    • 2.1 正向索引
    • 2.2倒排索引
  • 三、es的概念
    • 3.1 文档和字段
    • 3.2 索引和映射
    • 3.3 mysql与elasticsearch

一、了解es

1.1、elasticsearch作用

elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容。
例如百度搜索:
分布式搜索引擎elasticsearch_第1张图片

1.2 ELK技术栈

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域:
分布式搜索引擎elasticsearch_第2张图片
而elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。
分布式搜索引擎elasticsearch_第3张图片
目前比较知名的搜索引擎技术排名:
分布式搜索引擎elasticsearch_第4张图片

二、倒排索引

倒排索引的概念是基于MySQL这样的正向索引而言的。

2.1 正向索引

例如给下表(tb_goods)中的id创建索引:
分布式搜索引擎elasticsearch_第5张图片
如果是根据id查询,那么直接走索引,查询速度非常快。
但如果是基于title做模糊查询,只能是逐行扫描数据,流程如下:

1)用户搜索数据,条件是title符合"%手机%"

2)逐行获取数据,比如id为1的数据

3)判断数据中的title是否符合用户搜索条件

4)如果符合则放入结果集,不符合则丢弃。回到步骤1

逐行扫描,也就是全表扫描,随着数据量增加,其查询效率也会越来越低。当数据量达到数百万时,就是一场灾难。

2.2倒排索引

倒排索引中有两个非常重要的概念:

  • 文档(Document):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
  • 词条(Term):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理,流程如下:

  • 将每一个文档的数据利用算法分词,得到一个个词条
  • 创建表,每行数据包括词条、词条所在文档id、位置等信息
  • 因为词条唯一性,可以给词条创建索引,例如hash表结构索引
    分布式搜索引擎elasticsearch_第6张图片

倒排索引的搜索流程如下(以搜索"华为手机"为例):

1)用户输入条件"华为手机"进行搜索。

2)对用户输入内容分词,得到词条:华为、手机。

3)拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。

4)拿着文档id到正向索引中查找具体文档。
如图:
分布式搜索引擎elasticsearch_第7张图片
虽然要先查询倒排索引,再查询倒排索引,但是无论是词条、还是文档id都建立了索引,查询速度非常快!无需全表扫描。

三、es的概念

3.1 文档和字段

elasticsearch是面向文档(Document)存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中:
分布式搜索引擎elasticsearch_第8张图片
而Json文档中往往包含很多的字段(Field),类似于数据库中的列。

3.2 索引和映射

索引(Index),就是相同类型的文档的集合。我们可以把索引当做是数据库中的表。
分布式搜索引擎elasticsearch_第9张图片

3.3 mysql与elasticsearch

MySQL Elasticsearch 说明
Table Index 索引(index),就是文档的集合,类似数据库的表(table)
Row Document 文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式
Column Field 字段(Field),就是JSON文档中的字段,类似数据库中的列(Column)
Schema Mapping Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)
SQL DSL DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD

你可能感兴趣的:(后端相关,搜索引擎,分布式,elasticsearch)