微服务入门到入土(07)-分布式搜索ElasticSearch

教程源自于黑马微服务视频 片段。
喜欢就关注博主吧,没有最卷,只有更卷!!!

1. 初始elasticsearch

1.1 简述

  • 什么是elasticsearch?
    一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析、系统监控等功能。
  • 什么是elastic stack(ELK)?
    是以elasticsearch为核心的技术栈,包括beats、Logstash、kibana、elasticsearch
  • 什么是Lucene?
    是Apache的开源搜索引擎类库,提供了搜索引擎的核心API。

1.2 倒排索引

正排索引
传统数据库(如MySQL)采用的就是正排索引,从一条条数据中搜索关键字。例如给下表(tb_goods)创建索引:

id title price
1 小米手机 2999
2 华为手机 3999
3 华为小米充电器 59
3 小米手环 199

微服务入门到入土(07)-分布式搜索ElasticSearch_第1张图片


倒排索引
elasticsearch采用的是倒排索引,根据关键字找出文档id,然后根据文档id,去找文档。正排索引与倒排索引的区别就是:正排索引是从一行行数据中查找包含关键字的记录;倒排索引是根据关键字找文档的索引,然后根据索引去找文档。
微服务入门到入土(07)-分布式搜索ElasticSearch_第2张图片
总结

  • 什么是文档和词条?

    • es中每一条数据就是一个文档。
    • 对文档中的内容进行分词,得到的词语就是词条。
  • 什么是正排索引?

    • 基于文档Id创建索引,查询词条时必须先找到文档,而后判断是否包含词条。
  • 什么是倒排索引?

    • 对文档内容进行分词,对词条创建索引,并记录词条所在文档的信息。查询时,先根据词条查询到文档id,而后获取到文档。

1.3 概念

文档(document)
es是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息等。文档数据会被序列化为json格式存储在es中。
微服务入门到入土(07)-分布式搜索ElasticSearch_第3张图片
索引(index)

索引(index):相同类型的文档的集合。
映射(mapping):索引中文档字段的约束信息,类似MySQL表的结构约束。

微服务入门到入土(07)-分布式搜索ElasticSearch_第4张图片

微服务入门到入土(07)-分布式搜索ElasticSearch_第5张图片

2. 安装

2.1 安装elasticsearch

2.1.1 创建网络

因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络:

docker network create es-net

2.1.2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像,可以pull镜像,也可以加载tar包。由于我已经有了tar包,所以为了节约时间,采用加载tar包的方式。
将es.tar上传到服务器,然后运行命令加载:

docker load -i es.tar

运行docker命令,部署单点es:

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解释:

  • -e "cluster.name=es-docker-cluster":设置集群名称
  • -e "http.host=0.0.0.0":监听的地址,可以外网访问
  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m":内存大小
  • -e "discovery.type=single-node":非集群模式
  • -v es-data:/usr/share/elasticsearch/data:挂载逻辑卷,绑定es的数据目录
  • -v es-logs:/usr/share/elasticsearch/logs:挂载逻辑卷,绑定es的日志目录
  • -v es-plugins:/usr/share/elasticsearch/plugins:挂载逻辑卷,绑定es的插件目录
  • --privileged:授予逻辑卷访问权
  • --network es-net :加入一个名为es-net的网络中
  • -p 9200:9200:端口映射配置

浏览器中访问 http://ip:9200,如下代表成功了。
微服务入门到入土(07)-分布式搜索ElasticSearch_第6张图片

2.2 安装kibana

加载tar包,或者pull都行,主要是看运行命令。

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1
  • --network es-net :加入一个名为es-net的网络中,与elasticsearch在同一个网络中
  • -e ELASTICSEARCH_HOSTS=http://es:9200":设置elasticsearch的地址,因为kibana已经与elasticsearch在一个网络,因此可以用容器名直接访问elasticsearch
  • -p 5601:5601:端口映射配置

kibana启动一般比较慢,需要多等待一会,在浏览器输入地址访问:http://ip:5601,即可看到结果。
微服务入门到入土(07)-分布式搜索ElasticSearch_第7张图片

3. 分词器

默认分词器,对中文不太好,会把中文一个字一个字的进行分词,因此对中文需要安装额外的分词器,目前比较常用的是IK分词器。
微服务入门到入土(07)-分布式搜索ElasticSearch_第8张图片

结果:

{
  "tokens" : [
    {
      "token" : "黑",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "马",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "",
      "position" : 1
    },
    {
      "token" : "程",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "",
      "position" : 2
    },
    {
      "token" : "序",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "",
      "position" : 3
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "",
      "position" : 4
    },
    {
      "token" : "学",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "",
      "position" : 5
    },
    {
      "token" : "习",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "",
      "position" : 6
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "",
      "position" : 7
    },
    {
      "token" : "太",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "",
      "position" : 8
    },
    {
      "token" : "棒",
      "start_offset" : 12,
      "end_offset" : 13,
      "type" : "",
      "position" : 9
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "",
      "position" : 10
    }
  ]
}

3.1 IK分词器

可以在线安装也可以离线安装,这里推荐离线的方式。

查看数据卷目录
安装插件需要知道elasticsearch的plugins目录位置,而我们用了数据卷挂载,因此需要查看elasticsearch的数据卷目录,通过下面命令查看:

docker volume inspect es-plugins

显示结果:

[
    {
        "CreatedAt": "2022-05-06T10:06:34+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明plugins目录被挂载到了:/var/lib/docker/volumes/es-plugins/_data这个目录中。

上传ik文件
将解压后的ik文件上传到:/var/lib/docker/volumes/es-plugins/_data

重启es

# 4、重启容器
docker restart es
# 查看es日志
docker logs -f es

3.2 测试

IK分词器包含两种模式:

  • ik_smart:最少切分

  • ik_max_word:最细切分

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "黑马程序员学习java太棒了"
}

结果:

{
  "tokens" : [
    {
      "token" : "黑马",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "程序员",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "程序",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "学习",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "ENGLISH",
      "position" : 5
    },
    {
      "token" : "太棒了",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "太棒",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

4. 索引库的操作

4.1 mapping属性

mapping是对索引库中文档的约束,常见的mapping属性包括:

  • type:字段数据类型,常见的简单类型有:
    • 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址等)
    • 数值:long、integer、short、byte、double、float
    • 布尔:boolean
    • 日期:date
    • 对象:object
  • index:是否创建索引,默认为true。不创建索引的字段不可参与搜索。
  • analyzer:使用哪种分词器
  • properties:该字段的子字段

4.2 创建索引库

创建索引库和mapping的DSL语法如下:

PUT /索引库名称
{
	"mappings":{
		"properties":{
		 	"字段名1":{
		 		"type":"text",
		 		"analyzer":"ik_smart" 
		 	},
		 	"字段名2":{
		 		"type":"keyword",
		 		"index":"false" 
		 	},
		 	"字段名3":{
		 		"properties":{
		 			"子字段1":{
		 				"type":"keyword"
		 			}
				}
		 	}
		}
	}
}

4.3 查看、删除索引库

查看索引库语法:

GET /索引库名

删除索引库语法:

DELETE /索引库名

4.4 修改索引库

索引库和mapping一旦创建,是无法修改的。但是可以添加新的字段,语法如下:

PUT /索引库名/_mapping
{
	"properties":{
		"新的字段名":{
			"type":"integer"
		}
	}
}

如果必须要修改原来的索引库和mapping的话,唯一的方法就是:创建新的索引库和mapping,然后将原索引库的数据迁移到新的索引库。

迁移语法如下:

POST _reindex
{
	"source":{
		"index":"原索引库名"	
	},
	"dest":{
		"index":"新索引库名"
	}
}

5. 文档操作

5.1 新增文档

新增文档的DSL语法如下:

POST /索引库名/_doc/文档id
{
	"字段1":"值1",
	"字段2":"值2",
	"字段3":{
		"子属性1":"值3""子属性2":"值4"
	}
}

注意:POST可以不指定id,不指定就会自动生成。

5.2 查看、删除文档

查看文档语法:

GET /索引库名/_doc/文档id

删除文档语法:

DELETE /索引库名/_doc/文档id

5.3 修改文档

方式一:全量修改,会删除旧文档,添加新文档。如果指定的id不存在,就是新增操作。

PUT /索引库名/_doc/文档id
{
	"字段1":"值1",
	"字段2":"值2"
}

方式二:增量修改,修改指定字段

POST /索引库名/_update/文档id
{
	"doc":{
		"字段名":"新的值"
	}
}

注意:PUT必须指定id,不指定就会报错。

6. DSL查询语法

6.1 DSL Query的分类

常见的查询类型包括:

  • 查询所有:查询出所有数据,一般测试用。例如:match_all
  • 全文检索(full text)查询:利用分词器对用户输入的内容分词,然后去倒排索引库中匹配。例如:
    • match_query
    • multi_match_query
  • 精确查询:根据精确词条值查找数据,一般是查找keyword、数值、boolean等类型字段。例如:
    • ids
    • range
    • term
  • 地理(geo)查询:根据经纬度查询。例如:
    • geo_distance
    • geo_bounding_box
  • 复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
    • bool
    • function_score

6.2 DLS Query基本语法

GET /indexName/_search
{
	"query":{
		"查询类型":{
			"查询条件":"条件值"
		}
	}
}

例如:

GET _search
{
  "query": {
    "match_all": {}
  }
}

6.2 全文检索查询

全文检索查询,会对用户输入内容分词,常用于搜索框搜索:

  • match查询:全文检索查询的一种,语法如下:
GET /indexName/_search
{
	"query":{
		"match":{
			"FIELD":"TEXT"	
		}
	}
}
  • multi_match:与match类似,只不过允许同时查询多个字段,语法如下:
GET /indexName/_search
{
	"query":{
		"multi_match":{
			"query":"TEXT",
			"fields":["FIELD1","FIELD2"]	
		}
	}
}

注意:同时查询多个字段有两种方案:一个是通过multi_match;另一个是将多个字段copy到一个新的字段,然后通过match去查询新的字段。相比之下第二种方案性能更好,搜索的字段越多越能体现出来。

6.3 精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有:

  • term:根据词条精确值查询
  • range:根据值的范围查询

term语法:

GET /indexName/_search
{
	"query":{
		"term":{
			"FIELD":{
				"value":"VALUE"
			}
		}
	}
}

例如:

GET /hotel/_search
{
	"query":{
		"term":{
			"city":{
				"value":"上海"
			}
		}
	}
}

range查询语法:

GET /indexName/_search
{
	"query":{
		"range":{
			"FIELD":{
				"gte":10,
				"lte":20	
			}	
		}
	}
}

例如:

GET /hotel/_search
{
	"query":{
		"range":{
			"price":{
				"gte":100,
				"lte":500	
			}	
		}
	}
}

6.4 地理查询

根据经纬度查询。常见的场景包括:

  • 携程:查询附近的酒店
  • 滴滴:查询附近的出租车
  • 微信:搜索附近的人

根据经纬度查询,实现方式如下:

  • geo_bounding_box:查询geo_point值落在某个矩形范围的所有文档
  • geo_distance:查询到指定中心点小于某个距离值的所有文档

geo_bounding_box语法

GET /indexName/_search
{
	"query":{
		"geo_bounding_box":{
			"FIELD":{
				"top_left":{
					"lat":31.1,
					"lon":121.5
				},
				"bottom_right":{
					"lat":39.9,
					"lon":121.7
				}
			}
		}
	}
}

微服务入门到入土(07)-分布式搜索ElasticSearch_第9张图片

geo_distance语法

GET /indexName/_search
{
	"query":{
		"geo_distance":{
			"distance":"15km",
			"FIELD":"31.21,121.5"	
		}
	}
}

微服务入门到入土(07)-分布式搜索ElasticSearch_第10张图片

6.5 复合查询

复合(compound)查询:可以将其他简单查询组合起来,实现更复杂的搜索逻辑。例如:

  • function score:算分函数查询,可以控制文档相关性算分,控制文档排名。例如百度竞价
  • 布尔查询:一个或多个查询子句的组合。子查询组合方式有:
    • must:必须匹配每个子查询,类似“与”,参与算分
    • should:选择性匹配子查询,类似“或”
    • must_not:必须不匹配,不参与算分,类似“非”
    • filter:必须匹配,不参与算分

案例
微服务入门到入土(07)-分布式搜索ElasticSearch_第11张图片

7.搜索结果处理

7.1 排序

elasticsearch默认是根据相关度算分排序的。可以排序的字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。

简单类型排序语法:

GET /indexName/_search
{
 "query":{
  	"match_all":{}
  },
  "sort":[
    {
      "FIELD":"desc"
    }
  ]
}

地理坐标类型排序语法:

GET /indexName/_search
{
 "query":{
  	"match_all":{}
  },
  "sort":[
    {
      "_geo_distance":{
      	"FIELD":"经度,纬度",
      	"order":"asc",
      	"unit":"km" 
      }
    }
  ]
}

7.2 分页

elasticsearch默认情况下返回10条数据。如果需要查询更多数据就需要修改分页参数了。
elasticsearch通过from、size参数来控制要返回的分页结果,最多只能查询10000条数据:

GET /indexName/_search
{
  "query":{
    "match_all":{} 
  },
  "from":990,
  "size":10,
  "sort":[
    {"FIELD":"asc"}
  ]
}

微服务入门到入土(07)-分布式搜索ElasticSearch_第12张图片

不建议分页过深,如果业务需求真的必须深度分页的话,有以下解决方案:
微服务入门到入土(07)-分布式搜索ElasticSearch_第13张图片
微服务入门到入土(07)-分布式搜索ElasticSearch_第14张图片

7.3 高亮

把搜索结果中的搜索关键字突出显示。

原理:

  • 将搜索结果中的关键字用标签标记出来,默认是em标签。
  • 再页面中给标签添加css样式

语法:

GET /indexName/_search
{
  "query":{
    "match":{
      "FIELD":"TEXT" 
    } 
  },
  "highlight":{
    "fields":{
      "FIELD":{
        "pre_tags":"",
        "post_tags":"" 
      } 
    } 
  }
}

例如:默认情况下,搜索匹配字段和高亮,字段必须一致。如果不想一致,可以通过require_field_match属性强调不需要匹配字段。

GET /indexName/_search
{
  "query":{
    "match":{
      "all":"如家" 
    } 
  },
  "highlight":{
    "fields":{
      "name":{
         "require_field_match":"true"
      } 
    } 
  }
}

8.聚合

8.1 聚合的分类

聚合可以实现对文档数据的统计、分析、运算。聚合常见的有三类:

  • 桶(Bucket)聚合:用来对文档分组,常见的有以下两种:
    • TermAggregation:按照文档字段值分组
    • Date Histogram:按照日期阶梯分组,例如一周位于组或者一月为一组
  • 度量(Metric)聚合:用以计算一些值,比如:最大值、最小值、平均值等。常见有以下几种:
    • AVG
    • Max
    • Min
    • Stats:同时求max、min、avg、sum等
  • 管道(pipeline)聚合:以其他聚合的结果为基础的聚合

注意:参与聚合的字段的类型只能是以下几种:keyword、数值、日期、布尔

8.2 Bucket示例

Bucket聚合语法示例:
微服务入门到入土(07)-分布式搜索ElasticSearch_第15张图片
微服务入门到入土(07)-分布式搜索ElasticSearch_第16张图片
微服务入门到入土(07)-分布式搜索ElasticSearch_第17张图片
微服务入门到入土(07)-分布式搜索ElasticSearch_第18张图片

8.3 Metric示例

微服务入门到入土(07)-分布式搜索ElasticSearch_第19张图片

9. 自动补全及拼音自动补全

写好的笔记忘记保存了,全没了。。。/(ㄒoㄒ)/~~
想看的同学,可以去视频教程学习 自动补全

10. 数据同步

写好的笔记忘记保存了,全没了。。。/(ㄒoㄒ)/~~,暂时没精力再写了。
想看的同学,可以去视频教程学习 数据同步

11. 集群

你可能感兴趣的:(微服务全家桶,elasticsearch,分布式,搜索引擎)