微服务入门到入土(07)-分布式搜索ElasticSearch

教程源自于黑马微服务视频 片段。
喜欢就关注博主吧，没有最卷，只有更卷！！！

1. 初始elasticsearch

1.1 简述

• 什么是elasticsearch？
  一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能。
• 什么是elastic stack（ELK）？
  是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch
• 什么是Lucene？
  是Apache的开源搜索引擎类库，提供了搜索引擎的核心API。

1.2 倒排索引

正排索引
传统数据库（如MySQL）采用的就是正排索引，从一条条数据中搜索关键字。例如给下表（tb_goods）创建索引：

id	title	price
1	小米手机	2999
2	华为手机	3999
3	华为小米充电器	59
3	小米手环	199

---

倒排索引
elasticsearch采用的是倒排索引，根据关键字找出文档id，然后根据文档id，去找文档。正排索引与倒排索引的区别就是：正排索引是从一行行数据中查找包含关键字的记录；倒排索引是根据关键字找文档的索引，然后根据索引去找文档。

总结

• 什么是文档和词条？

  • es中每一条数据就是一个文档。
  • 对文档中的内容进行分词，得到的词语就是词条。

• 什么是正排索引？

  • 基于文档Id创建索引，查询词条时必须先找到文档，而后判断是否包含词条。

• 什么是倒排索引？

  • 对文档内容进行分词，对词条创建索引，并记录词条所在文档的信息。查询时，先根据词条查询到文档id，而后获取到文档。

1.3 概念

文档（document）
es是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息等。文档数据会被序列化为json格式存储在es中。

索引（index）

索引（index）：相同类型的文档的集合。
映射（mapping）：索引中文档字段的约束信息，类似MySQL表的结构约束。

2. 安装

2.1 安装elasticsearch

2.1.1 创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：

docker network create es-net

2.1.2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像，可以pull镜像，也可以加载tar包。由于我已经有了tar包，所以为了节约时间，采用加载tar包的方式。
将es.tar上传到服务器，然后运行命令加载：

docker load -i es.tar

运行docker命令，部署单点es：

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解释：

• -e "cluster.name=es-docker-cluster"：设置集群名称
• -e "http.host=0.0.0.0"：监听的地址，可以外网访问
• -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
• -e "discovery.type=single-node"：非集群模式
• -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
• -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
• -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
• --privileged：授予逻辑卷访问权
• --network es-net ：加入一个名为es-net的网络中
• -p 9200:9200：端口映射配置

浏览器中访问 http://ip:9200，如下代表成功了。

2.2 安装kibana

加载tar包，或者pull都行，主要是看运行命令。

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

• --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
• -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
• -p 5601:5601：端口映射配置

kibana启动一般比较慢，需要多等待一会，在浏览器输入地址访问：http://ip:5601，即可看到结果。

3. 分词器

默认分词器，对中文不太好，会把中文一个字一个字的进行分词，因此对中文需要安装额外的分词器，目前比较常用的是IK分词器。

结果：

{
  "tokens" : [
    {
      "token" : "黑",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "",
      "position" : 0
    },
    {
      "token" : "马",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "",
      "position" : 1
    },
    {
      "token" : "程",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "",
      "position" : 2
    },
    {
      "token" : "序",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "",
      "position" : 3
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "",
      "position" : 4
    },
    {
      "token" : "学",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "",
      "position" : 5
    },
    {
      "token" : "习",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "",
      "position" : 6
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "",
      "position" : 7
    },
    {
      "token" : "太",
      "start_offset" : 11,
      "end_offset" : 12,
      "type" : "",
      "position" : 8
    },
    {
      "token" : "棒",
      "start_offset" : 12,
      "end_offset" : 13,
      "type" : "",
      "position" : 9
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "",
      "position" : 10
    }
  ]
}

3.1 IK分词器

可以在线安装也可以离线安装，这里推荐离线的方式。

查看数据卷目录
安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

显示结果：

[
    {
        "CreatedAt": "2022-05-06T10:06:34+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data这个目录中。

上传ik文件
将解压后的ik文件上传到：/var/lib/docker/volumes/es-plugins/_data

重启es

# 4、重启容器
docker restart es

# 查看es日志
docker logs -f es

3.2 测试

IK分词器包含两种模式：

• ik_smart：最少切分

• ik_max_word：最细切分

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "黑马程序员学习java太棒了"
}

结果：

{
  "tokens" : [
    {
      "token" : "黑马",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "程序员",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "程序",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "学习",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "ENGLISH",
      "position" : 5
    },
    {
      "token" : "太棒了",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "太棒",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

4. 索引库的操作

4.1 mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址等）
  • 数值：long、integer、short、byte、double、float
  • 布尔：boolean
  • 日期：date
  • 对象：object
• index：是否创建索引，默认为true。不创建索引的字段不可参与搜索。
• analyzer：使用哪种分词器
• properties：该字段的子字段

4.2 创建索引库

创建索引库和mapping的DSL语法如下：

PUT /索引库名称
{
	"mappings":{
		"properties":{
		 	"字段名1":{
		 		"type":"text",
		 		"analyzer":"ik_smart" 
		 	},
		 	"字段名2":{
		 		"type":"keyword",
		 		"index":"false" 
		 	},
		 	"字段名3":{
		 		"properties":{
		 			"子字段1":{
		 				"type":"keyword"
		 			}
				}
		 	}
		}
	}
}

4.3 查看、删除索引库

查看索引库语法：

GET /索引库名

删除索引库语法：

DELETE /索引库名

4.4 修改索引库

索引库和mapping一旦创建，是无法修改的。但是可以添加新的字段，语法如下：

PUT /索引库名/_mapping
{
	"properties":{
		"新的字段名":{
			"type":"integer"
		}
	}
}

如果必须要修改原来的索引库和mapping的话，唯一的方法就是：创建新的索引库和mapping，然后将原索引库的数据迁移到新的索引库。

迁移语法如下：

POST _reindex
{
	"source":{
		"index":"原索引库名"	
	},
	"dest":{
		"index":"新索引库名"
	}
}

5. 文档操作

5.1 新增文档

新增文档的DSL语法如下：

POST /索引库名/_doc/文档id
{
	"字段1":"值1",
	"字段2":"值2",
	"字段3":{
		"子属性1":"值3"，
		"子属性2":"值4"
	}
}

注意：POST可以不指定id，不指定就会自动生成。

5.2 查看、删除文档

查看文档语法：

GET /索引库名/_doc/文档id

删除文档语法：

DELETE /索引库名/_doc/文档id

5.3 修改文档

方式一：全量修改，会删除旧文档，添加新文档。如果指定的id不存在，就是新增操作。

PUT /索引库名/_doc/文档id
{
	"字段1":"值1",
	"字段2":"值2"
}

方式二：增量修改，修改指定字段

POST /索引库名/_update/文档id
{
	"doc":{
		"字段名":"新的值"
	}
}

注意：PUT必须指定id，不指定就会报错。

6. DSL查询语法

6.1 DSL Query的分类

常见的查询类型包括：

• 查询所有：查询出所有数据，一般测试用。例如：match_all
• 全文检索（full text）查询：利用分词器对用户输入的内容分词，然后去倒排索引库中匹配。例如：
  • match_query
  • multi_match_query
• 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、boolean等类型字段。例如：
  • ids
  • range
  • term
• 地理（geo）查询：根据经纬度查询。例如：
  • geo_distance
  • geo_bounding_box
• 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
  • bool
  • function_score

6.2 DLS Query基本语法

GET /indexName/_search
{
	"query":{
		"查询类型":{
			"查询条件":"条件值"
		}
	}
}

例如：

GET _search
{
  "query": {
    "match_all": {}
  }
}

6.2 全文检索查询

全文检索查询，会对用户输入内容分词，常用于搜索框搜索：

• match查询：全文检索查询的一种，语法如下：

GET /indexName/_search
{
	"query":{
		"match":{
			"FIELD":"TEXT"	
		}
	}
}

• multi_match：与match类似，只不过允许同时查询多个字段，语法如下：

GET /indexName/_search
{
	"query":{
		"multi_match":{
			"query":"TEXT",
			"fields":["FIELD1","FIELD2"]	
		}
	}
}

注意：同时查询多个字段有两种方案：一个是通过multi_match；另一个是将多个字段copy到一个新的字段，然后通过match去查询新的字段。相比之下第二种方案性能更好，搜索的字段越多越能体现出来。

6.3 精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：

• term：根据词条精确值查询
• range：根据值的范围查询

term语法：

GET /indexName/_search
{
	"query":{
		"term":{
			"FIELD":{
				"value":"VALUE"
			}
		}
	}
}

例如：

GET /hotel/_search
{
	"query":{
		"term":{
			"city":{
				"value":"上海"
			}
		}
	}
}

range查询语法：

GET /indexName/_search
{
	"query":{
		"range":{
			"FIELD":{
				"gte":10,
				"lte":20	
			}	
		}
	}
}

例如：

GET /hotel/_search
{
	"query":{
		"range":{
			"price":{
				"gte":100,
				"lte":500	
			}	
		}
	}
}

6.4 地理查询

根据经纬度查询。常见的场景包括：

• 携程：查询附近的酒店
• 滴滴：查询附近的出租车
• 微信：搜索附近的人

根据经纬度查询，实现方式如下：

• geo_bounding_box：查询geo_point值落在某个矩形范围的所有文档
• geo_distance：查询到指定中心点小于某个距离值的所有文档

geo_bounding_box语法

GET /indexName/_search
{
	"query":{
		"geo_bounding_box":{
			"FIELD":{
				"top_left":{
					"lat":31.1,
					"lon":121.5
				},
				"bottom_right":{
					"lat":39.9,
					"lon":121.7
				}
			}
		}
	}
}

geo_distance语法

GET /indexName/_search
{
	"query":{
		"geo_distance":{
			"distance":"15km",
			"FIELD":"31.21,121.5"	
		}
	}
}

6.5 复合查询

复合（compound）查询：可以将其他简单查询组合起来，实现更复杂的搜索逻辑。例如：

• function score：算分函数查询，可以控制文档相关性算分，控制文档排名。例如百度竞价
• 布尔查询：一个或多个查询子句的组合。子查询组合方式有：
  • must：必须匹配每个子查询，类似“与”，参与算分
  • should：选择性匹配子查询，类似“或”
  • must_not：必须不匹配，不参与算分，类似“非”
  • filter：必须匹配，不参与算分

案例

7.搜索结果处理

7.1 排序

elasticsearch默认是根据相关度算分排序的。可以排序的字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。

简单类型排序语法：

GET /indexName/_search
{
 "query":{
  	"match_all":{}
  },
  "sort":[
    {
      "FIELD":"desc"
    }
  ]
}

地理坐标类型排序语法：

GET /indexName/_search
{
 "query":{
  	"match_all":{}
  },
  "sort":[
    {
      "_geo_distance":{
      	"FIELD":"经度,纬度",
      	"order":"asc",
      	"unit":"km" 
      }
    }
  ]
}

7.2 分页

elasticsearch默认情况下返回10条数据。如果需要查询更多数据就需要修改分页参数了。
elasticsearch通过from、size参数来控制要返回的分页结果，最多只能查询10000条数据：

GET /indexName/_search
{
  "query":{
    "match_all":{} 
  },
  "from":990,
  "size":10,
  "sort":[
    {"FIELD":"asc"}
  ]
}

不建议分页过深，如果业务需求真的必须深度分页的话，有以下解决方案：

7.3 高亮

把搜索结果中的搜索关键字突出显示。

原理：

• 将搜索结果中的关键字用标签标记出来，默认是em标签。
• 再页面中给标签添加css样式

语法：

GET /indexName/_search
{
  "query":{
    "match":{
      "FIELD":"TEXT" 
    } 
  },
  "highlight":{
    "fields":{
      "FIELD":{
        "pre_tags":"",
        "post_tags":"" 
      } 
    } 
  }
}

例如：默认情况下，搜索匹配字段和高亮，字段必须一致。如果不想一致，可以通过require_field_match属性强调不需要匹配字段。

GET /indexName/_search
{
  "query":{
    "match":{
      "all":"如家" 
    } 
  },
  "highlight":{
    "fields":{
      "name":{
         "require_field_match":"true"
      } 
    } 
  }
}

8.聚合

8.1 聚合的分类

聚合可以实现对文档数据的统计、分析、运算。聚合常见的有三类：

• 桶（Bucket）聚合：用来对文档分组，常见的有以下两种：
  • TermAggregation：按照文档字段值分组
  • Date Histogram：按照日期阶梯分组，例如一周位于组或者一月为一组
• 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等。常见有以下几种：
  • AVG
  • Max
  • Min
  • Stats：同时求max、min、avg、sum等
• 管道（pipeline）聚合：以其他聚合的结果为基础的聚合

注意：参与聚合的字段的类型只能是以下几种：keyword、数值、日期、布尔

8.2 Bucket示例

Bucket聚合语法示例：

8.3 Metric示例

9. 自动补全及拼音自动补全

写好的笔记忘记保存了，全没了。。。/(ㄒoㄒ)/~~
想看的同学，可以去视频教程学习 自动补全

10. 数据同步

写好的笔记忘记保存了，全没了。。。/(ㄒoㄒ)/~~，暂时没精力再写了。
想看的同学，可以去视频教程学习 数据同步

11. 集群