SpringCloud学习路线（10）——分布式搜索ElasticSeach基础
一、初识ES
（一）概念：
ES是一款开源搜索引擎，结合数据可视化【Kibana】、数据抓取【Logstash、Beats】共同集成为ELK（Elastic Stack），ELK被广泛应用于日志数据分析和实时监控等领域，ES是核心组件。
（二）作用： 高效查询搜索内容。
（三）发展史：
1、底层实现是 Lucene，一个Java语言的搜索引擎类库，Apache公司的Top产品之一，由DoungCutting 于 1999 年开发，官方地址：https://lucene.apache.org/
Lucene的优势： 易扩展（可二次开发）、高性能（基于倒排索引）
Lucene的缺点： 只限于Java开发、学习曲线陡峭、不支持水平扩展
2、2004年Shay Banon 基于 Lucene 开发了 Compass
3、2010年Shay Banon 重写了 Compass，重命名为 Elasticsearch
官方地址： https://www.elastic.co/cn/
ES的优势：
- 支持分布式，支持水平扩展
- 提供RESTful接口，可被任何语言调用
（四）ES对比其它搜索引擎的优势
根据搜索引擎技术使用频率排名，前三名是
- ES：开源的分布式搜索引擎（常用）
- Splunk：商业项目
- Solr：Apache的开源资源引擎（常用）
（五）正向索引和倒排索引
1、正向索引
传统数据库（例如MySQL）采用的是正向索引。
- 匹配内容进行逐条查询
- 若不匹配则丢弃，若匹配放入结果集
2、倒排索引
ES使用倒排索引。
- 文档（document）： 每条数据就是一个文档
- 词条（term）： 文档按照语义分成的词语
倒排索引首先会把索引应用的字段分出各个词条，并且存储在 term-id 键值对表中，若分出的词条相同，则只将当前数据行的id记录到索引表的id字段中。
倒排索引的匹配数据顺序：
- 搜索内容分词
- 获得的词条去词条列表查询id
- 根据文档id查询文档
- 数据存入结果集
（六）ES与MySQL的概念对比
- ES是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。
- 文档数据会被序列化为json格式后存储在elasticsearch中。
1、ES文档
{
"id"： 1，
“title”： "小米手机",
"price"： 2499
}
{
"id"： 2，
“title”： "华为手机",
"price"： 4699
}
{
"id"： 3，
“title”： "华为小米充电器",
"price"： 49
}
{
"id"： 4，
“title”： "小米手环",
"price"： 299
}
2、ES索引
索引（Index） 是相同类型的文档集合（看文档结构就知道类型是否相同）。
3、MySQL与ES的概念对比
- Table：Index —— 索引，就是文档的集合，类似库的表（Table）
- Row：Document —— 文档，就是数据行，类似数据库中的行（Row），文档是JSON格式
- Column：Field —— Field，就是JSON文档中的属性，类似数据库中的列（Column）
- Schema：Mapping —— Mapping（映射）是索引中的文档约束，例如字段类型约束。类似于数据库的表结构（Schema）
- SQL：DSL —— DSL 是 ES 提供的JSON风格的请求语句，用来才做ES，实现CRUD
4、架构
MySQL架构：擅长事务类型操作，确保数据的安全和一致性。（主要是写操作）
ES 架构：擅长海量数据的搜索、分析、计算。（主要是读操作）
（七）安装ES和kibana
为什么要安装kibana？ 因为kibana可以协助我们操作ES。
1、部署单点 ES
（1）创建网络
因为我们还需要部署 kibana 容器，因此需要让es和kibana容器互联，需要创建一个网络。
docker network create es-net
（2）加载镜像
docker pull elasticsearch:7.12.1
（3）运行ES
运行docker命令，部署单点es：
# -e "cluster.name=es-docker-cluster：设置集群名称
# -e "ES_JAVA_OPTS=-Xms512m -Xmx512m": 设置堆内存大小
# -e "discovery.type=single-node": 配置部署类型为单点
# -v es-data:/usr/share/elasticsearch/data: ES数据挂载点
# -v es-plugins:/usr/share/elasticsearch/plugins: ES插件挂载点
# --network es-net: 容器加载到网络
# -p 9200:9200: 暴露的HTTP访问接口
# -p 9300:9300: 暴露容器访问端口
docker run --name es \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
-d elasticsearch:7.12.1
访问9200端口
2、部署 kibana
docker pull kibana:7.12.1
# --network=es-net: 加入到ES的网络中
# -e ELASTICSEARCH_HOSTS=http://es:9200: 配置ES主机地址，因为在同一个网络中，所以可以直接用容器名访问ES
# -p 5601:5601: 端口映射配置
docker run --name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601 \
-d kibana:7.12.1
访问Kibana控制台
DSL请求台
（八）分词器
ES在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词，但默认的分词规则对中文处理并不好。
我们利用Kibana控制台做个中文测试：
中文分词器 IK
官网：https://github.com/medcl/elasticsearch-analysis-ik
1、部署 IK 分词器
在线安装可能会存在连接拒绝
#进入ES容器
docker exec -it es /bin/bash
#下载 IK分词器
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
#退出
exit
#重启容器
docker restart elasticsearch
离线安装 ik
1、下载 ik.7.12.1,zip
2、解压之后，传输到 elasticsearch-plugins 数据卷
3、重启docker
docker restart es
4、查看IK分词器加载成功
docker logs -f es
5、测试
-
ik_smart： 粗粒度区分，只拆分一次的方式进行解析。
-
ik_max_word： 最细粒度拆分，最大可能的分出更多的词
（九）IK分词器的扩展词条和停用词条
IK分词器的底层基于词典进行匹配，若匹配到词典那么就直接拆分，若没有匹配到则不做拆分。
所以我们需要对IK分词进行扩展。
1、修改 IK分词器 的 /config/IKAnalyzer.cfg.xml 文件
DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置comment>
<entry key="ext_dict">ext.dicentry>
<entry key="ext_stopwords">stopword.dicentry>
properties>
2、创建 ext.dic 和 stopword.dic
这两个文件只是个文本文件，使用回车进行间隔，一个词一行。
这两个文件要配置在config目录下，不然读取不到，插件作者的词典也在config目录下。
3、重启docker
docker restart es
二、操作索引库
（一）mapping映射
常见的mapping属性
- type： 字段数据类型，常见类型有
- 字符串：text（可分词的文本）、keyword（不可分词的文本）
- 数值： byte、short、integer、long、float、double
- 布尔： boolean
- 日期： date
- 对象： object
- geo_point： 由经度和维度确认的点，例如"32.8138,120.58558"
- geo_shape： 多个点复合的几何图形，例如一条直线LINESTRING(-77.06581831,-77.008463181)
- index： 是否创建索引，默认为true
- analyzer： 使用的分词器
- properties： 该字段的子字段，例如对象中的属性
- text： 分词文本
关于数组集合问题： mapping 支持单个类型能有多个。
（二）创建索引库
ES通过 RESTful 请求操作索引库、文档。请求内容用DSL语句来表示。
创建索引库和mapping 的DSL语法如下：
PUT /test
{
"mappings": {
"properties": {
"info": {
"type": "text"
"analyzer": "ik_smart
},
"email": {
"type": "keyword",
"index": "false"
},
"name": {
"type": "object",
"properties": {
"firstName": {
"type": "keyword"
},
"lastName": {
"type": "keyword"
}
}
}
}
}
}
常见成功效果
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "test"
}
这里还有个小技巧： 当我们需要多字段搜索可以使用 copy_to进行属性拷贝。
"all": {
"type": "text",
"analyzer: "ik_max_word"
},
"brand": {
"type": "keyword",
"copy_to": "all"
}
（三）查看、删除、修改索引库
1、查看索引库
GET /test
使用效果
{
"test" : {
"aliases" : { },
"mappings" : {
"properties" : {
"email" : {
"type" : "keyword",
"index" : false
},
"info" : {
"type" : "text",
"analyzer" : "ik_smart"
},
"name" : {
"properties" : {
"firstName" : {
"type" : "keyword"
},
"lastName" : {
"type" : "keyword"
}
}
}
}
},
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
}
}
},
"number_of_shards" : "1",
"provided_name" : "test",
"creation_date" : "1690214456747",
"number_of_replicas" : "1",
"uuid" : "IIdXK-pATYOns4c8BDoaMw",
"version" : {
"created" : "7120199"
}
}
}
}
}
2、删除索引库
DELETE /test
使用效果
删除成功效果
{
"acknowledged" : true
}
再次查询索引库
{
"error" : {
"root_cause" : [
{
"type" : "index_not_found_exception",
"reason" : "no such index [test]",
"resource.type" : "index_or_alias",
"resource.id" : "test",
"index_uuid" : "_na_",
"index" : "test"
}
],
"type" : "index_not_found_exception",
"reason" : "no such index [test]",
"resource.type" : "index_or_alias",
"resource.id" : "test",
"index_uuid" : "_na_",
"index" : "test"
},
"status" : 404
}
3、修改索引库（只能添加字段）
PUT /test/_mapping
{
"properties": {
"age": {
"type": "integer
}
}
}
使用效果
新增成功
{
"acknowledged" : true
}
再次查询/test索引库
{
"test" : {
"aliases" : { },
"mappings" : {
"properties" : {
"age" : {
"type" : "integer"
},
"email" : {
"type" : "keyword",
"index" : false
},
"info" : {
"type" : "text",
"analyzer" : "ik_smart"
},
"name" : {
"properties" : {
"firstName" : {
"type" : "keyword"
},
"lastName" : {
"type" : "keyword"
}
}
}
}
},
"settings" : {
"index" : {
"routing" : {
"allocation" : {
"include" : {
"_tier_preference" : "data_content"
}
}
},
"number_of_shards" : "1",
"provided_name" : "test",
"creation_date" : "1690214957185",
"number_of_replicas" : "1",
"uuid" : "HeoHP6GYS-uovI1DQyxEsg",
"version" : {
"created" : "7120199"
}
}
}
}
}
三、文档操作
（一）新增文档
POST /test/_doc/1
{
"info": "Java是最好的语言",
"age": 18,
"email": :"[email protected]",
"name": {
"firstName": "Zengoo",
"lastName": "En"
}
}
使用效果
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
（二）删除文档
DELETE /test/_doc/1
使用效果
删除成功
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 2,
"result" : "deleted",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 1,
"_primary_term" : 1
}
再次查询
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"found" : false
}
（三）修改文档
PUT /test/_doc/1
{
"info": "这是我的ES拆分Demo"
}
使用效果
修改成功
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 2,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 3,
"_primary_term" : 1
}
再次查询
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 2,
"_seq_no" : 3,
"_primary_term" : 1,
"found" : true,
"_source" : {
"info" : "这是我的ES拆分Demo"
}
}
我们可以看到直接使用PUT进行修改，会直接覆盖原有的文档。
所以我们使用第二种修改方法。
POST /test/_update/1
{
"doc": {
"info": "这是我的ES拆分Demo"
}
}
使用效果
更新成功
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 11,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 12,
"_primary_term" : 1
}
查询文档
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 11,
"_seq_no" : 12,
"_primary_term" : 1,
"found" : true,
"_source" : {
"info" : "这是我的ES拆分Demo",
"age" : 18,
"email" : "[email protected]",
"name" : {
"firstName" : "Zengoo",
"lastName" : "En"
}
}
}
（四）查询文档
GET /test/_doc/1
使用效果
{
"_index" : "test",
"_type" : "_doc",
"_id" : "1",
"_version" : 1,
"_seq_no" : 0,
"_primary_term" : 1,
"found" : true,
"_source" : {
"info" : "Java是最好的语言",
"age" : 18,
"email" : "[email protected]",
"name" : {
"firstName" : "Zengoo",
"lastName" : "En"
}
}
}
四、RestClient操作索引库
（一）RestClient
ES官方提供了不同语言的ES客户端，这些客户端的本质是组装DSL语句，通过HTTP请求发送给ES。
官方文档： https://www.elastic.co/guide/en/elasticsearch/client/index.html
（二）安装RestClient
安装RestHighLevelClient依赖
<dependency>
<groupId>org.elasticsearch.clientgroupId>
<artifactId>elasticsearch-rest-hight-level-clientartifatId>
dependency>
覆盖默认的ES版本
<properties>
<elasticsearch.version>7.12.1elasticsearch.version>
properties>
初始化RestHighLevelClient
RestHightLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.92.131:9200")));
（三）RestClient操作索引库
创建索引库
//1、创建Request对象
CreateIndexRequest request = new CreateIndexRequest("test");
//2、请求参数,
//MAPPING_TEMPLATE 是静态常量字符串,描述的是自定义的创建索引库的DSL语句
//XContentType.JSON 是指定DSL语句以JSON格式化
request.source(MAPPING_TEMPLATE, XContentType.JSON);
//3、发起请求
//indices, 返回对象中包含的所有索引库操作方法
//RequestOptions.DEFAULT, 默认请求头
client.indices().create(request, RequestOptions.DEFAULT);
删除索引库
CreateIndexRequest request = new CreateIndexRequest("test");
client.indices().delete(request, RequestOptions.DEFAULT);
查询索引库存在状态
CreateIndexRequest request = new CreateIndexRequest("test");
boolean status = client.indices().exists(request, RequestOptions.DEFAULT);
（四）RestClient操作数据文档
创建文档
//根据ID查询数据, hotelService的自定义的方法getById
Hotel hotel = hotelService.getById(1L);
//转换类型，由于数据库类型与DSL类型有差异，所以需要定义一个转换类进行属性转换，即转换类构造器改造实体类。
HotelDoc hotelDoc = new HotelDoc(hotel);
//1、创建Request对象
IndexRequest request = new IndexRequest("test").id(hotel.getId().toString());
//2、准备JSON文档, 通过fastjson快速转换成json格式文本
request.source(JSON.toJSONString(hotelDoc, XContentType.JSON);
//3、发送请求
//index, 就是发送请求的那个索引
client.index(request, RequestOptions.DEFAULT);
查询文档
//1、创建request对象
GetRequest request = new GetRequest("test").id("1");
//2、发送请求，得到结果
GetResponse response = client.get(request, RequestOptions.DEFAULT);
//3、解析结果
String json = response.getSourceAsString();
System.out.println(JSON.parseObject(json, HotelDoc.class));
删除文档
//1、创建request对象
DeleteRequest request = new DeleteRequest("test").id("1");
//2、发送请求，得到结果
client.delete(request, RequestOptions.DEFAULT);
修改文档
方式一：全量修改
方式二：局部修改
//1、创建Request对象
UpdateRequest request = new UpdateRequest("test","1");
//2、准备参数，每两个参数为一对
request.doc(
"age": 18,
"name": "Rose"
);
//3、更新文档
client.update(request, RequestOptions.DEFAULT);
批量导入文档
使用思路
1、通过mybatis查询数据库数据
2、实体类数据转换成文档类型数据
3、RestClient利用Bulk批处理
//1、创建Bulk请求
BulkRequest request = new BulkRequest();
//2、添加批量处理请求
for(Hotel hotel: hotels){
HotelDoc hotelDoc = new HotelDoc(hotel);
request.add(new IndexRequest("hotel").id(hotel.getId().toString()).source(JSON.tJSONString(hotelDoc),XContentType.JSON));
}
//3、发起请求
client.bulk(request, RequestOptions.DEFAULT);