提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
elasticsearch是一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析、系统监控等功能。http://www.elastic.co/cn/
elastic stack(ELK)是以elasticsearch为核心的技术栈,结合kibana、Logstash、Beats。被广泛应用在日志数据分析、实时监控等领域。而elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。
elasticsearch底层是基于lucene来实现的。Lucene是一个Java语言的搜索引擎类库,是Apache公司的顶级项目,提供了搜索引擎的核心API。
官网地址:https://lucene.apache.org/ 。
Lucene优势:- 易扩展
- 高性能
缺点:- 只限于java开发
- 不支持水平扩展
正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程。
倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是根据词条找文档的过程。
倒排索引中有两个非常重要的概念:
Document
):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息Term
):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条创建倒排索引是对正向索引的一种特殊处理,流程如下:
正向索引:
优点:- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
缺点:- 根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。
倒排索引:
优点:- 根据词条搜索、模糊搜索时,速度非常快
缺点:- 只能给词条创建索引,而不是字段
- 无法根据字段做排序
elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中。而Json文档中往往包含很多的字段(Field),类似于数据库中的列。
索引(Index),就是相同类型的文档的集合。因此,我们可以把索引当做是数据库中的表。
数据库的表会有约束信息,用来定义表的结构、字段的名称、类型等信息。因此,索引库中就有映射(mapping),是索引中文档的字段约束信息,类似表的结构约束。
MySQL | Elasticsearch | 说明 |
---|---|---|
Table | Index | 索引(index),就是文档的集合,类似数据库的表(table) |
Row | Document | 文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式 |
Column | Field | 字段(Field),就是JSON文档中的字段,类似数据库中的列(Column) |
Schema | Mapping | Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema) |
SQL | DSL | DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD |
docker pull elasticsearch:7.10.1
mkdir -p /usr/soft/elasticsearch/config
mkdir -p /usr/soft/elasticsearch/data
mkdir -p /usr/soft/elasticsearch/plugins
mkdir -p /usr/soft/elasticsearch/logs
echo "http.host: 0.0.0.0" > /usr/soft/elasticsearch/config/elasticsearch.yml
chmod -R 775 /usr/soft/elasticsearch
docker run -id --name elasticsearch \
-e "cluster.name=ly-elastic" \ //设置集群名称
-e "http.host=0.0.0.0" \ //监听的地址,可以外网访问
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \ //内存大小
-e "discovery.type=single-node" \ //非集群模式
-e http.cors.enabled=true \
-e http.cors.allow-origin="*" \
-e http.cors.allow-headers=X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization \
-e http.cors.allow-credentials=true \
//挂载逻辑卷,绑定es的数据目录
-v /usr/soft/elasticsearch/data:/usr/share/elasticsearch/data \
-v /usr/soft/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
//挂载逻辑卷,绑定es的插件目录
-v /usr/soft/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
//挂载逻辑卷,绑定es的日志目录
-v /usr/soft/elasticsearch/logs:/usr/share/elasticsearch/logs \
--privileged \ //授予逻辑卷访问权
--hostname elasticsearch \
-p 9200:9200 \ //端口映射配置
-p 9300:9300 \
elasticsearch:7.10.1
docker pull kibana:7.10.1
mkdir -p /usr/soft/kibana/config
# 根据自己实际IP修改elasticsearch地址
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://192.168.200.128:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
docker run -d \
--name=kibana \
-p 5601:5601 \
-v /usr/soft/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml \
kibana:7.10.1
//访问 http://ip:5601
分词器是在创建倒排索引时对文档分词,在用户搜索时,对输入的内容分词
ElasticSearch 内置分词器
IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包,是一个基于Maven构建的项目,具有60万字/秒的高速处理能力,支持用户词典扩展定义。
https://github.com/medcl/elasticsearch-analysis-ik
IK分词器可以用ik_max_word
(最细切分,细粒度的分析)和ik_smart
(智能切分,粗粒度的分词)两种方式,分词粒度不同。
# 1、进入/var/lib/docker/volumes/es-plugins/_data/
cd /var/lib/docker/volumes/es-plugins/_data/
# 2、新建文件目录 ik 并且进入
mkdir ik
cd ik
# 3、解压elasticsearch-analysis-ik-7.10.1.zip
yum -y install unzip
unzip elasticsearch-analysis-ik-7.10.1.zip
# 4、重启容器
docker restart elasticsearch
# 查看es日志
docker logs -f elasticsearch
# 重启 Kibana
docker restart kibana
1)打开IK分词器config目录:
2)IKAnalyzer.cfg.xml配置文件内容添加:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
<entry key="ext_dict">ext.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">stopword.dic</</entry>
<!--用户可以在这里配置远程扩展字典 -->
<!-- <entry key="remote_ext_dict">words_location</entry> -->
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
3)新建一个 ext.dic,添加扩展词
4)新建一个stopword.dic,添加停用词
5)重启elasticsearch
mapping是对索引库中文档的约束,常见的mapping属性包括:
PUT /索引库名称
{
"mappings": {
"properties": {
"字段名":{
"type": "text",
"analyzer": "ik_smart"
},
"字段名2":{
"type": "keyword",
"index": "false"
},
// ...略
}
}
}
GET /索引库名称
索引库一旦创建,无法修改mapping。但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响。
PUT /索引库名/_mapping
{
"properties": {
"新字段名":{
"type": "integer"
}
}
}
DELETE /索引库名
POST /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
"字段3": {
"子属性1": "值3",
"子属性2": "值4"
}
// ...
}
GET /索引库名称/_doc/文档id
PUT /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
// ... 略
}
POST /索引库名/_update/文档id
{
"doc": {
"字段名": "新的值",
}
}
DELETE /索引库名/_doc/文档id
ES官方提供了各种不同语言的客户端,用来操作ES。这些客户端的本质就是组装DSL语句,通过http请求发送给ES。官方文档地址:https://www.elastic.co/guide/en/elasticsearch/client/index.html
其中的Java Rest Client又包括两种: - Java Low Level Rest Client
- Java High Level Rest Client
初始化RestAPI
在elasticsearch提供的API中,与elasticsearch一切交互都封装在一个名为RestHighLevelClient的类中,必须先完成这个对象的初始化,建立与elasticsearch的连接。
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
</dependency>
<properties>
<java.version>1.8</java.version>
<elasticsearch.version>7.12.1</elasticsearch.version>
</properties>
public class Test {
private RestHighLevelClient client;
// 每一个测试方法执行前初始化客户端
@BeforeEach
void setUp() {
this.client = new RestHighLevelClient(RestClient.builder(
HttpHost.create("http://ip:9200")
));
}
// 每一个测试方法执行后初始化客户端
@AfterEach
void tearDown() throws IOException {
this.client.close();
}
}
@Test
void createHotelIndex() throws IOException {
// 1.创建Request对象
CreateIndexRequest request = new CreateIndexRequest("hotel");
// 2.准备请求的参数:DSL语句
request.source(MAPPING_TEMPLATE, XContentType.JSON);
// 3.发送请求
client.indices().create(request, RequestOptions.DEFAULT);
}
@Test
void testDeleteHotelIndex() throws IOException {
// 1.创建Request对象
DeleteIndexRequest request = new DeleteIndexRequest("hotel");
// 2.发送请求
client.indices().delete(request, RequestOptions.DEFAULT);
}
@Test
void testExistsHotelIndex() throws IOException {
// 1.创建Request对象
GetIndexRequest request = new GetIndexRequest("hotel");
// 2.发送请求
boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
// 3.输出
System.err.println(exists ? "索引库已经存在!" : "索引库不存在!");
}
小结:
索引库操作的基本步骤:
@Test
void testAddDocument() throws IOException {
// 1.根据id查询酒店数据
Hotel hotel = hotelService.getById(61083L);
// 2.转换为文档类型
HotelDoc hotelDoc = new HotelDoc(hotel);
// 3.将HotelDoc转json
String json = JSON.toJSONString(hotelDoc);
// 1.准备Request对象
IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
// 2.准备Json文档
request.source(json, XContentType.JSON);
// 3.发送请求
client.index(request, RequestOptions.DEFAULT);
}
@Test
void testGetDocumentById() throws IOException {
// 1.准备Request
GetRequest request = new GetRequest("hotel", "61082");
// 2.发送请求,得到响应
GetResponse response = client.get(request, RequestOptions.DEFAULT);
// 3.解析响应结果
String json = response.getSourceAsString();
HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
System.out.println(hotelDoc);
}
@Test
void testDeleteDocument() throws IOException {
// 1.准备Request
DeleteRequest request = new DeleteRequest("索引库名", "id");
// 2.发送请求
client.delete(request, RequestOptions.DEFAULT);
}
修改的两种方式:
@Test
void testUpdateDocument() throws IOException {
// 1.准备Request
UpdateRequest request = new UpdateRequest("hotel", "61083");
// 2.准备请求参数
request.doc(
"price", "1000",
"starName", "五星"
);
// 3.发送请求
client.update(request, RequestOptions.DEFAULT);
}
批量处理BulkRequest,其本质就是将多个普通的CRUD请求组合在一起发送。
其中提供了一个add方法,用来添加其他请求:
@Test
void testBulkRequest() throws IOException {
// 批量查询酒店数据
List<Hotel> hotels = hotelService.list();
// 1.创建Request
BulkRequest request = new BulkRequest();
// 2.准备参数,添加多个新增的Request
for (Hotel hotel : hotels) {
// 2.1.转换为文档类型HotelDoc
HotelDoc hotelDoc = new HotelDoc(hotel);
// 2.2.创建新增文档的Request对象
request.add(new IndexRequest("hotel")
.id(hotelDoc.getId().toString())
.source(JSON.toJSONString(hotelDoc), XContentType.JSON));
}
// 3.发送请求
client.bulk(request, RequestOptions.DEFAULT);
}
小结:
文档操作的基本步骤:
初始化RestHighLevelClient
创建XxxRequest。XXX是Index、Get、Update、Delete、Bulk
准备参数(Index、Update、Bulk时需要)
发送请求。调用RestHighLevelClient#.xxx()方法,xxx是index、get、update、delete、bulk
解析结果(Get时需要)