ElasticSearch学习笔记(狂神)

ElasticSearch
1. 介绍

本笔记参考狂神说,版本为7.6.2


Lucene是一套信息检索工具包(jar包),不含搜索引擎系统

ElasticSearch是基于Lucene做了一些封装和增强

ElasticSearch和Solr之间的对比:

ElasticSearch学习笔记(狂神)_第1张图片

2. 入门操作

JDK1.8以上,客户端,界面工具  版本对应。

2.1 下载

ELK的下载地址

ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D

logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D

可视化界面elasticsearch-head.https://github.com/mobz/elasticsearch-head

kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D

ik分词器 https://github.com/medcl/elasticsearch-analysis-ik

jdk必须是1.8及以上的版本
 

目录:

bin:启动文件
config:配置文件
	log4j2 日志文件
	jvm.options 虚拟机文件
	elasticsearch.yml 配置文件  比如默认9200端口
lib:相关jar包

modules:功能模块
plugins:插件:比如ik插件

启动,然后localhost:9200访问

ElasticSearch学习笔记(狂神)_第2张图片

2.2 Chrome安装ElasticSearch-head插件

ElasticSearch不同于Solr自带图形化界面,我们可以通过安装ElasticSearch-head插件,完成图形化界面的效果,完成索引数据的查看。

但是,在Windows下安装es-head是非常麻烦的,需要先安装nodojs
然后在cmd控制台中输入如下执行命令:

npm install -g grunt-cli
npm install
grunt server

其实chrome是有ElasticSearch-head插件的,通过安装插件直接在浏览器运行,根本不需要安装nodejs

安装步骤

  1. 下载es-head.crx文件
    插件下载地址: https://github.com/mikewuhao/es-head
    在这里插入图片描述
  • 2.把下载好的es-head.crx文件扩展名改为.zip的压缩包文件, 如:es-head.zip
  • 3.解压缩es-head.zip文件到es-head文件夹
  • 4.到chrome的扩展程序里–打开开发者模式—加载已解压的扩展程序–上传刚才的es-head文件夹, 打开浏览器看右上角的es-head图标插件, 即安装成功


在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
打开head插件连接好es路径即可
在这里插入图片描述

 

ElasticSearch学习笔记(狂神)_第3张图片

 

2.3 安装kibana

  • ELK:日志分析架构栈
  • 注意:下载版本与es一致;可以在配置文件中汉化
  • 默认端口 localhost:5601

找到开发工具,之后的所有的操作都在这里编写

ElasticSearch学习笔记(狂神)_第4张图片

汉化:在配置文件中修改:

汉化成功:

ElasticSearch学习笔记(狂神)_第5张图片

 

3. ES核心概念

  • es是面向文档的,一切都是JSON

  • 对比

    • 关系型数据库 Elasticsearch
      数据库database 索引 indices(数据库)
      表tables types (以后会被弃用)
      行rows documents (文档)
      字段columns fields
  • 物理设计 :在后台把每个索引划分为多个分片,每片可以再集群中的不同服务器间迁移;

         一个人就是一个集群,默认的集群名就是elasticsearch

            

  • 逻辑设计

    • 文档:索引和搜索数据的最小单位是文档;(就是一条条数据)
      • 自我包含:key:value
      • 层次型:一个文档中包含文档(json对象,fastjson自动转换)
    • 类型:文档的逻辑容器 
    • 索引:数据库(非常大的文档集合)
  • 倒排索引

    • es使用倒排索引的结构,采用Lucene倒排索引作为底层。用于快速全文检索。

物理设计:节点和分片如何工作

一个集群至少有一 个节点,而一个节点就是一个elasricsearch进程 ,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片( primary shard ,又称主分片)构成的,每一个主分片会有一个副本( replica shard ,又称复制分片)

在这里插入图片描述
上图是一个有3个节点的集群,可以看到主分片和对应的复制分片都不会在同一个节点内,这样有利于某个节点挂掉了,数据也不至于丢失。实际上, 一个分片是一个Lucene索引, 一个包含倒排索引的文件目录,倒排索引的结构使得elasticsearch在不扫描全部文档的情况下,就能告诉你哪些文档包含特定的关键字。不过,等等,倒排索引是什么鬼?
 

倒排索引

elasticsearch使用的是一种称为倒排索引的结构,采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索,一个索引由文档中所有不重复的列表构成,对于每一个词,都有一个包含它的文档列表。 例如,现在有两个文档,每个文档包含如下内容:

Study every day, good good up to forever  # 文 档1包含的内容
To forever, study every day,good good up  # 文档2包含的内容

为创建倒排索引,我们首先要将每个文档拆分成独立的词(或称为词条或者tokens) ,然后创建一个包含所有不重复的词条的排序列表,然后列出每个词条出现在哪个文档:

term doc_1 doc_2
Study x
To x x
every
forever
day
study x
good
every
to x
up

现在,我们试图搜索 to forever,只需要查看包含每个词条的文档

term doc_1 doc_2
to x
forever
total 2 1

两个文档都匹配,但是第一个文档比第二个匹配程度更高。如果没有别的条件,现在,这两个包含关键字的文档都将返回。再来看一个示例,比如我们通过博客标签来搜索博客文章。那么倒排索引列表就是这样的一个结构: 

博客文章(原始数据) 博客文章(原始数据) 索引列表(倒排索引) 索引列表(倒排索引)
博客文章ID 标签 标签 博客文章ID
1 python python 1,2,3
2 python linux 3,4
3 linux,python    
4 linux

如果要搜索含有python标签的文章,那相对于查找所有原始数据而言,查找倒排索引后的数据将会快的多。只需要查看标签这一栏,然后获取相关的文章ID即可。完全过滤掉无关的所有数据,提高效率!

elasticsearch的索引和Lucene的索引对比

在elasticsearch中,索引(库)这个词被频繁使用,这就是术语的使用。在elasticsearch中 ,索引被分为多个分片,每份分片是一个Lucene的索引。所以一个elasticsearch索引是由多 个Lucene索引组成的。别问为什么,谁让elasticsearch使用Lucene作为底层呢!如无特指,说起索引都是指elasticsearch的索引。

接下来的一切操作都在kibana中Dev Tools下的Console里完成。基础操作!
 

4. IK分词器插件

分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱狂神”会被分为"我",“爱”,“狂”,“神” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。

如果要使用中文,建议使用ik分词器!

IK提供了两个分词算法: ik_ smart和ik_ max_ word ,其中ik_ smart为最少切分, ik_ max_ _word为最细粒度划分!一会我们测试!

  • 什么是IK分词器:
    • 把一句话分词
    • 如果使用中文:推荐IK分词器
    • 两个分词算法:ik_smart(最少切分),ik_max_word(最细粒度划分)

 

下载安装
下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.6.2 (版本一定要对应,不然闪退)

然后解压,放到elasticsearch的plugins中,建立“ik”文件夹,然后放入;

重启观察es:发现加载ik插件了

使用Kibana测试:

【ik_smart】测试:最小切分

输入:

ElasticSearch学习笔记(狂神)_第6张图片

输出:

{
  "tokens" : [
    {
      "token" : "生在",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "红",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "旗下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "长在",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "春",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "风里",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

 

【ik_max_word】测试:穷尽词库的可能

输入:

ElasticSearch学习笔记(狂神)_第7张图片

输出:

{
  "tokens" : [
    {
      "token" : "生在",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "红旗",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "旗下",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "长在",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "春风",
      "start_offset" : 7,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "风里",
      "start_offset" : 8,
      "end_offset" : 10,
      "type" : "CN_WORD",
      "position" : 5
    }
  ]
}

 

用户配置字典
当一些特殊词(比如姓名,这里用狂神说 为例)不能被识别切分时候,用户可以自定义字典:

 

记得更改为UTF-8编码

ElasticSearch学习笔记(狂神)_第8张图片

重启es和kibana测试

原来的:

ElasticSearch学习笔记(狂神)_第9张图片

修改之后:可以看到狂神说 已经成为一个关键词了

ElasticSearch学习笔记(狂神)_第10张图片

以后的话,我们需要自己配置分词,就在自定义的dic文件中配置即可。

5. Rest风格

5.1 简介

RESTful是一种架构的规范与约束、原则,符合这种规范的架构就是RESTful架构。

操作

ElasticSearch学习笔记(狂神)_第11张图片

5.2 测试

1、创建一个索引

PUT /索引名/类型名/id

{

请求体

}

ElasticSearch学习笔记(狂神)_第12张图片

完成了自动添加了索引!数据也成功的添加了。 (类似数据库)

ElasticSearch学习笔记(狂神)_第13张图片

那么name这个字段用不用指定类型呢

ElasticSearch学习笔记(狂神)_第14张图片

指定字段的类型:

ElasticSearch学习笔记(狂神)_第15张图片

获得这个规则!可以通过GET请求获得具体的信息

ElasticSearch学习笔记(狂神)_第16张图片

如果自己不设置文档字段类型,那么es会自动给默认类型  (默认用_doc表示)

ElasticSearch学习笔记(狂神)_第17张图片

2. cat命令

获取健康值

ElasticSearch学习笔记(狂神)_第18张图片

获取所有的信息

GET _cat/indices?v
  • 1

ElasticSearch学习笔记(狂神)_第19张图片

还有很多 可以自动展示 都试试

3.修改索引

1.修改我们可以还是用原来的PUT的命令,根据id来修改

ElasticSearch学习笔记(狂神)_第20张图片

但是如果没有填写的字段 会重置为空了 ,相当于java接口传对象修改,如果只是传id的某些字段,那其他没传的值都为空了。

2.还有一种update方法 这种不设置某些值 数据不会丢失 post/_update

POST /test3/_doc/1/_update
{
  "doc":{
    "name":"212121"
  }
}

//下面两种都是会将不修改的值清空的

POST /test3/_doc/1
{
    "name":"212121"
}

POST /test3/_doc/1
{
  "doc":{
    "name":"212121"
  }
}

ElasticSearch学习笔记(狂神)_第21张图片

ElasticSearch学习笔记(狂神)_第22张图片

带doc修改 查询也是带doc的(document)

4.删除索引

关于删除索引或者文档的操作

ElasticSearch学习笔记(狂神)_第23张图片

通过DELETE命令实现删除,根据你的请求来判断是删除索引还是删除文档记录

使用RESTFUL的风格是我们ES推荐大家使用的!

5.3 关于文档的基本操作(重点)

查询

最简单的搜索是GET

搜索功能search

ElasticSearch学习笔记(狂神)_第24张图片

 

复杂操作搜索select(排序,分页,高亮,模糊查询,精准查询)(重要)

ElasticSearch学习笔记(狂神)_第25张图片

//测试只能一个字段查询
GET lisen/user/_search
{
  "query": {
    "match": {
      "name": "李森"
    }
  }
}

结果过滤,就是只展示列表中某些字段 (相当于mysql中的 select * 和 select name,age 的区别)

ElasticSearch学习笔记(狂神)_第26张图片

包含

ElasticSearch学习笔记(狂神)_第27张图片

不包含

ElasticSearch学习笔记(狂神)_第28张图片

排序 (根据age这个字段排,由于有了比较的东西,所以_score为null)

ElasticSearch学习笔记(狂神)_第29张图片

分页  (数据下标还是从0开始的,和以前学的数据结构是一样的)

ElasticSearch学习笔记(狂神)_第30张图片

代码

GET lisen/user/_search
{
  "query": {
    "match": {
      "name": "李森"
    }
  },
  "sort":{
    "age":{
      "order":"asc"
    }
  },
  "from": 0,
  "size": 1
}

多条件查询

布尔值查询

must(and),所有的条件都要符合

ElasticSearch学习笔记(狂神)_第31张图片

should(or)或者   跟数据库一样

ElasticSearch学习笔记(狂神)_第32张图片

must_not(not)
ElasticSearch学习笔记(狂神)_第33张图片

 

条件区间(过滤器)
ElasticSearch学习笔记(狂神)_第34张图片

  • gt大于
  • gte大于等于
  • lte小于
  • lte小于等于

匹配多个条件(数组)

在这里插入图片描述

match没用倒排索引 这边改正一下

精确查找

term查询是直接通过倒排索引指定的词条进程精确查找的

关于分词

  • term,直接查询精确的
  • match,会使用分词器解析!(先分析文档,然后通过分析的文档进行查询)

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

ElasticSearch学习笔记(狂神)_第35张图片

默认的是被分词了

ElasticSearch学习笔记(狂神)_第36张图片

keyword没有被分词

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

精确查询多个值

ElasticSearch学习笔记(狂神)_第37张图片

高亮

ElasticSearch学习笔记(狂神)_第38张图片

还能自定义高亮的样式
ElasticSearch学习笔记(狂神)_第39张图片

 

6、springboot集成

ElasticSearch学习笔记(狂神)_第40张图片ElasticSearch学习笔记(狂神)_第41张图片

6.1 引入依赖包

创建一个springboot的项目 同时勾选上springboot-web的包以及Nosql的elasticsearch的包

如果没有就手动引入



    org.elasticsearch.client
    elasticsearch-rest-high-level-client
    7.6.2




    org.springframework.boot
    spring-boot-starter-data-elasticsearch

注意下spring-boot的parent包内的依赖的es的版本是不是你对应的版本

不是的话就在pom文件下写个properties的版本



    1.8
    7.6.2

6.2 注入RestHighLevelClient 客户端

@Configuration
public class ElasticSearchClientConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(new HttpHost("127.0.0.1",9200,"http"))
        );
        return client;
    }
}

6.3 索引的增、删、是否存在

//测试索引的创建
@Test
void testCreateIndex() throws IOException {
    //1.创建索引的请求
    CreateIndexRequest request = new CreateIndexRequest("lisen_index");
    //2客户端执行请求,请求后获得响应
    CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);
    System.out.println(response);
}

//测试索引是否存在
@Test
void testExistIndex() throws IOException {
    //1.创建索引的请求
    GetIndexRequest request = new GetIndexRequest("lisen_index");
    //2客户端执行请求,请求后获得响应
    boolean exist =  client.indices().exists(request, RequestOptions.DEFAULT);
    System.out.println("测试索引是否存在-----"+exist);
}

//删除索引
@Test
void testDeleteIndex() throws IOException {
    DeleteIndexRequest request = new DeleteIndexRequest("lisen_index");
    AcknowledgedResponse delete = client.indices().delete(request,RequestOptions.DEFAULT);
    System.out.println("删除索引--------"+delete.isAcknowledged());
}

6.4 文档的操作

//测试添加文档
    @Test
    void testAddDocument() throws IOException {
        User user = new User("lisen",27);
        IndexRequest request = new IndexRequest("lisen_index");
        request.id("1");
        //设置超时时间
        request.timeout("1s");
        //将数据放到json字符串
        request.source(JSON.toJSONString(user), XContentType.JSON);
        //发送请求
        IndexResponse response = client.index(request,RequestOptions.DEFAULT);
        System.out.println("添加文档-------"+response.toString());
        System.out.println("添加文档-------"+response.status());
//        结果
//        添加文档-------IndexResponse[index=lisen_index,type=_doc,id=1,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]
//        添加文档-------CREATED
    }

    //测试文档是否存在
    @Test
    void testExistDocument() throws IOException {
        //测试文档的 没有index
        GetRequest request= new GetRequest("lisen_index","1");
        //没有indices()了
        boolean exist = client.exists(request, RequestOptions.DEFAULT);
        System.out.println("测试文档是否存在-----"+exist);
    }

    //测试获取文档
    @Test
    void testGetDocument() throws IOException {
        GetRequest request= new GetRequest("lisen_index","1");
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        System.out.println("测试获取文档-----"+response.getSourceAsString());
        System.out.println("测试获取文档-----"+response);

//        结果
//        测试获取文档-----{"age":27,"name":"lisen"}
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","_version":1,"_seq_no":0,"_primary_term":1,"found":true,"_source":{"age":27,"name":"lisen"}}

    }

    //测试修改文档
    @Test
    void testUpdateDocument() throws IOException {
        User user = new User("李逍遥", 55);
        //修改是id为1的
        UpdateRequest request= new UpdateRequest("lisen_index","1");
        request.timeout("1s");
        request.doc(JSON.toJSONString(user),XContentType.JSON);

        UpdateResponse response = client.update(request, RequestOptions.DEFAULT);
        System.out.println("测试修改文档-----"+response);
        System.out.println("测试修改文档-----"+response.status());

//        结果
//        测试修改文档-----UpdateResponse[index=lisen_index,type=_doc,id=1,version=2,seqNo=1,primaryTerm=1,result=updated,shards=ShardInfo{total=2, successful=1, failures=[]}]
//        测试修改文档-----OK

//        被删除的
//        测试获取文档-----null
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","found":false}
    }


    //测试删除文档
    @Test
    void testDeleteDocument() throws IOException {
        DeleteRequest request= new DeleteRequest("lisen_index","1");
        request.timeout("1s");
        DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);
        System.out.println("测试删除文档------"+response.status());
    }

    //测试批量添加文档
    @Test
    void testBulkAddDocument() throws IOException {
        ArrayList userlist=new ArrayList();
        userlist.add(new User("cyx1",5));
        userlist.add(new User("cyx2",6));
        userlist.add(new User("cyx3",40));
        userlist.add(new User("cyx4",25));
        userlist.add(new User("cyx5",15));
        userlist.add(new User("cyx6",35));

        //批量操作的Request
        BulkRequest request = new BulkRequest();
        request.timeout("1s");

        //批量处理请求
        for (int i = 0; i < userlist.size(); i++) {
            request.add(
                    new IndexRequest("lisen_index")
                            .id(""+(i+1))
                            .source(JSON.toJSONString(userlist.get(i)),XContentType.JSON)
            );
        }
        BulkResponse response = client.bulk(request, RequestOptions.DEFAULT);
        //response.hasFailures()是否是失败的
        System.out.println("测试批量添加文档-----"+response.hasFailures());

//        结果:false为成功 true为失败
//        测试批量添加文档-----false
    }


    //测试查询文档
    @Test
    void testSearchDocument() throws IOException {
        SearchRequest request = new SearchRequest("lisen_index");
        //构建搜索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //设置了高亮
        sourceBuilder.highlighter();
        //term name为cyx1的
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "cyx1");
        sourceBuilder.query(termQueryBuilder);
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

        request.source(sourceBuilder);
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        System.out.println("测试查询文档-----"+JSON.toJSONString(response.getHits()));
        System.out.println("=====================");
        for (SearchHit documentFields : response.getHits().getHits()) {
            System.out.println("测试查询文档--遍历参数--"+documentFields.getSourceAsMap());
        }

//        测试查询文档-----{"fragment":true,"hits":[{"fields":{},"fragment":false,"highlightFields":{},"id":"1","matchedQueries":[],"primaryTerm":0,"rawSortValues":[],"score":1.8413742,"seqNo":-2,"sortValues":[],"sourceAsMap":{"name":"cyx1","age":5},"sourceAsString":"{\"age\":5,\"name\":\"cyx1\"}","sourceRef":{"fragment":true},"type":"_doc","version":-1}],"maxScore":1.8413742,"totalHits":{"relation":"EQUAL_TO","value":1}}
//        =====================
//        测试查询文档--遍历参数--{name=cyx1, age=5}
    }

 

你可能感兴趣的:(ElasticSearch,elasticsearch,搜索引擎)