SpringBoot与ElasticSearch检索笔记整理

介绍

（一）检索

我们的应用经常需要添加检索功能，开源的 ElasticSearch 是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持；

Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能，github等大型的站点也是采用了ElasticSearch作为其搜索服务

（二）主要概念融合

在Elasticsearch中有几个重要的概念，这里将该名词与开发中的数据库系统进行关系映射，以此来更好的认识理解这些概念

引用官方文档：

第一个业务需求是存储员工数据。 这将会以 员工文档 的形式存储：一个文档代表一个员工。存储数据到 Elasticsearch 的行为叫做 索引 ，但在索引一个文档之前，需要确定将文档存储在哪里。

一个 Elasticsearch 集群可以 包含多个 索引 ，相应的每个索引可以包含多个 类型 。 这些不同的类型存储着多个 文档 ，每个文档又有 多个 属性 。

索引（名词）：

如前所述，一个 索引 类似于传统关系数据库中的一个 数据库 ，是一个存储关系型文档的地方。 索引 (index) 的复数词为 indices 或 indexes 。

索引（动词）：

索引一个文档 就是存储一个文档到一个 索引 （名词）中以便被检索和查询。这非常类似于 SQL 语句中的 INSERT 关键词，除了文档已存在时，新文档会替换旧文档情况之外。

倒排索引：

关系型数据库通过增加一个 索引 比如一个 B树（B-tree）索引 到指定的列上，以便提升数据检索速度。Elasticsearch 和 Lucene 使用了一个叫做 倒排索引 的结构来达到相同的目的

安装

Docker下载镜像

$docker  pull  elasticsearch

启动
由于ES启动需要2G的内存，为了保证测试正常运行，在这里设置了内存大小为256M，9200端口暴露给外部访问，9300暴露给集群各节点的数据通信

$docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -p 9200:9200 -p 9300:9300 --name myEs 5acf0e8da90b

测试：访问如下地址返回JSON格式的数据即为正常
http://host_ip:9200/

检索方式学习

Elasticsearch 返回一个 HTTP 状态码（例如：200 OK）和（除HEAD请求）一个 JSON 格式的返回值

员工索实例(官方文档实例)：这里使用PostMan工具来进行请求发送

https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_indexing_employee_documents.html

实验准备：

1：每个员工索引一个文档，文档包含该员工的所有信息。
2：每个文档都将是 employee 类型 。
3：该类型位于 索引 megacorp 内。

（一）索引员工文档

PUT /megacorp/employee/1
{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25,
    "about" :      "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

PostMan使用：其中PUT框选择请求方式，地址栏填入RestFul请求，如果请求方式带有方法体，在Body部分选择raw填入请求文档数据，右侧可以选择数据文档格式，建议JSON

注意，路径 /megacorp/employee/1 包含了三部分的信息：

megacorp
索引名称
employee
类型名称
1
特定雇员的ID
请求体 —— JSON 文档 —— 包含了这位员工的所有详细信息，他的名字叫 John Smith ，今年 25 岁，喜欢攀岩。
很简单！无需进行执行管理任务，如创建一个索引或指定每个属性的数据类型之类的，可以直接只索引一个文档。Elasticsearch 默认地完成其他一切，因此所有必需的管理任务都在后台使用默认设置完成。

通过PostMan刚才的请求，现在查看响应体可以发现ES已经为我们添加了索引，并且索引了一个文档

接着依次通过PostMan工具将下面俩条数据索引到文档中

PUT /megacorp/employee/2
{
    "first_name" :  "Jane",
    "last_name" :   "Smith",
    "age" :         32,
    "about" :       "I like to collect rock albums",
    "interests":  [ "music" ]
}

PUT /megacorp/employee/3
{
    "first_name" :  "Douglas",
    "last_name" :   "Fir",
    "age" :         35,
    "about":        "I like to build cabinets",
    "interests":  [ "forestry" ]
}

（二）检索文档

目前我们已经在 Elasticsearch 中存储了一些数据， 接下来就能专注于实现应用的业务需求了。第一个需求是可以检索到单个雇员的数据。

这在 Elasticsearch 中很简单。简单地执行 一个 HTTP GET 请求并指定文档的地址——索引库、类型和ID。 使用这三个信息可以返回原始的 JSON 文档：

发送GET请求

http://192.168.0.104:9200/megacorp/employee/1

返回结果包含了文档的一些元数据，以及 _source 属性，内容是 John Smith 雇员的原始 JSON 文档：

{
    "_index": "megacorp",
    "_type": "employee",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "first_name": "John",
        "last_name": "Smith",
        "age": 25,
        "about": "I love to go rock climbing",
        "interests": [
            "sports",
            "music"
        ]
    }
}

注意：将 HTTP 命令由 PUT 改为 GET 可以用来检索文档，同样的，可以使用 DELETE 命令来删除文档，以及使用 HEAD 指令来检查文档是否存在。如果想更新已存在的文档，只需再次 PUT 。HEAD 指令 如果检索到数据返回200，如果未检索到数据返回404，没有响应体

（三）轻量搜索

GET /megacorp/employee/_search

可以看到，我们仍然使用索引库 megacorp 以及类型 employee，但与指定一个文档 ID 不同，这次使用 _search 。返回结果包括了所有三个文档，放在数组 hits 中。一个搜索默认返回十条结果。

注意：返回结果不仅告知匹配了哪些文档，还包含了整个文档本身：显示搜索结果给最终用户所需的全部信息。

接下来，尝试下搜索姓氏为 Smith 的雇员。为此，我们将使用一个 高亮 搜索，很容易通过命令行完成。这个方法一般涉及到一个 查询字符串 （query-string） 搜索，因为我们通过一个URL参数来传递查询信息给搜索接口：

GET /megacorp/employee/_search?q=last_name:Smith

我们仍然在请求路径中使用 _search 端点，并将查询本身赋值给参数 q= 。返回结果给出了所有的 Smith：

（四）使用查询表达式搜索

Query-string 搜索通过命令非常方便地进行临时性的即席搜索 ，但它有自身的局限性（参见 轻量 搜索 ）。Elasticsearch 提供一个丰富灵活的查询语言叫做 查询表达式 ， 它支持构建更加复杂和健壮的查询。

领域特定语言 （DSL）， 使用 JSON 构造了一个请求。我们可以像这样重写之前的查询所有名为 Smith 的搜索 ：

GET /megacorp/employee/_search
{
    "query" : {
        "match" : {
            "last_name" : "Smith"
        }
    }
}

返回结果与之前的查询一样，但还是可以看到有一些变化。其中之一是，不再使用 query-string 参数，而是一个请求体替代。这个请求使用 JSON 构造，并使用了一个 match 查询

（五）更复杂的查询

现在尝试下更复杂的搜索。 同样搜索姓氏为 Smith 的员工，但这次我们只需要年龄大于 30 的。查询需要稍作调整，使用过滤器 filter ，它支持高效地执行一个结构化查询。

GET /megacorp/employee/_search
{
    "query" : {
        "bool": {
            "must": {
                "match" : {
                    "last_name" : "smith" 
                }
            },
            "filter": {
                "range" : {
                    "age" : { "gt" : 30 } 
                }
            }
        }
    }
}

这部分与我们之前使用的 match 查询 一样。
这部分是一个 range 过滤器 ， 它能找到年龄大于 30 的文档，其中 gt 表示_大于_(great than)

（六）全文搜索

截止目前的搜索相对都很简单：单个姓名，通过年龄过滤。现在尝试下稍微高级点儿的全文搜索——一项 传统数据库确实很难搞定的任务。

搜索下所有喜欢攀岩（rock climbing）的员工：

GET /megacorp/employee/_search
{
    "query" : {
        "match" : {
            "about" : "rock climbing"
        }
    }
}

Elasticsearch 默认按照相关性得分排序，即每个文档跟查询的匹配程度。第一个最高得分的结果很明显：John Smith 的 about 属性清楚地写着 “rock climbing” 。

但为什么 Jane Smith 也作为结果返回了呢？原因是她的 about 属性里提到了 “rock” 。因为只有 “rock” 而没有 “climbing” ，所以她的相关性得分低于 John 的。

这是一个很好的案例，阐明了 Elasticsearch 如何 在 全文属性上搜索并返回相关性最强的结果。Elasticsearch中的 相关性 概念非常重要，也是完全区别于传统关系型数据库的一个概念，数据库中的一条记录要么匹配要么不匹配。
短语搜索
找出一个属性中的独立单词是没有问题的，但有时候想要精确匹配一系列单词或者_短语_ 。 比如， 我们想执行这样一个查询，仅匹配同时包含 “rock” 和 “climbing” ，并且 二者以短语 “rock climbing” 的形式紧挨着的雇员记录。

为此对 match 查询稍作调整，使用一个叫做 match_phrase 的查询：

GET /megacorp/employee/_search
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    }
}

（七）高亮搜索

许多应用都倾向于在每个搜索结果中 高亮 部分文本片段，以便让用户知道为何该文档符合查询条件。在 Elasticsearch 中检索出高亮片段也很容易。

再次执行前面的查询，并增加一个新的 highlight 参数：

GET /megacorp/employee/_search
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    },
    "highlight": {
        "fields" : {
            "about" : {}
        }
    }
}

（八）检索总结

SpringBoot整合ES

（一）简单介绍和自动配置分析

下面通过SpringBoot来整合ES，启动选择时选择ElasticSearch即可，本次测试版本为SpringBoot 1.X
SpringBoot默认使用Spring Data来操作ElasticSearch的.
查看SpringBoot的自动配置包可以发现它有俩种方式交互ElasticSearch，
第一种是JEST，第二种是SpringData ElasticSearch

JEST默认是不生效的，SpringData ElasticSearch默认引入

如果需要使用JEST则需要添加对应的依赖并且去掉SpringData ElasticSearch
的依赖,根据ElasticSearch的版本选择JEST依赖，二者依赖不要同时引入

（二）Jest客户端整合使用

<!-- https://mvnrepository.com/artifact/io.searchbox/jest -->
<dependency>
    <groupId>io.searchbox</groupId>
    <artifactId>jest</artifactId>
    <version>6.3.1</version>
</dependency>

使用Jest来操作ES，该自动配置包下有俩个主要的类，一个是自动配置类，一个是属性映射类：
JestAutoConfiguration类中提供了@Bean JestClient该对象可以为我们提供具体的ES操作功能
JestProperties：提供了相关的ES配置映射
uris：表示的连接的主机地址，可以有多个，默认为http://localhost:9200

配置文件application.properties添加配置

spring.elasticsearch.jest.uris=http://192.168.0.104:9200

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootElasticsearchApplicationTests {

    @Autowired
    JestClient jestClient;
    //索引文档到索引中
    @Test
    public void createIndex() throws IOException {
        Employee employee = new Employee();
        employee.setId(4);
        employee.setFirst_name("lihua");
        employee.setLast_name("bob");
        employee.setAge(18);
        employee.setAbout("hello world");
        List<String> list = new ArrayList<>();
        list.add("ball");
        list.add("sing");
        employee.setInterests(list);
        //构建一个索引，将employee文档索引到megacorp上
        Index index = new Index.Builder(employee).index("megacorp").type("employee").build();
        jestClient.execute(index);

    }

    //检索数据
    @Test
    public void search() throws IOException {
        //创建一个搜索表达式
        String json = "{\n" +
                "    \"query\" : {\n" +
                "        \"match\" : {\n" +
                "            \"about\" : \"rock climbing\"\n" +
                "        }\n" +
                "    }\n" +
                "}";
        //构建搜索
        Search build = new Search.Builder(json).addIndex("megacorp").addType("employee").build();
        SearchResult result = jestClient.execute(build);
       //返回的result 包含了查询的头部信息和内部JSON数据
        System.out.println(result);

    }
}

索引文档结果可以通过PostMan工具查询是否已经索引文档到库中

（三）SpringData ES整合使用

（1）官方文档参考

https://docs.spring.io/spring-data/elasticsearch/docs/3.2.5.RELEASE/reference/html/#new-features

（2）自动配置类介绍

自动配置类：ElasticsearchAutoConfiguration
主要信息：
1：Client类，集群节点信息clusterNodes、clusterName
2：ElasticsearchProperties配置映射
前缀：spring.data.elasticsearch
开发时需要配置俩个属性：
clusterName
clusterNodes

3：ElasticsearchTemplate 操作elasticsearch
4: ElasticsearchRepository,可继承该类，通过继承该类使用该类的各种操作方法，类似于JPA的Repository模式

使用注意：elasticsearch和SpringData Elasticsearch版本存在很多不一致，在使用过程中启动可能存在问题，所以需要将版本进行匹配

备注：本次实验使用版本情况如下：
SpringBoot：1.5.12.RELEASE，SpringData Elasticsearch依赖于SpringBoot
elasticsearch：2.4.6

 <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
  </dependency>

设置配置文件

#集群名(默认值: elasticsearch)
spring.data.elasticsearch.cluster-name=elasticsearch
#默认 9300 是 Java 客户端的端口。9200 是支持 Restful HTTP 的接口
#集群节点地址列表，用逗号分隔。如果没有指定，就启动一个客户端节点
spring.data.elasticsearch.cluster-nodes=192.168.0.104:9300

（3）ElasticsearchRepository方式操作

接下来使用ElasticsearchRepository操作ES，首先创建一个实体类作为传输的文档数据，
Employee，字段名称同官方文档中的员工实例属性

然后创建一个接口EmployeeRepository继承ElasticsearchRepository，设置对应的数据类型，
泛型参数中：Employee为数据格式，Integer为ID主键类型

public interface EmployeeRepository  extends ElasticsearchRepository<Employee,Integer> {

}

通过下面注解来声明索引和类型
@Document(indexName = “megacorp”,type = “employee”)
其中indexName 表示索引名称，type 表示类型

@Document(indexName = "megacorp",type = "employee")
public class Employee {

    private Integer id;
    private String first_name;
    private String last_name;
    private Integer age;
    private String about;
private List<String> interests;
//省略setter和getter等
}

测试

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootElasticsearchApplicationTests {


    @Autowired
    EmployeeRepository employeeRepository;

    @Test
    public void employeeRepositoryInsert() {
        Employee employee = new Employee();
        employee.setId(5);
        employee.setFirst_name("lihua");
        employee.setLast_name("bob");
        employee.setAge(43);
        employee.setAbout("hello world");
        List<String> list = new ArrayList<>();
        list.add("game");
        list.add("football");
		employee.setInterests(list);
        employeeRepository.index(employee);
    }

}  

生成结果

除了使用父类提供的方法外，还可以自定义方法，可以根据提示来创建方法名，格式类似于MyBatis的Example的用法，详细的介绍参考官方文档

public interface EmployeeRepository extends ElasticsearchRepository<Employee, Integer> {
public  List<Employee>  findEmployeeByAboutIsLike(String about);
}

@Test
    public void TestFindEmployeesByFirst_nameIsLike() {

        List<Employee> employees = employeeRepository.findEmployeeByAboutIsLike("hello");
        System.out.println("-----------------------");
        for (Employee employee : employees) {
            System.out.println(employee);
        }

    }