SpringBoot与ElasticSearch检索笔记整理
文章目录
-
-
-
- 介绍
-
- （一）检索
- （二）主要概念融合
- 安装
- 检索方式学习
-
- （一）索引员工文档
- （二）检索文档
- （三）轻量搜索
- （四）使用查询表达式搜索
- （五）更复杂的查询
- （六）全文搜索
- （七）高亮搜索
- （八）检索总结
- SpringBoot整合ES
-
- （一）简单介绍和自动配置分析
- （二）Jest客户端整合使用
- （三）SpringData ES整合使用
-
- （1）官方文档参考
- （2）自动配置类介绍
- （3）ElasticsearchRepository方式操作
-
-
介绍
（一）检索
我们的应用经常需要添加检索功能，开源的 ElasticSearch 是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持；
Elasticsearch是一个分布式搜索服务，提供Restful API，底层基于Lucene，采用多shard（分片）的方式保证数据安全，并且提供自动resharding的功能，github等大型的站点也是采用了ElasticSearch作为其搜索服务
（二）主要概念融合
在Elasticsearch中有几个重要的概念，这里将该名词与开发中的数据库系统进行关系映射，以此来更好的认识理解这些概念
引用官方文档：
第一个业务需求是存储员工数据。 这将会以 员工文档 的形式存储：一个文档代表一个员工。存储数据到 Elasticsearch 的行为叫做 索引 ，但在索引一个文档之前，需要确定将文档存储在哪里。
一个 Elasticsearch 集群可以 包含多个 索引 ，相应的每个索引可以包含多个 类型 。 这些不同的类型存储着多个 文档 ，每个文档又有 多个 属性 。
索引（名词）：
如前所述，一个 索引 类似于传统关系数据库中的一个 数据库 ，是一个存储关系型文档的地方。 索引 (index) 的复数词为 indices 或 indexes 。
索引（动词）：
索引一个文档 就是存储一个文档到一个 索引 （名词）中以便被检索和查询。这非常类似于 SQL 语句中的 INSERT 关键词，除了文档已存在时，新文档会替换旧文档情况之外。
倒排索引：
关系型数据库通过增加一个 索引 比如一个 B树（B-tree）索引 到指定的列上，以便提升数据检索速度。Elasticsearch 和 Lucene 使用了一个叫做 倒排索引 的结构来达到相同的目的
安装
Docker下载镜像
$docker pull elasticsearch
启动
由于ES启动需要2G的内存，为了保证测试正常运行，在这里设置了内存大小为256M，9200端口暴露给外部访问，9300暴露给集群各节点的数据通信
$docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -p 9200:9200 -p 9300:9300 --name myEs 5acf0e8da90b
测试：访问如下地址返回JSON格式的数据即为正常
http://host_ip:9200/
检索方式学习
Elasticsearch 返回一个 HTTP 状态码（例如：200 OK）和（除HEAD请求）一个 JSON 格式的返回值
员工索实例(官方文档实例)：这里使用PostMan工具来进行请求发送
https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_indexing_employee_documents.html
实验准备：
1：每个员工索引一个文档，文档包含该员工的所有信息。
2：每个文档都将是 employee 类型 。
3：该类型位于 索引 megacorp 内。
（一）索引员工文档
PUT /megacorp/employee/1
{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
PostMan使用：其中PUT框选择请求方式，地址栏填入RestFul请求，如果请求方式带有方法体，在Body部分选择raw填入请求文档数据，右侧可以选择数据文档格式，建议JSON
注意，路径 /megacorp/employee/1 包含了三部分的信息：
megacorp
索引名称
employee
类型名称
1
特定雇员的ID
请求体 —— JSON 文档 —— 包含了这位员工的所有详细信息，他的名字叫 John Smith ，今年 25 岁，喜欢攀岩。
很简单！无需进行执行管理任务，如创建一个索引或指定每个属性的数据类型之类的，可以直接只索引一个文档。Elasticsearch 默认地完成其他一切，因此所有必需的管理任务都在后台使用默认设置完成。
通过PostMan刚才的请求，现在查看响应体可以发现ES已经为我们添加了索引，并且索引了一个文档
接着依次通过PostMan工具将下面俩条数据索引到文档中
PUT /megacorp/employee/2
{
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to collect rock albums",
"interests": [ "music" ]
}
PUT /megacorp/employee/3
{
"first_name" : "Douglas",
"last_name" : "Fir",
"age" : 35,
"about": "I like to build cabinets",
"interests": [ "forestry" ]
}
（二）检索文档
目前我们已经在 Elasticsearch 中存储了一些数据， 接下来就能专注于实现应用的业务需求了。第一个需求是可以检索到单个雇员的数据。
这在 Elasticsearch 中很简单。简单地执行 一个 HTTP GET 请求并指定文档的地址——索引库、类型和ID。 使用这三个信息可以返回原始的 JSON 文档：
发送GET请求
http://192.168.0.104:9200/megacorp/employee/1
返回结果包含了文档的一些元数据，以及 _source 属性，内容是 John Smith 雇员的原始 JSON 文档：
{
"_index": "megacorp",
"_type": "employee",
"_id": "1",
"_version": 1,
"found": true,
"_source": {
"first_name": "John",
"last_name": "Smith",
"age": 25,
"about": "I love to go rock climbing",
"interests": [
"sports",
"music"
]
}
}
注意：将 HTTP 命令由 PUT 改为 GET 可以用来检索文档，同样的，可以使用 DELETE 命令来删除文档，以及使用 HEAD 指令来检查文档是否存在。如果想更新已存在的文档，只需再次 PUT 。HEAD 指令 如果检索到数据返回200，如果未检索到数据返回404，没有响应体
（三）轻量搜索
GET /megacorp/employee/_search
可以看到，我们仍然使用索引库 megacorp 以及类型 employee，但与指定一个文档 ID 不同，这次使用 _search 。返回结果包括了所有三个文档，放在数组 hits 中。一个搜索默认返回十条结果。
注意：返回结果不仅告知匹配了哪些文档，还包含了整个文档本身：显示搜索结果给最终用户所需的全部信息。
接下来，尝试下搜索姓氏为 Smith 的雇员。为此，我们将使用一个 高亮 搜索，很容易通过命令行完成。这个方法一般涉及到一个 查询字符串 （query-string） 搜索，因为我们通过一个URL参数来传递查询信息给搜索接口：
GET /megacorp/employee/_search?q=last_name:Smith
我们仍然在请求路径中使用 _search 端点，并将查询本身赋值给参数 q= 。返回结果给出了所有的 Smith：
（四）使用查询表达式搜索
Query-string 搜索通过命令非常方便地进行临时性的即席搜索 ，但它有自身的局限性（参见 轻量 搜索 ）。Elasticsearch 提供一个丰富灵活的查询语言叫做 查询表达式 ， 它支持构建更加复杂和健壮的查询。
领域特定语言 （DSL）， 使用 JSON 构造了一个请求。我们可以像这样重写之前的查询所有名为 Smith 的搜索 ：
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"last_name" : "Smith"
}
}
}
返回结果与之前的查询一样，但还是可以看到有一些变化。其中之一是，不再使用 query-string 参数，而是一个请求体替代。这个请求使用 JSON 构造，并使用了一个 match 查询
（五）更复杂的查询
现在尝试下更复杂的搜索。 同样搜索姓氏为 Smith 的员工，但这次我们只需要年龄大于 30 的。查询需要稍作调整，使用过滤器 filter ，它支持高效地执行一个结构化查询。
GET /megacorp/employee/_search
{
"query" : {
"bool": {
"must": {
"match" : {
"last_name" : "smith"
}
},
"filter": {
"range" : {
"age" : { "gt" : 30 }
}
}
}
}
}
这部分与我们之前使用的 match 查询 一样。
这部分是一个 range 过滤器 ， 它能找到年龄大于 30 的文档，其中 gt 表示_大于_(great than)
（六）全文搜索
截止目前的搜索相对都很简单：单个姓名，通过年龄过滤。现在尝试下稍微高级点儿的全文搜索——一项 传统数据库确实很难搞定的任务。
搜索下所有喜欢攀岩（rock climbing）的员工：
GET /megacorp/employee/_search
{
"query" : {
"match" : {
"about" : "rock climbing"
}
}
}
Elasticsearch 默认按照相关性得分排序，即每个文档跟查询的匹配程度。第一个最高得分的结果很明显：John Smith 的 about 属性清楚地写着 “rock climbing” 。
但为什么 Jane Smith 也作为结果返回了呢？原因是她的 about 属性里提到了 “rock” 。因为只有 “rock” 而没有 “climbing” ，所以她的相关性得分低于 John 的。
这是一个很好的案例，阐明了 Elasticsearch 如何 在 全文属性上搜索并返回相关性最强的结果。Elasticsearch中的 相关性 概念非常重要，也是完全区别于传统关系型数据库的一个概念，数据库中的一条记录要么匹配要么不匹配。
短语搜索
找出一个属性中的独立单词是没有问题的，但有时候想要精确匹配一系列单词或者_短语_ 。 比如， 我们想执行这样一个查询，仅匹配同时包含 “rock” 和 “climbing” ，并且 二者以短语 “rock climbing” 的形式紧挨着的雇员记录。
为此对 match 查询稍作调整，使用一个叫做 match_phrase 的查询：
GET /megacorp/employee/_search
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
}
}
（七）高亮搜索
许多应用都倾向于在每个搜索结果中 高亮 部分文本片段，以便让用户知道为何该文档符合查询条件。在 Elasticsearch 中检索出高亮片段也很容易。
再次执行前面的查询，并增加一个新的 highlight 参数：
GET /megacorp/employee/_search
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
},
"highlight": {
"fields" : {
"about" : {}
}
}
}
（八）检索总结
SpringBoot整合ES
（一）简单介绍和自动配置分析
下面通过SpringBoot来整合ES，启动选择时选择ElasticSearch即可，本次测试版本为SpringBoot 1.X
SpringBoot默认使用Spring Data来操作ElasticSearch的.
查看SpringBoot的自动配置包可以发现它有俩种方式交互ElasticSearch，
第一种是JEST，第二种是SpringData ElasticSearch
JEST默认是不生效的，SpringData ElasticSearch默认引入
如果需要使用JEST则需要添加对应的依赖并且去掉SpringData ElasticSearch
的依赖,根据ElasticSearch的版本选择JEST依赖，二者依赖不要同时引入
（二）Jest客户端整合使用
<!-- https://mvnrepository.com/artifact/io.searchbox/jest -->
<dependency>
<groupId>io.searchbox</groupId>
<artifactId>jest</artifactId>
<version>6.3.1</version>
</dependency>
使用Jest来操作ES，该自动配置包下有俩个主要的类，一个是自动配置类，一个是属性映射类：
JestAutoConfiguration类中提供了@Bean JestClient该对象可以为我们提供具体的ES操作功能
JestProperties：提供了相关的ES配置映射
uris：表示的连接的主机地址，可以有多个，默认为http://localhost:9200
配置文件application.properties添加配置
spring.elasticsearch.jest.uris=http://192.168.0.104:9200
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootElasticsearchApplicationTests {
@Autowired
JestClient jestClient;
//索引文档到索引中
@Test
public void createIndex() throws IOException {
Employee employee = new Employee();
employee.setId(4);
employee.setFirst_name("lihua");
employee.setLast_name("bob");
employee.setAge(18);
employee.setAbout("hello world");
List<String> list = new ArrayList<>();
list.add("ball");
list.add("sing");
employee.setInterests(list);
//构建一个索引，将employee文档索引到megacorp上
Index index = new Index.Builder(employee).index("megacorp").type("employee").build();
jestClient.execute(index);
}
//检索数据
@Test
public void search() throws IOException {
//创建一个搜索表达式
String json = "{\n" +
" \"query\" : {\n" +
" \"match\" : {\n" +
" \"about\" : \"rock climbing\"\n" +
" }\n" +
" }\n" +
"}";
//构建搜索
Search build = new Search.Builder(json).addIndex("megacorp").addType("employee").build();
SearchResult result = jestClient.execute(build);
//返回的result 包含了查询的头部信息和内部JSON数据
System.out.println(result);
}
}
索引文档结果可以通过PostMan工具查询是否已经索引文档到库中
（三）SpringData ES整合使用
（1）官方文档参考
https://docs.spring.io/spring-data/elasticsearch/docs/3.2.5.RELEASE/reference/html/#new-features
（2）自动配置类介绍
自动配置类：ElasticsearchAutoConfiguration
主要信息：
1：Client类，集群节点信息clusterNodes、clusterName
2：ElasticsearchProperties配置映射
前缀：spring.data.elasticsearch
开发时需要配置俩个属性：
clusterName
clusterNodes
3：ElasticsearchTemplate 操作elasticsearch
4: ElasticsearchRepository,可继承该类，通过继承该类使用该类的各种操作方法，类似于JPA的Repository模式
使用注意：elasticsearch和SpringData Elasticsearch版本存在很多不一致，在使用过程中启动可能存在问题，所以需要将版本进行匹配
备注：本次实验使用版本情况如下：
SpringBoot：1.5.12.RELEASE，SpringData Elasticsearch依赖于SpringBoot
elasticsearch：2.4.6
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
设置配置文件
#集群名(默认值: elasticsearch)
spring.data.elasticsearch.cluster-name=elasticsearch
#默认 9300 是 Java 客户端的端口。9200 是支持 Restful HTTP 的接口
#集群节点地址列表，用逗号分隔。如果没有指定，就启动一个客户端节点
spring.data.elasticsearch.cluster-nodes=192.168.0.104:9300
（3）ElasticsearchRepository方式操作
接下来使用ElasticsearchRepository操作ES，首先创建一个实体类作为传输的文档数据，
Employee，字段名称同官方文档中的员工实例属性
然后创建一个接口EmployeeRepository继承ElasticsearchRepository，设置对应的数据类型，
泛型参数中：Employee为数据格式，Integer为ID主键类型
public interface EmployeeRepository extends ElasticsearchRepository<Employee,Integer> {
}
通过下面注解来声明索引和类型
@Document(indexName = “megacorp”,type = “employee”)
其中indexName 表示索引名称，type 表示类型
@Document(indexName = "megacorp",type = "employee")
public class Employee {
private Integer id;
private String first_name;
private String last_name;
private Integer age;
private String about;
private List<String> interests;
//省略setter和getter等
}
测试
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringbootElasticsearchApplicationTests {
@Autowired
EmployeeRepository employeeRepository;
@Test
public void employeeRepositoryInsert() {
Employee employee = new Employee();
employee.setId(5);
employee.setFirst_name("lihua");
employee.setLast_name("bob");
employee.setAge(43);
employee.setAbout("hello world");
List<String> list = new ArrayList<>();
list.add("game");
list.add("football");
employee.setInterests(list);
employeeRepository.index(employee);
}
}
生成结果
除了使用父类提供的方法外，还可以自定义方法，可以根据提示来创建方法名，格式类似于MyBatis的Example的用法，详细的介绍参考官方文档
public interface EmployeeRepository extends ElasticsearchRepository<Employee, Integer> {
public List<Employee> findEmployeeByAboutIsLike(String about);
}
@Test
public void TestFindEmployeesByFirst_nameIsLike() {
List<Employee> employees = employeeRepository.findEmployeeByAboutIsLike("hello");
System.out.println("-----------------------");
for (Employee employee : employees) {
System.out.println(employee);
}
}