ElasticSearch
ElasticSearch
1. ElasticSerch简介:
全文搜索属于最常见的需求，开源的 Elasticsearch 是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它 Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的 接口。Elastic 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。 REST API：天然的跨平台。
官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
官方中文：https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html
社区中文： https://es.xiaoleilu.com/index.html http://doc.codingdict.com/elasticsearch/0
2. 相关概念
2.1 Index（索引）
动词，相当于 MySQL 中的 insert； 名词，相当于 MySQL 中的 Database
2.2 Type（类型）
在 Index（索引）中，可以定义一个或多个类型。 类似于 MySQL 中的 Table；每一种类型的数据放在一起；
2.3 Document（文档）
保存在某个索引（Index）下，某种类型（Type）的一个数据（Document），文档是 JSON 格 式的，Document t 就像是 MySQL 中的某个 Table 里面的内容。
2.4 倒排索引机制
倒排索引源于实际应用中需要根据属性的值来查找记录，lucene是基于倒排索引实现的。
简单来说就是根据属性值获取索引值。
3. 安装
使用docker安装，同时需要安装ElasticSearch和Kibana两个镜像。
更多详情请参考官方文档。
ElasticSearch符合RestFul风格
4. 基本操作
参考相关文档
就像是使用RestFul的风格用url操纵数据库。
5. 结合JAVA使用
5.1 引入相关依赖
<dependency>
<groupId>org.elasticsearch.clientgroupId>
<artifactId>elasticsearch-rest-high-level-clientartifactId>
<version>7.4.2version>
dependency>
5.2 编写配置类
//排除引入common工程的数据源依赖
//@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)
@Configuration
public class ElasticSearchConfig {
@Bean
public RestHighLevelClient restHighLevelClient() {
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("101.200.45.111", 9200, "http")));//需要填写es所在服务器的域名以及端口号
return client;
}
}
5.3 创建索引(添加数据)
//存储数据到es(添加更新二合一)
@Test
public void addIndex() throws Exception{
//(创建索引的请求指定索引名称(users))
IndexRequest indexRequest = new IndexRequest("users");
//指定id
indexRequest.id("1");
//这种方法也可以 直接写json字符串
// indexRequest.source("username","zhansan","age",18,"gender","男");
User user =new User();
user.setUsername("战三");
user.setGender("f");
user.setAge(123);
//将对象解析为JSON字符串
String s = JSON.toJSONString(user);
indexRequest.source(s,XContentType.JSON);
//保存后拿到响应结果
IndexResponse index = restHighLevelClient.index(indexRequest,COMMON_OPTIONS);
System.out.println(index);
}
@Data
class User{
private String username;
private String gender;
private Integer age;
}
5.4 查询
@Test
public void searchData() throws Exception {
//1.创建索引请求
SearchRequest searchRequest = new SearchRequest();
//2.指定索引
searchRequest.indices("xxx");
//3.指定DSL 检索条件
//SearchSourceBuilder sourceBuilder(里面封装的查询条件)
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//3.1构建检索条件
// searchSourceBuilder.query();
// searchSourceBuilder.from();
// searchSourceBuilder.size();
// searchSourceBuilder.aggregation();
searchSourceBuilder.query(QueryBuilders.matchQuery("field", "xxx"));
//创建聚合条件
//1.查看值分布聚合
TermsAggregationBuilder agg1 = AggregationBuilders.terms("Aggname").field("AggField").size(10);
//将聚合条件加入到查询条件中
searchSourceBuilder.aggregation(agg1);
searchRequest.source(searchSourceBuilder);
//4.执行检索 拿到数据
SearchResponse searchResponse = restHighLevelClient.search(searchRequest, ElasticSearchConfig.COMMON_OPTIONS);
//5.分析结果（Json串）
//获取所有查到的数据
SearchHits hits = searchResponse.getHits();
SearchHit[] searchHits = hits.getHits();
for (SearchHit hit : searchHits) {
String string = hit.getSourceAsString();
XXClass xxClass = JSON.parseObject(string,XXClass.class);
System.out.println("xxClass"+xxClass);
}
// }
//获取检索到的分析信息
Aggregations aggregations = searchResponse.getAggregations();
Terms aggName = aggregations.get("AggName");
for (Terms.Bucket bucket : aggName.getBuckets()) {
String keyAsString = bucket.getKeyAsString();
System.out.println("年龄"+keyAsString+bucket.getDocCount());
}
}
6. 结合业务使用
6.1 创建微服务gulimall-search
相关的配置文件:
application.properties
spring.cloud.nacos.discovery.server-addr=127.0.0.1:8848
spring.cloud.nacos.config.server-addr=127.0.0.1:8848
spring.application.name=gulimall-search
server.port=12000
6.2 编写配置类
@Configuration
public class GulimallElasticSearchConfig {
//配置es请求OPTIONS
public static final RequestOptions COMMON_OPTIONS;
static {
RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
COMMON_OPTIONS = builder.build();
}
//配置es连接
@Bean
RestHighLevelClient client() {
RestClientBuilder builder = RestClient.builder(new HttpHost("192.168.190.131", 9200, "http"));
return new RestHighLevelClient(builder);
}
}
6.3 Controller层
@RequestMapping("/search")
@RestController
@Slf4j
public class ElasticSaveController {
@Autowired
ProductSaveService productSaveService;
// 上架商品
@PostMapping("/product")
public R productStatusUp(@RequestBody List<SkuEsModel> skuEsModels) {
boolean flag = false;
try {
flag = productSaveService.productStatusUp(skuEsModels);
} catch (IOException e) {
log.error("ElasticSaveController商品上架错误: {}", e);
return R.error(BizCodeEnume.PRODUCT_UP_EXCEPTION.getCode(), BizCodeEnume.PRODUCT_UP_EXCEPTION.getMsg());
}
if (flag) {
return R.ok();
} else {
return R.error(BizCodeEnume.PRODUCT_UP_EXCEPTION.getCode(), BizCodeEnume.PRODUCT_UP_EXCEPTION.getMsg());
}
}
}
6.4 Service层
注: 使用RestHighLevelClient进行操作
@Slf4j
@Service
public class ProductSaveServiceImpl implements ProductSaveService {
@Autowired
RestHighLevelClient restHighLevelClient;
@Override
public boolean productStatusUp(List<SkuEsModel> skuEsModels) throws IOException {
// 保存到es中
//1、给es中建立索引。product，建立好映射关系。
//2、给es中保存这些数据
//BulkRequest bulkRequest, RequestOptions options
BulkRequest bulkRequest = new BulkRequest();
for (SkuEsModel model : skuEsModels) {
// 构造保存请求
IndexRequest indexRequest = new IndexRequest(EsConstant.PRODUCT_INDEX);
//指定数据id
indexRequest.id(model.getSkuId().toString());
//将要保存的数据对象转换为JSON格式
String s = JSON.toJSONString(model);
//插入数据 并指明数据类型为JSON
indexRequest.source(s, XContentType.JSON);
//将保存请求(indexRequest)添加到批量保存请求中
bulkRequest.add(indexRequest);
}
//创建批量执行对象
//使用restHighLevelClient客户端进行保存 拿到响应结果
//两个参数 第一个是批量保存的请求 第二个是请求OPTIONS
BulkResponse bulk = restHighLevelClient.bulk(bulkRequest, GulimallElasticSearchConfig.COMMON_OPTIONS);
//分析保存结果
boolean b = bulk.hasFailures();
List<String> collect = Arrays.stream(bulk.getItems()).map(item -> {
return item.getId();
}).collect(Collectors.toList());
log.info("商品上架成功: {}", collect);
//返回布尔类型的数据，如果是true就是有错误了，返回false就是没有错误
return b;
}
}