ES搜索引擎-一篇文章就够了

前言

在众多搜索引擎中，solr,es是我所知道其他公司最为广泛使用的中间件。他可以解决你复杂的搜索需求。当你需要在大量数据的情况下搜索一下关键字,使用mysql的like查询是非常缓慢的,而es可以做到近实时的搜索。

背景

我们公司最近对我们的fungo的游戏,用户,文章提出了更加复杂的搜索要求，要求对指定的关键字进行相似度匹配。
例如 搜索 ‘fungo小助手’ 搜索的结果应该含有fungo小助手，还应有只含有fungo关键字的东西,还应有只含有小助手关键字的东西。并且根据所含元素的多少，进行优先排名。
面对这些需求,以我对mysql和现在java框架的了解，无法解决这个问题。使用mysql的like功能只能检索到‘fungo小助手’的关键字。所以百度一下主流的解决方案。发现大部分公司都会使用solr和es这些搜索框架，来作为中间件解决复杂搜索功能。

知识准备

• node 节点

就是一個es实例。

• cluster 集群

  • 集群健康
    green yellow red

  • 主节点
    主资格节点的主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康是非常重要的，默认情况下任何一个集群中的节点都有可能被选为主节点，索引数据和搜索查询等操作会占用大量的cpu，内存，io资源，为了确保一个集群的稳定，分离主节点和数据节点是一个比较好的选择。

  • 数据节点
    数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作等。数据节点对cpu，内存，io要求较高， 在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的节点。

具有相同的cluster.name的node节点集合。

• index 索引

一个用来指向一个或者多个分片的逻辑命名空间。

• shard 分片

最小级别的工作单元，他只是保存了索引中的所有数据的一部分，最重要的分片就是一个Lucene实例。他本身就是一个完整的搜索引擎。我们的文档存储在分片中，并且在分片中被索引，我们的应用程序不会直接与他通信，而是直接与索引通信。

分片是集群中分发数据的关键，文档数据存储在分片中，分片分配到集群中的节点上，当你的集群扩容和缩容时，es会主动在你的节点迁移分片，以使集群保持平衡。

分片分为主分片和复制分片。你的索引的文档属于一个单独的主分片，主分片的数量决定你的索引最多存储多少数据。复制分片只是主分片的一个副本。做一个高可用，防止主分片出现故障，造成数据丢失，且对外提供读请求。索引建成后主分片数据就固定了，但是复制分片可以随时调整。

• 倒排索引

Lucene的倒排索引实现比关系型数据更快的过滤。特别他对多条件的过滤支持非常好。一个字段由一个自己的倒排索引。18，20.这些叫做term,而[1,3]就是posting list.

Posting list就是一个int的数组。存储所有符合某个term的文档id.
term dictionary 和 term index
假如我们由很多term，就是由很多18.20....。如果我们查询某个term一定很慢。因为term没有排序。需要全部过滤一遍才能查到。这样我们可以使用二分查找方式。这个就是term dictionary.可以用logN次磁盘查到目标。但是磁盘读取仍然是非常昂贵。所以引进term index.他就像一本字典的大的章节表。比如：A开头的term ……… Xxx页；C开头的term ……… Xxx页；E开头的term ………Xxx页。实际上term index是一颗trie树.这个树不会包含所有的term,它包含是term的一些前缀，通过term index可以快速定位到term dictionary的offset,然后从这个位置往后顺序查找。再加上一些压缩技术(Lucene Finite State Transducers).term index 尺寸是term的尺寸的几十分之一，使得内存缓存整个term index变得可能。term index在内存中以FST的形式保存的，特点非常节省内存。term dictionary因为在磁盘上是以分block的方式保存的，一个block内部利用公共前缀压缩，比如都是Ab开头的单词就可以把Ab省去。这样term dictionary可以比b-tree更节约磁盘空间。
例子： 查询过滤条件 age=18 的过程就是先从term index找到18在term dictionary的大概位置，然后再从term dictionary里精确地找到18这个term，然后得到一个posting list或者一个指向posting list位置的指针。

联合索引查询
skip list数据结构。同时遍历各个属性的posting list.互相skip.使用bitset数据结构。

如图所示

• es

es面向文档，意味着他可以存储整个对象和文档（document）.并且索引每个文档内容使其可以被搜索到。你可以对文档进行索引，搜索，排序，过滤。这就是es可以执行复杂的全文搜索的原因。

参考文献

Elasticsearch权威指南（中文版）.pdf 提取码：c4th

阮一峰的网络日志 全文搜索引擎 Elasticsearch 入门教程

Elasticsearch linux安装包 elasticsearch-7.2.0-linux-x86_64.tar.gz 提取码：ya9s

Elasticsearch 中文分词器 elasticsearch-analysis-ik-master 提取码：o2ih

Elasticsearch 拼音分词器 elasticsearch-analysis-pinyin-master 提取码：qsd1

Logstash中文文档Logstash简介

Logstash linux安装包 logstash-7.2.0.tar.gz 提取码：se1s

阿里云Elasticsearch产品文档介绍 阿里云Elasticsearch

Es为什么比MYSQL快 博客链接

如果无法下载请联系我 [email protected] ，或者评论下留下邮箱百度云账号，我会私发给您。

安装es

通过参考文献下载对应的es插件.通过xshell软件和Xftp插件传递到指定得linux服务器。
tar解压文件.进入bin文件内,因为es无法使用root权限去启动，所以创建一个用户和用户组。去启动es。
如要修改配置需要进去config文件内，修改主配置elasticsearch.yml

# ======================== Elasticsearch Configuration =========================

# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
#path.data: /path/to/data
#
# Path to log files:
#
#path.logs: /path/to/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
#bootstrap.memory_lock: true
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
#network.host: 192.168.0.1
network.host: 0.0.0.0
# Set a custom port for HTTP:
#
http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
#discovery.seed_hosts: ["host1", "host2"]
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
#cluster.initial_master_nodes: ["node-1", "node-2"]
cluster.initial_master_nodes: ["node-1"]

http.cors.enabled: true
http.cors.allow-origin: "*"
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Gateway -----------------------------------
#
# Block initial recovery after a full cluster restart until N nodes are started:
#
#gateway.recover_after_nodes: 3
#
# For more information, consult the gateway module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true

上面是默认的配置,不修改配置的默认使用9200端口。
切换到非root用户，使用vim console.out 建立文件。
使用nohup ./elasticsearch > console.out & 启动es,并将输出指向console.out文件。

如图

es的可视化

我们一般使用elasticsearch-head这个插件来连接es服务器来可视化es的索引和数据。
git地址 https://github.com/mobz/elasticsearch-head
在linux中 git clone https://github.com/mobz/elasticsearch-head

cd elasticsearch-head
npm install
npm run start

open http://ip:9100/
如图

es客户端操作

启动一个spring boot工程。
pom.xml添加一下es依赖

        
            org.elasticsearch.client
            elasticsearch-rest-high-level-client
            7.2.0
        
        
            org.elasticsearch
            elasticsearch
            7.2.0
        
        
            org.elasticsearch.client
            elasticsearch-rest-client
            7.2.0
        

在配置文件中添加es信息

##es节点信息
es.cluster-nodes.ip= xx.xx.xx.xx
##es节点端口
es.cluster-nodes.port= 9200
##es索引名称
es.cluster-nodes.index= uat-cloudcmmpost
##es索引类型
es.cluster-node.type= CmmPost

这里省略了配置文件映射到java文件的过程，大家自行处理。

具体es使用方法

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.baomidou.mybatisplus.mapper.EntityWrapper;
import com.baomidou.mybatisplus.mapper.Wrapper;
import com.baomidou.mybatisplus.plugins.Page;
import com.fungo.community.config.NacosFungoCircleConfig;
import com.fungo.community.controller.PostController;
import com.fungo.community.dao.service.CmmPostDaoService;
import com.fungo.community.entity.CmmPost;
import org.apache.http.HttpEntity;
import org.apache.http.HttpHost;
import org.apache.http.entity.ContentType;
import org.apache.http.nio.entity.NStringEntity;
import org.apache.http.util.EntityUtils;
import org.apache.lucene.search.TotalHits;
import org.elasticsearch.ElasticsearchException;
import org.elasticsearch.action.ActionListener;
import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.ShardSearchFailure;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.Response;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.MatchQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.rest.RestStatus;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.sort.FieldSortBuilder;
import org.elasticsearch.search.sort.ScoreSortBuilder;
import org.elasticsearch.search.sort.SortOrder;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Repository;
import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;


/**
 * 
ES搜索引擎
 * @Author: dl.zhang
 * @Date: 2019/7/24
 */
@Repository
public class ESDAOServiceImpl {

    private static final Logger LOGGER = LoggerFactory.getLogger(ESDAOServiceImpl.class);

    private RestHighLevelClient client;

    @Autowired
    private NacosFungoCircleConfig nacosFungoCircleConfig;
    @Autowired
    private CmmPostDaoService postService;

    @PostConstruct
    public void init() {
        client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost(nacosFungoCircleConfig.getEsHttpIp(),   nacosFungoCircleConfig.getEsHttpPort(), "http")
                        //        new HttpHost("localhost", 9201, "http")
                ));
    }

    @PreDestroy
    public void destroy(){
        try {
            client.close();
        } catch (IOException e) {

        }
    }

    public List addESPosts() {
//        Wrapper wrapperCmmPost = new EntityWrapper<>();
//        List posts =  postService.selectList(wrapperCmmPost);
        CmmPost param = new CmmPost();
        param.setId("b1f1f35d4b4242a0b794e17ed0d1d64a");
        CmmPost cmmPost = postService.selectById(param);
        try {
            // 创建索引
            IndexRequest request = new IndexRequest(nacosFungoCircleConfig.getIndex());
            // 准备文档数据
            String jsonStr = JSON.toJSONString(cmmPost);
            // 转成 MAP
            Map jsonMap = JSON.parseObject(jsonStr, Map.class);
//            jsonMap.put("createdAt", new Date());
            //Document source provided as a Map which gets automatically converted to JSON format
            request.source(jsonMap);

            client.indexAsync(request, RequestOptions.DEFAULT, new ActionListener() {
                @Override
                public void onResponse(IndexResponse indexResponse) {
                }
                @Override
                public void onFailure(Exception e) {

                }
            });
        }catch (Exception e){
            LOGGER.error("获取es数据异常,索引id="+nacosFungoCircleConfig.getIndex(),e);
        }
        return null;
    }

    public Page getAllPosts(String keyword, int page, int limit ) {
        Page postPage = new Page<>();
        try {

            // 1、创建search请求
            SearchRequest searchRequest = new SearchRequest(nacosFungoCircleConfig.getIndex());
            searchRequest.types(nacosFungoCircleConfig.getSearchIndexType());
            // 2、用SearchSourceBuilder来构造查询请求体 ,请仔细查看它的方法，构造各种查询的方法都在这。
            SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
            if(keyword != null && !"".equals(keyword)){
//                BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
                //普通模糊匹配
//                boolQueryBuilder.must(QueryBuilders.wildcardQuery("title",keyword));
//                sourceBuilder.query(boolQueryBuilder);
                MatchQueryBuilder matchQueryBuilder1 = QueryBuilders.matchQuery("state",1);
                MatchQueryBuilder matchQueryBuilder2 = QueryBuilders.matchQuery("title",keyword);
                MatchQueryBuilder matchQueryBuilder3 = QueryBuilders.matchQuery("content",keyword);
                BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
                BoolQueryBuilder childBoolQueryBuilder = new BoolQueryBuilder()
                        .should(matchQueryBuilder2)
                        .should(matchQueryBuilder3);
                boolQueryBuilder.must(childBoolQueryBuilder);
                boolQueryBuilder.must(matchQueryBuilder1);
                sourceBuilder.query(boolQueryBuilder);
            }
//            sourceBuilder.query( QueryBuilders.termQuery("title", keyword));
            // 结果开始处
            sourceBuilder.from((page-1)*limit);//            sourceBuilder.from(0);
            // 查询结果终止处
            sourceBuilder.size(page*limit);// sourceBuilder.size(10);
            sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

            //指定排序
            sourceBuilder.sort(new ScoreSortBuilder().order( SortOrder.DESC));
            sourceBuilder.sort(new FieldSortBuilder("watch_num").order(SortOrder.DESC));

            //将请求体加入到请求中
            searchRequest.source(sourceBuilder);


            //3、发送请求
            SearchResponse searchResponse = client.search(searchRequest,RequestOptions.DEFAULT);



            //4、处理响应
            //搜索结果状态信息
            RestStatus status = searchResponse.status();
            TimeValue took = searchResponse.getTook();
            Boolean terminatedEarly = searchResponse.isTerminatedEarly();
            boolean timedOut = searchResponse.isTimedOut();

            //分片搜索情况
            int totalShards = searchResponse.getTotalShards();
            int successfulShards = searchResponse.getSuccessfulShards();
            int failedShards = searchResponse.getFailedShards();
            for (ShardSearchFailure failure : searchResponse.getShardFailures()) {
                // failures should be handled here
            }

            //处理搜索命中文档结果
            SearchHits hits = searchResponse.getHits();

            TotalHits totalHits = hits.getTotalHits();
            float maxScore = hits.getMaxScore();

            SearchHit[] searchHits = hits.getHits();

            List list = new ArrayList<>();
            for (SearchHit hit : searchHits) {
                // do something with the SearchHit

                String index = hit.getIndex();
                String type = hit.getType();
                String id = hit.getId();
                float score = hit.getScore();

                //取_source字段值
                String sourceAsString = hit.getSourceAsString(); //取成json串
                JSONObject jsonObj = (JSONObject) JSON.parse(sourceAsString);
                CmmPost cmmPost= JSONObject.toJavaObject(jsonObj,CmmPost.class);
//                CmmPost cmmPost = (CmmPost) JSON.parse( sourceAsString );
                list.add(cmmPost);
//                Map sourceAsMap = hit.getSourceAsMap(); // 取成map对象
                //从map中取字段值
                /*
                String documentTitle = (String) sourceAsMap.get("title");
                List