Elastic Search（二）Elastic Search基本操作

二 Elastic Search 基础操作

2.1 索引操作

索引的相关操作，涉及创建、删除、关闭和打开索引，以及索引别名的操作。其中，索引别名的操作在生产环境中使用比较广泛，可以和关闭或删除索引配合使用。在生产环境中使用索引时，一定要慎重操作，因为稍有不慎就会导致数据的丢失或异常。

2.1.1 可视化工具

2.1.2 创建索引

使用ES构建搜索引擎的第一步是创建索引。在创建索引时，可以按照实际需求对索引进行主分片和副分片设置。ES创建索引的请求类型为PUT，其请求形式如下：

PUT/$ {index_name]{ 
       "settings": {},
       "mappings": {}
}

其中：变量index_name就是创建的目标索引名称；可以在settings子句内部填写索引相关的设置项，如主分片个数和副分片个数等；可以在mappings子句内部填写数据组织结构，即数据映射。

{ 
       "settings": {
       "number_of_shards" : 10, // 主分区
       "number_of_replicas" : 2 // 副分区
       },
       "mappings": {} // 数据隐射
}

2.1.3 删除索引

ES中删除索引的请求类型是DELETE，其请求形式如下：

DELETE /$ {index_name]

2.1.4 关闭索引

在有些场景下，某个索引暂时不使用，但是后期可能又会使用，这里的使用是指数据写入和数据搜索。这个索引在某一时间段内属于冷数据或者归档数据，这时可以使用索引的关闭功能。索引关闭时，只能通过ES的API或者监控工具看到索引的元数据信息，但是此时该索引不能写入和搜索数据，待该索引被打开后，才能写入和搜索数据。

POST /$ {index_name]/_close

2.1.5 打开索引

索引关闭后，需要开启读写服务时可以将其设置为打开状态。下面的示例是把处于关闭状态的hotel索引设置为打开状态。

POST/$ {index_name]/_open

2.1.6 索引别名

顾名思义，别名是指给一个或者多个索引定义另外一个名称，使索引别名和索引之间可以建立某种逻辑关系。
例如，我们建立了1月、2月、3月的用户入住酒店的日志索引，假设当前日期是4月1日，需要搜索过去的3个月的日志索引，如果分别去3个索引中进行搜索，这种编码方案比较低效。此时可以创建一个别名last_three_month，设置前面的3个索引的别名为last_three_month，然后在last_three_month中进行搜索即可。如图3.1所示，last_three_month包含january_log、february_log和march_log3个索引，用户请求在last_three_month中进行搜索时，ES会在上述3个索引中进行搜索。

{ 
       "settings": {
       "number_of_shards" : 10, // 主分区
       "number_of_replicas" : 2 // 副分区
       },
       "mappings": {
           "properties":{
           "uid":{
               "type":"keyword"
           },
           "hotel_id":{
              "type":"keyword"
           },
           "time":{
               "type":"keyword"
           }
           }
       } 
}

添加数据

{
    "uid":"001",
    "hotel_id":"1001",
    "time":"2022-2-20"
}

建立别名

{
    "actions":[
        {
      "add":{
          "index":"march_log",
          "alias":"last_three_data"
             }
        },
           {
      "add":{
          "index":"january_log",
          "alias":"last_three_data"
             }
        },
           {
      "add":{
          "index":"february_log",
          "alias":"last_three_data"
             }
        }
    ]
}

查询

{
    "query":{
        "term":{
            "uid":"001"
        }
    }
}

2.2 数据隐射

在使用数据之前，需要构建数据的组织结构。这种组织结构在关系型数据库中叫作表结构，在ES中叫作映射。作为无模式搜索引擎，ES可以在数据写入时猜测数据类型，从而自动创建映射。但有时ES创建的映射中的数据类型和目标类型可能不一致。当需要严格控制数据类型时，还是需要用户手动创建映射。

2.2.1 查看隐射

GET/$ {index_name]/ _mapping

2.2.2 扩展隐射

可能有的读者看到标题时会有疑问：映射不能修改吗？为什么是扩展呢？答案是，映射中的字段类型是不可以修改的，但是字段可以扩展。最常见的扩展方式是增加字段和为object（对象）类型的数据新增属性。

{
    "properties":{
           "hotel_count":{
               "type":"keyword"
           } 
    }
}

2.3 基本数据类型

2.3.1 keyword类型

keyword类型是不进行切分的字符串类型。这里的“不进行切分”指的是：在索引时，对keyword类型的数据不进行切分，直接构建倒排索引；在搜索时，对该类型的查询字符串不进行切分后的部分匹配。keyword类型数据一般用于对文档的过滤、排序和聚合。
在现实场景中，keyword经常用于描述姓名、产品类型、用户ID、URL和状态码等。keyword类型数据一般用于比较字符串是否相等，不对数据进行部分匹配，因此一般查询这种类型的数据时使用term查询。

2.3.2 text数据类型

text类型是可进行切分的字符串类型。这里的“可切分”指的是：在索引时，可按照相应的切词算法对文本内容进行切分，然后构建倒排索引；在搜索时，对该类型的查询字符串按照用户的切词算法进行切分，然后对切分后的部分匹配打分。

2.3.3 数值类型

ES支持的数值类型有long、integer、short、byte、double、float、half_float、scaled_float和unsigned_long等。
为节约存储空间并提升搜索和索引的效率，在实际应用中，在满足需求的情况下应尽可能选择范围小的数据类型。

2.3.4 布尔类型

布尔类型使用boolean定义，用于业务中的二值表示，如商品是否售罄，房屋是否已租，酒店房间是否满房等。写入或者查询该类型的数据时，其值可以使用true和false，或者使用字符串形式的"true"和"false"。

2.3.5 日期类型

在ES中，日期类型的名称为date。ES中存储的日期是标准的UTC格式。
日期类型的默认格式为strict_date_optional_time||epoch_millis。其中，strict_date_optional_time的含义是严格的时间类型，支持yyyy-MM-dd、yyyyMMdd、yyyyMMddHHmmss、yyyy-MM-ddTHH:mm:ss、yyyy-MM-ddTHH:mm:ss.SSS和yyyy-MM-ddTHH:mm:ss.SSSZ等格式，epoch_millis的含义是从1970年1月1日0点到现在的毫秒数。

2.3.6 数组类型

ES数组没有定义方式，其使用方式是开箱即用的，即无须事先声明，在写入时把数据用中括号[]括起来，由ES对该字段完成定义。

2.3.7 对象类型

在实际业务中，一个文档需要包含其他内部对象。例如，在酒店搜索需求中，用户希望酒店信息中包含评论数据。评论数据分为好评数量和差评数量。为了支持这种业务，在ES中可以使用对象类型。和数组类型一样，对象类型也不用事先定义，在写入文档的时候ES会自动识别并转换为对象类型。

2.3.8 地理类型

在移动互联网时代，用户借助移动设备产生的消费也越来越多。例如，用户需要根据某个地理位置来搜索酒店，此时可以把酒店的经纬度数据设置为地理数据类型。该类型的定义需要在mapping中指定目标字段的数据类型为geo_point类型。

2.3.9动态隐射

当字段没有定义时，ES可以根据写入的数据自动定义该字段的类型，这种机制叫作动态映射。

2.4 文档操作

2.4.1 文档写入

在ES中写入文档请求的类型是POST，其请求形式如下：

POST /$ {index_name}l_doc/$ i_id}{
  //写入的文档数据
}

{
    "uid":"001",
    "hotel_id":"1001",
    "time":"2022-2-20"
}

Java高级REST客户端

/**
* 单条写入文档
* @param dataMap 需要写入的数据
* @param indexName 索引名
* @param indexId  索引id
*/
public void singleIndexDoc(Map<String,Object> dataMap,String indexName,String indexId){
    IndexRequest request = new IndexRequest(indexName).id(indexId).source(dataMap);
    try{
        // 响应的结果
        IndexResponse response = restHighLevelClient.index(request, RequestOptions.DEFAULT);
        // 索引名称
        String index = response.getIndex();
        // 文档id
        String responseId = response.getId();
        // 文档版本
        long version = response.getVersion();
        System.out.println("xxx"+index+"yyy"+responseId+"zzz"+version);
    }catch (Exception e){
        e.printStackTrace();
    }

2.4.2 批量写入

在ES中批量写入文档请求的类型是POST，其请求形式如下：
一般使用Linux系统中的curl命令进行数据的批量写入。curl命令支持上传文件，用户可以将批量写入的JSON数据保存到文件中，然后使用curl命令进行提交。

POST /_bulk
{
  {"index" : {"_index" :"$ {index_name]"l}
  {"index" :{"_index" :"$ {index_name}"]}
}

Java高级REST客户端

/**
* 批量写入文档
* @param indexName
* @param docIdKey
* @param recordMapList
*/
public void bulkIndexDoc(String indexName, String docIdKey, List<Map<String ,Object>> recordMapList){
    BulkRequest request = new BulkRequest(indexName);
    for (Map<String, Object> map : recordMapList) {
        String s = map.get(docIdKey).toString();
        IndexRequest indexRequest = new IndexRequest().id(s).source(map);
        request.add(indexRequest);
    }
    request.timeout(TimeValue.timeValueSeconds(5));
    try {
        BulkResponse responses = restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
        if(responses.hasFailures()){
            System.out.println("错误的消息"+responses.buildFailureMessage());
        }
    }catch (Exception e){
        e.printStackTrace();
    }
    }

2.4.3 更新文档

在ES中更新索引的请求类型是POST，其请求形式如下：

POST/$ {index_name}/_update/$ {_id}
{
  // 更新内容
}

{
    "doc":{
         "uid":"001",
         "hotel_id":"1002",
         "time":"2022-2-20"
    }
}

Java高级REST客户端

/**
* 更新文档
* @param indexName
* @param docIdKey
* @param dataMap
*/
public void singleUpdate(String indexName,String docIdKey,Map<String,Object> dataMap){
    UpdateRequest request = new UpdateRequest(indexName, docIdKey);
    request.doc(dataMap);
    // 不存在，就插入
    request.upsert(dataMap);
    try {
        UpdateResponse response = restHighLevelClient.update(request, RequestOptions.DEFAULT);
        // 索引名称
        String index = response.getIndex();
        // 文档id
        String responseId = response.getId();
        // 文档版本
        long version = response.getVersion();
        System.out.println("xxx"+index+"yyy"+responseId+"zzz"+version);
    }catch (Exception e){
        e.printStackTrace();
    }
    }

2.4.4 批量更新

与批量写入文档相似，批量更新文档的请求形式如下：

Java高级REST客户端

/**
* 批量更新
* @param indexName
* @param docIdKey
* @param recordMapList
*/
public void bulkUpdate(String indexName, String docIdKey, List<Map<String ,Object>> recordMapList){
    BulkRequest request = new BulkRequest(indexName);
    for (Map<String, Object> map : recordMapList) {
        String s = map.get(docIdKey).toString();
        map.remove(s);
        request.add(new UpdateRequest(indexName,docIdKey).doc(map));
    }
    request.timeout(TimeValue.timeValueSeconds(5));
    try {
        BulkResponse responses = restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
        if(responses.hasFailures()){
            System.out.println("错误的消息"+responses.buildFailureMessage());
        }
    }catch (Exception e){
        e.printStackTrace();
    }
    }

2.4.5 条件更新

在索引数据的更新操作中，有些场景需要根据某些条件同时更新多条数据，类似于在RDBMS中使用update table table_name set…where…更新一批数据。为了满足这样的需求，ES为用户提供了_update_by_query功能。

{
  "query":{
    "term":{
      "hotel_id":{
        "value":"1002"
      }
    }
  },
  "script":{
    "source":"ctx._source['hotel_id']='1003'",
    "lang":"painless"
  }
}

Java高级REST客户端

/**
* 查询更新
* @param index
* @param oldHotelId
* @param newHotelId
*/
public void updateBySearch(String index,String oldHotelId,String newHotelId){
    UpdateByQueryRequest request = new UpdateByQueryRequest(index);
    request.setQuery(new TermQueryBuilder("hotel_id",oldHotelId));
    request.setScript(new Script("ctx._source['hotel_id']=’"+newHotelId+";"));
    try {
        restHighLevelClient.updateByQuery(request,RequestOptions.DEFAULT);
    }catch (Exception e){
        e.printStackTrace();
    }
}

2.4.6 删除文档

在ES中删除文档的请求的类型是DELETE，其请求形式如下：

DELETE/$ {index_name] / _doc/$ {_id}

Java高级REST客户端

/**
* 删除文档
* @param index
* @param docId
*/
public void singleDelete(String index,String docId){
    DeleteRequest request = new DeleteRequest(index, docId);
    try{
        restHighLevelClient.delete(request,RequestOptions.DEFAULT);
    }catch (Exception e){
        e.printStackTrace();
    }
    
}

2.4.7 批量删除

与批量写入和更新文档不同的是，批量删除文档不需要提供JSON数据，其请求形式如下：

Java高级REST客户端

    /**
     * 批量删除
     * @param index
     * @param dicIdKey
     * @param docIdList
     */
    public void bulkDelete(String index,String dicIdKey,List<String> docIdList){
        BulkRequest request = new BulkRequest();
        for (String s : docIdList) {
            DeleteRequest deleteRequest = new DeleteRequest(index, s);
            request.add(deleteRequest);
        }
        try {
            BulkResponse responses = restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
            if(responses.hasFailures()){
                System.out.println("错误的消息"+responses.buildFailureMessage());
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }

2.4.8 文档搜索

详细使用后面介绍

2.4.9 结果计数

为提升搜索体验，需要给前端传递搜索匹配结果的文档条数，即需要对搜索结果进行计数。针对这个要求，ES提供了_count API功能，在该API中，用户提供query子句用于结果匹配，ES会返回匹配的文档条数。

2.4.10 结果分页

• 在实际的搜索应用中，分页是必不可少的功能。在默认情况下，ES返回前10个搜索匹配的文档。用户可以通过设置from和size来定义搜索位置和每页显示的文档数量，from表示查询结果的起始下标，默认值为0，size表示从起始下标开始返回的文档个数，默认值为10。
• 对于普通的搜索应用来说，size设为10 000已经足够用了。如果确实需要返回多于10 000条的数据，可以适当修改max_result_window的值。
• 作为一个分布式搜索引擎，一个ES索引的数据分布在多个分片中，而这些分片又分配在不同的节点上。一个带有分页的搜索请求往往会跨越多个分片，每个分片必须在内存中构建一个长度为from+size的、按照得分排序的有序队列，用以存储命中的文档。然后这些分片对应的队列数据都会传递给协调节点，协调节点将各个队列的数据进行汇总，需要提供一个长度为number_of_shards*（from+size）的队列用以进行全局排序，然后再按照用户的请求从from位置开始查找，找到size个文档后进行返回。
• 作为搜索引擎，ES更适合的场景是对数据进行搜索，而不是进行大规模的数据遍历。一般情况下，只需要返回前1000条数据即可，没有必要取到10 000条数据。

2.5 匹配功能

2.5.1 查询所有文档

• 在关系型数据库中，当需要查询所有文档的数据时，对应的SQL语句为select*form table_name。
• 在ES中是否有类似的功能呢？答案是“有”，使用ES的match_all查询可以完成类似的功能。使用match_all查询文档时，ES不对文档进行打分计算，默认情况下给每个文档赋予1.0的得分。

2.5.2 term查询

term查询是结构化精准查询的主要查询方式，用于查询待查字段和查询值是否完全匹配.

2.5.3 terms查询

terms查询是term查询的扩展形式，用于查询一个或多个值与待查字段是否完全匹配。

2.5.4 range查询

range查询用于范围查询，一般是对数值型和日期型数据的查询。使用range进行范围查询时，用户可以按照需求中是否包含边界数值进行选项设置，可供组合的选项如下：·gt：大于；·lt：小于；·gte：大于或等于；·lte：小于或等于。

2.5.5 exits查询

在某些场景下，我们希望找到某个字段不为空的文档，则可以用exists搜索。

2.6 布尔查询

复合搜索，顾名思义是一种在一个搜索语句中包含一种或多种搜索子句的搜索。布尔查询是常用的复合查询，它把多个子查询组合成一个布尔表达式，这些子查询之间的逻辑关系是“与”，即所有子查询的结果都为true时布尔查询的结果才为真。

2.6.1 must查询

当查询中包含must查询时，相当于逻辑查询中的“与”查询。命中的文档必须匹配该子查询的结果，并且ES会将该子查询与文档的匹配程度值加入总得分里。must搜索包含一个数组，可以把其他的term级别的查询及布尔查询放入其中。

2.6.2 should查询

当查询中包含should查询时，表示当前查询为“或”查询。命中的文档可以匹配该查询中的一个或多个子查询的结果，并且ES会将该查询与文档的匹配程度加入总得分里。should查询包含一个数组，可以把其他的term级别的查询及布尔查询放入其中。

2.6.3 must not 查询

当查询中包含must not查询时，表示当前查询为“非”查询。命中的文档不能匹配该查询中的一个或多个子查询的结果，ES会将该查询与文档的匹配程度加入总得分里。must not查询包含一个数组，可以把其他term级别的查询及布尔查询放入其中。

2.6.4 filter查询

filter查询即过滤查询，该查询是布尔查询里非常独特的一种查询。其他布尔查询关注的是查询条件和文档的匹配程度，并按照匹配程度进行打分；而filter查询关注的是查询条件和文档是否匹配，不进行相关的打分计算，但是会对部分匹配结果进行缓存。

2.7 全文搜索

不同于结构化查询，全文搜索首先对查询词进行分析，然后根据查询词的分词结果构建查询。这里所说的全文指的是文本类型数据（text类型），默认的数据形式是人类的自然语言，如对话内容、图书名称、商品介绍和酒店名称等。
结构化搜索关注的是数据是否匹配，全文搜索关注的是匹配的程度；结构化搜索一般用于精确匹配，而全文搜索用于部分匹配。本节将详细介绍使用最多的全文搜索

2.7.1 match搜索

match查询是全文搜索的主要代表。对于最基本的math搜索来说，只要分词中的一个或者多个在文档中存在即可。

2.7.2 multi_match查询

有时用户需要在多个字段中查询关键词，除了使用布尔查询封装多个match查询之外，可替代的方案是使用multi_match。

2.7.3 match_phrase查询

match_phrase用于匹配短语，与match查询不同的是，match_phrase用于搜索确切的短语或邻近的词语。