分布式搜索引擎ElasticSearch之高级运用(二)

1. 分词查询操作

创建索引:

PUT /movies/_doc/1
{
  "name":"The film, filmed in 2021 & tells the story of children"
}

按分词搜索:

GET /movies/_search
{
  "query": {
    "match": {"name": "story"}
  }
}

通过单个词,可以搜索匹配到结果, 采用analyze查看分词信息:

GET /movies/_analyze 
{
  "field": "name",
  "text": "The film, filmed in 2021 & tells the story of children"
}

analyze分词处理流程:

file

分词器的使用:

如果搜索关键词为tell是没有任何结果, 这个时候需要采用英文分词器。

#重新创建索引
PUT /movies
{
  "settings":{
      "index":{
        "number_of_shards": 1, 
        "number_of_replicas": 0
      }
    },
  "mappings": {
    "properties": {
      "name":{"type":"text", "analyzer": "english"}
    }
  }
}

重新插入数据, 采用关键词tell搜索, 可以找到对应的结果:

"hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "movies",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "The film, filmed in 2021 & tells the story of children"
        }
      }
    ]
  }

通过英文分词器, 会进行词干转化。比如一个单词tells,实际词干为tell, 都可以进行搜索匹配。

2. 配置TMDB开源电影数据

TMDB是开源的电影网站数据, 里面累积数据较多,比较规范化,便于ES的研究和学习。

  1. 下载tmdb数据

    下载地址

  2. 导入工程
    file

    ESConfig的连接配置类:

    @Bean
        public TransportClient getClient(){
            TransportClient transportClient = null;
            try {
                Settings settings = Settings.builder().build();
                transportClient = new PreBuiltTransportClient(settings);
                // ES的连接配置信息, 默认transport传输端口为9300,不是9200
                TransportAddress firstAddress = new TransportAddress(InetAddress.getByName("10.10.20.28"),Integer.parseInt("9300"));
                transportClient.addTransportAddress(firstAddress);
            }catch (Exception e){
                e.printStackTrace();
    
            }
            return transportClient;
        }

    ESController提供导入接口:

    @RequestMapping("/importdata")
    @ResponseBody
    public ResponseEntity importdata() throws IOException {
        ...
        // 索引结构配置信息, 索引名称要配置正确
        bulkRequest.add(new IndexRequest("movies", "_doc", String.valueOf(lineId-1)).source(XContentType.JSON,
                            "title", records[17],
                            "tagline",records[16],
                            "release_date",date,
                            "popularity",records[8],
                            "cast",cast,
                            "overview",records[7]));
        ...
    }
  3. 通过kibana创建索引结构

    PUT /movies
    {
        "settings": {
            "number_of_shards": 1,
            "number_of_replicas": 0
        },
        "mappings": {
            "properties": {
                "title": {
                    "type": "text",
                    "analyzer": "english"
                },
                "tagline": {
                    "type": "text",
                    "analyzer": "english"
                },
                "release_date": {
                    "type": "date",
                    "format": "8yyyy/MM/dd||yyyy/M/dd||yyyy/MM/d||yyyy/M/d"
                },
                "popularity": {
                    "type": "double"
                },
                "cast": {
                    "type": "object",
                    "properties": {
                        "character": {
                            "type": "text",
                            "analyzer": "standard"
                        },
                        "name": {
                            "type": "text",
                            "analyzer": "standard"
                        }
                    }
                },
                "overview": {
                    "type": "text",
                    "analyzer": "english"
                }
            }
        }
    }
  4. 导入数据

    调用接口: http://127.0.0.1:8080/es/importdata

    会读取csv文件, 自动导入数据。

  5. 查看导入结果

    通过kibana后台,查看导入的数据:

    file

  6. 搜索查询

    搜索title为heart的关键字

    GET /movies/_search
    {
        "query":{
            "match":{"title":"heart"}
         }
    }
    

    能够根据english分词器进行搜索匹配返回所有相关的结果, 每个结果都会有对应的_score评分,关键字出现频率越高, 或占比越高, 则得分越高,优先排在前面。

3. 搜索匹配进阶

  1. or匹配

    GET /movies/_search
    {
        "query": {
            "match": {
                "title": "heart from"
            }
        }
    }

    match搜索实质上就是or关系, 分为heart 和from两个关键词进行or关系搜索。

  2. or的最小词匹配控制

    GET /movies/_search
    {
      "query":{
        "match":{
          "title": {
            "query": "good hearts sea",
            "operator": "or",
            "minimum_should_match": 2
          }
          
        }
      }
    }

    这里minimum_should_match设定为2, 只要出现good hearts 和 hearts sea,都会展示出来。

  3. and匹配

    GET /movies/_search
    {
      "query":{
        "match":{
          "title": {
            "query": "heart sea",
            "operator": "and"
          }     
        }
      }
    }

    通过operator属性来标识对应的操作。这个时候搜索出来的title会包含heart和sea两个关键字。

  4. 短语查询

    如果想直接搜索某个短语, 比如:The Good Heart, 可以采用match_phrase

    GET /movies/_search
    {
      "query":{
        "match_phrase":{"title":"The Good Heart"}
      }
    }

    会做整个短语的完整匹配, 不会再进行拆分匹配。

  5. 多字段查询

    如果想对多个字段同时查询, 可以采用multi_match方式。

    GET /movies/_search
    {
      "query":{
        "multi_match":{
          "query": "good hearts sea",
          "fields": ["title", "overview"]
        }
      }
    }

    查询title和overview两个属性, 都包含“good hearts sea”的记录, 相比一个属性title的查询, 多出更多的记录。

4. Query String查询

可以采用更简便的方式,直接使用AND、OR和NOT操作。

GET /movie/_search
{
  "query":{
    "query_string":{
      "fields":["title"],
      "query":"heart AND sea"      
    }
  }
}

查出title当中既包含heart又包含sea的数据。

GET /movie/_search
{
  "query":{
    "query_string":{
      "fields":["title"],
      "query":"heart OR sea"      
    }
  }
}

查出title当中包含heart或sea的数据。

GET /movie/_search
{
  "query":{
    "query_string":{
      "fields":["title"],
      "query":"heart NOT sea"      
    }
  }
}

查出title当中包含heart但不包含sea的数据。

本文由mirson创作分享, 感谢大家的支持, 希望对大家有所收获!
入群申请,请加WX号:woodblock99

你可能感兴趣的:(java)