DSL查询文档

目录

  • 一、DSL查询语法
  • 二、DSL查询分类
    • 全文检索查询
    • 精确查询
    • 地理坐标查询
    • 复合查询
      • 复合查询——fuction score
      • 复合查询——Boolean Query
  • 三、搜索结果处理
    • 排序
    • 分页
    • 高亮

一、DSL查询语法

DSL Query基本语法
DSL查询文档_第1张图片

查询成功
DSL查询文档_第2张图片

二、DSL查询分类

DSL Query的分类

Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来定义查询。常见的查询类型包括一下几部分:

查询所有:查询出所有数据,一般测试用。例如:
                         ● match_all
全文检索(full text)查询:利用分词器对用户输入内容分词,然后去倒排索引库中匹配。例如:
                         ● match_query   
                         ● multi_match_query
精确查询:根据精确词条值查找数据,一般是查找keyword、数值、日期、boolean等类型字段。例如:
                         ● ids      
                         ● range   (根据数值范围做查询)
                         ● term    (按精确值查询)
地理(geo)查询:根据经纬度查询。例如:
                         ● geo_distance  
                         ● geo_bounding_box
复合(compound)查询:复合查询可以将上述各种查询条件组合起来,合并查询条件。例如:
                         ● bool     (组合起来利用逻辑运算查询)
                         ● function_score   

全文检索查询

全文检索查询,会对用户输入内容分词,常用于搜索框搜索

DSL查询文档_第3张图片

1、match查询:全文检索查询的一种,会对用户输入内容分词,然后去倒排索引库检索,语法:

# match查询
GET /indexName/_search
{
  "query": {
    "match": {
      "FIELD": "TEXT"       # 字段
    }
  }
}

2、multi_match查询:与match查询类似,只不过允许同时查询多个字段,语法:

#  multi_match查询
GET /indexName/_search
{
  "query": {
    "multi_match": {
      "query": "",
      "fields": []
    }
  }
}

match和multi_match的区别是什么?

match:根据一个字段查询
multi_match:根据多个字段查询,参与查询字段越多,查询性能越差  
            【可利用copy_to将多个字段转到一个字段中】

精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有:
1、term查询::根据词条精确值查询

#  term查询
GET /indexName/_search
{
  "query": {
    "term": {
      "FIELD": {
        "value": "VALUE"
      }
    }
  }
}

2、range查询:根据值的范围查询(可以是数值、日期的范围)

#  range查询
GET /indexName/_search
{
  "query": {
    "range": {
      "FIELD": {
        "gte": 10,    # 大于等于   【gt————>大于】
        "lte": 20     # 小于等于   【lt————>小于】
      }
    }
  }
}

地理坐标查询

ES中实现地理查询方式由很多种。(根据经纬度查询) 常见的使用场景包括:
携程:搜索我附近的酒店
滴滴:搜索我附近的出租车
微信:搜索我附近的人

geo_bounding_box:查询geo_point值落在某个矩形范围的所有文档

DSL查询文档_第4张图片

#  geo_bounding_box查询
GET /indexName/_search
{
  "query": {
    "geo_bounding_box":{
      "FIELD":{
        "top_left":{
          "lat":31.1,
          "lon":"121.5"
        },
        "bottom_right":{
          "lat":"30.9",
          "lon":121.7
        }
      }
    }
  }
}

geo_distance:查询到指定中心点小于某个距离值的所有文档

DSL查询文档_第5张图片

#  geo_distance查询
GET /indexName/_search
{
  "query": {
    "geo_distance":{
      "distance":"15km",            # 半径
      "FIELD":"13.14,21.5"          # 中心点
    }
  }
}

复合查询

复合(compound)查询可以将其它简单查询组合起来,实现更复杂的搜索逻辑。

复合查询——fuction score

相关性算分
当我们利用match查询时,文档结果会根据与搜索词条的关联度打分(_score),返回结果时按照分值降序排列。

elasticsearch中的相关性打分算法
    ●  TF-IDF:在elasticsearch5.0之前,会随着词频增加而越来越大
    ●  BM25:在elasticsearch5.0之后,会随着词频增加而增大,但增长曲线会趋于水平

DSL查询文档_第6张图片

fuction score query:算分函数查询,可以控制文档相关性算分,根据新的到的算分排序进而控制文档排名,例如百度竞价。
DSL查询文档_第7张图片

案例:将 “如家” 这个品牌的酒店排名靠前些
1、哪些文档需要算分加权?
—— 品牌为如家的酒店
2、算分函数是什么?
—— weight就可以
——3、加权模式是什么?
求和

GET /hotel/——search
{
  "query":{
    "function_score": {
      "query": {//...},       // 原始查询
      "functions": [          // 算分函数
        {
          "filter":{          // 满足的条件,品牌必须是如家
            "term":{
              "brand":"如家"
            }
          },
          "weight": 2         // 算分权重为2
        }
      ],
      "boost_mode": "sum"
    }
  }
}

function score query定义的三要素

  ● 过滤条件:哪些文档要加分
  ● 算分函数:如何计算function  score
  ● 加权方式:function score 与 query score如何运算

复合查询——Boolean Query

布尔查询是一个或多个查询子句的组合。子查询的组合方式有:

must:必须匹配每个子查询,类似“与”
should:选择性匹配子查询,类似“或”
must_not:必须不匹配,不参与算分,类似“非”
filter:必须匹配,不参与算分
GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"city": "上海"}}
      ],
      "should": [
        {"term": {"brand": "7天酒店"}},
        {"term": {"city": "速8"}}
      ],
      "must_not": [
        {"range": {"price": {"lte": 500 }}}
      ],
      "filter": [
        {"range": {"score": {"gte": 45}}}
      ]
    }
  }
}

案例:利用bool查询实现功能

需求:搜索名字包含“如家”,价格不高于400,在坐标31.21,121.5周围10km范围内的酒店。

GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {"match": {"name": "如家"}}
      ],
      "must_not": [
        {"range": {"price": {"gt": 400 }}}
      ],
      "filter": [
      {
      "geo_distance":{
      "distance":"10km",
      "FIELD":"31.21,121.5"
          }
        }
      ]
    }
  }
}

三、搜索结果处理

排序

elasticsearch支持对搜索结果排序,默认是根据相关度算分(_score)来排序。可以排序字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。因为其数据类型不同,其语法上也有差异。

keyword、数值、日期类型

GET /indexName/_search
{
  "query":{
    "match_all":{}
  },
  "sort": [
    {"FIELD": "desc"  // 排序字段和排序方式ASC、DESC
    }
  ]
}

地理坐标类型

GET /index/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "_geo_distance": {
          "FIELD" : "纬度,经度",
          "order": "asc",
          "unit": "km"     // 排序后的结果展示单位
      }
    }
  ]
}

案例一:对酒店数据按照用户评价降序排序,评价相同的按照价格升序排序(评价是score字段,价格是price字段)

GET /hotel/_search
{
  "query":{
    "match_all":{}
  },
  "sort": [
    {"score": "desc"  },     // 排序字段和排序方式ASC、DESC
    {"price": "asc"  } 
  ]
}

案例二:实现对酒店数据按照到我的位置坐标的距离升序排序

获取经纬度方式:https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/
)
DSL查询文档_第8张图片

GET /index/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "_geo_distance": {
          "location" : "108.95,34.30",
          "order": "asc",
          "unit": "km"     // 排序后的结果展示单位
      }
    }
  ]
}

分页

elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了;elasticsearch中通过修改 from、size 参数来控制要返回的分页结果。

DSL查询文档_第9张图片

GET /hotel/_search
{
  "query": {
    "match_all": {}
  },
  "from": 990,   // 分页开始的位置
  "size": 10,    // 期望获取的文档总数
  "sort": [
    { "price": "asc"}
  ]
}

深度分页问题

ES是分布式的,所以会面临深度分页问题。例如按price排序后,获取from = 990,size =10的数据。实际生产环境下,为了使ES能够存储更多数据,ES会进行集群部署将数据进行拆分放在不同的分片上(每个分片的数据不同)。首先在每个数据分片上都排序并查询前1000条文档。然后将所有节点的结果聚合,在内存中重新排序选出前1000条文档;最后从这1000条中,选取从990开始的10条文档。此时查询
DSL查询文档_第10张图片

针对深度分页,ES提供了两种解决方案

   ●  search after:分页时需要排序,原理是从上一次的排序值开始,查询下一页数据。
                  官方推荐使用的方式。
   ●  scroll:原理将排序数据形成快照,保存在内存。官方已经不推荐使用

总结

from + size:
   ●  优点:支持随机翻页
   ●  缺点:深度分页问题,默认查询上限(from + size)是10000
   ●  场景:百度、京东、谷歌、淘宝这样的随机翻页搜索
after search:
   ●  优点:没有查询上限(单次查询的size不超过10000)
   ●  缺点:只能向后逐页查询,不支持随机翻页
   ●  场景:没有随机翻页需求的搜索,例如手机向下滚动翻页
scroll:
   ●  优点:没有查询上限(单次查询的size不超过10000)
   ●  缺点:会有额外内存消耗,并且搜索结果是非实时的
   ●  场景:海量数据的获取和迁移。从ES7.1开始不推荐,建议用 after search方案。

高亮

高亮就是在搜索结果中把搜索关键字突出显示。其原理是:将搜索结果中的关键字用标签标记出来
在页面中给标签添加css样式。
DSL查询文档_第11张图片

语法:默认情况下,ES搜索字段必须与高亮字段一致

GET /hotel/_search
{
  "query": {
    "match": {
      "all": "如家"
    }
  },
  "highlight": {
    "fields": {   // 要指定高亮的字段(可指定多个)
      "name":{
        "require_field_match": "flase"  // 是否与高亮字段一致
      }
    }
  }
}

你可能感兴趣的:(全文检索,搜索引擎,elasticsearch)