DSL查询文档
目录
- 一、DSL查询语法
- 二、DSL查询分类
-
- 全文检索查询
- 精确查询
- 地理坐标查询
- 复合查询
-
- 复合查询——fuction score
- 复合查询——Boolean Query
- 三、搜索结果处理
-
- 排序
- 分页
- 高亮
一、DSL查询语法
DSL Query基本语法
查询成功
二、DSL查询分类
DSL Query的分类
Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括一下几部分：
查询所有：查询出所有数据，一般测试用。例如：
● match_all
全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：
● match_query
● multi_match_query
精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：
● ids
● range （根据数值范围做查询）
● term （按精确值查询）
地理（geo）查询：根据经纬度查询。例如：
● geo_distance
● geo_bounding_box
复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
● bool （组合起来利用逻辑运算查询）
● function_score
全文检索查询
全文检索查询，会对用户输入内容分词，常用于搜索框搜索
1、match查询：全文检索查询的一种，会对用户输入内容分词，然后去倒排索引库检索，语法：
# match查询
GET /indexName/_search
{
"query": {
"match": {
"FIELD": "TEXT" # 字段
}
}
}
2、multi_match查询：与match查询类似，只不过允许同时查询多个字段，语法:
# multi_match查询
GET /indexName/_search
{
"query": {
"multi_match": {
"query": "",
"fields": []
}
}
}
match和multi_match的区别是什么？
match：根据一个字段查询
multi_match：根据多个字段查询，参与查询字段越多，查询性能越差
【可利用copy_to将多个字段转到一个字段中】
精确查询
精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：
1、term查询：：根据词条精确值查询
# term查询
GET /indexName/_search
{
"query": {
"term": {
"FIELD": {
"value": "VALUE"
}
}
}
}
2、range查询：根据值的范围查询（可以是数值、日期的范围）
# range查询
GET /indexName/_search
{
"query": {
"range": {
"FIELD": {
"gte": 10, # 大于等于 【gt————>大于】
"lte": 20 # 小于等于 【lt————>小于】
}
}
}
}
地理坐标查询
ES中实现地理查询方式由很多种。(根据经纬度查询) 常见的使用场景包括：
携程：搜索我附近的酒店
滴滴：搜索我附近的出租车
微信：搜索我附近的人
geo_bounding_box：查询geo_point值落在某个矩形范围的所有文档
# geo_bounding_box查询
GET /indexName/_search
{
"query": {
"geo_bounding_box":{
"FIELD":{
"top_left":{
"lat":31.1,
"lon":"121.5"
},
"bottom_right":{
"lat":"30.9",
"lon":121.7
}
}
}
}
}
geo_distance：查询到指定中心点小于某个距离值的所有文档
# geo_distance查询
GET /indexName/_search
{
"query": {
"geo_distance":{
"distance":"15km", # 半径
"FIELD":"13.14,21.5" # 中心点
}
}
}
复合查询
复合（compound）查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑。
复合查询——fuction score
相关性算分
当我们利用match查询时，文档结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列。
elasticsearch中的相关性打分算法
● TF-IDF：在elasticsearch5.0之前，会随着词频增加而越来越大
● BM25：在elasticsearch5.0之后，会随着词频增加而增大，但增长曲线会趋于水平
fuction score query：算分函数查询，可以控制文档相关性算分，根据新的到的算分排序进而控制文档排名，例如百度竞价。
案例：将 “如家” 这个品牌的酒店排名靠前些
1、哪些文档需要算分加权？
——√ 品牌为如家的酒店
2、算分函数是什么？
——√ weight就可以
——3、加权模式是什么？
√ 求和
GET /hotel/——search
{
"query":{
"function_score": {
"query": {//...}, // 原始查询
"functions": [ // 算分函数
{
"filter":{ // 满足的条件，品牌必须是如家
"term":{
"brand":"如家"
}
},
"weight": 2 // 算分权重为2
}
],
"boost_mode": "sum"
}
}
}
function score query定义的三要素
● 过滤条件：哪些文档要加分
● 算分函数：如何计算function score
● 加权方式：function score 与 query score如何运算
复合查询——Boolean Query
布尔查询是一个或多个查询子句的组合。子查询的组合方式有：
must：必须匹配每个子查询，类似“与”
should：选择性匹配子查询，类似“或”
must_not：必须不匹配，不参与算分，类似“非”
filter：必须匹配，不参与算分
GET /hotel/_search
{
"query": {
"bool": {
"must": [
{"term": {"city": "上海"}}
],
"should": [
{"term": {"brand": "7天酒店"}},
{"term": {"city": "速8"}}
],
"must_not": [
{"range": {"price": {"lte": 500 }}}
],
"filter": [
{"range": {"score": {"gte": 45}}}
]
}
}
}
案例：利用bool查询实现功能
需求：搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。
GET /hotel/_search
{
"query": {
"bool": {
"must": [
{"match": {"name": "如家"}}
],
"must_not": [
{"range": {"price": {"gt": 400 }}}
],
"filter": [
{
"geo_distance":{
"distance":"10km",
"FIELD":"31.21,121.5"
}
}
]
}
}
}
三、搜索结果处理
排序
elasticsearch支持对搜索结果排序，默认是根据相关度算分（_score）来排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。因为其数据类型不同，其语法上也有差异。
① keyword、数值、日期类型
GET /indexName/_search
{
"query":{
"match_all":{}
},
"sort": [
{"FIELD": "desc" // 排序字段和排序方式ASC、DESC
}
]
}
② 地理坐标类型
GET /index/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"_geo_distance": {
"FIELD" : "纬度,经度",
"order": "asc",
"unit": "km" // 排序后的结果展示单位
}
}
]
}
案例一：对酒店数据按照用户评价降序排序，评价相同的按照价格升序排序（评价是score字段，价格是price字段）
GET /hotel/_search
{
"query":{
"match_all":{}
},
"sort": [
{"score": "desc" }, // 排序字段和排序方式ASC、DESC
{"price": "asc" }
]
}
案例二：实现对酒店数据按照到我的位置坐标的距离升序排序
获取经纬度方式：https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/
)
GET /index/_search
{
"query": {
"match_all": {}
},
"sort": [
{
"_geo_distance": {
"location" : "108.95,34.30",
"order": "asc",
"unit": "km" // 排序后的结果展示单位
}
}
]
}
分页
elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了；elasticsearch中通过修改 from、size 参数来控制要返回的分页结果。
GET /hotel/_search
{
"query": {
"match_all": {}
},
"from": 990, // 分页开始的位置
"size": 10, // 期望获取的文档总数
"sort": [
{ "price": "asc"}
]
}
深度分页问题
ES是分布式的，所以会面临深度分页问题。例如按price排序后，获取from = 990，size =10的数据。实际生产环境下，为了使ES能够存储更多数据，ES会进行集群部署将数据进行拆分放在不同的分片上（每个分片的数据不同）。首先在每个数据分片上都排序并查询前1000条文档。然后将所有节点的结果聚合，在内存中重新排序选出前1000条文档；最后从这1000条中，选取从990开始的10条文档。此时查询
针对深度分页，ES提供了两种解决方案
● search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。
官方推荐使用的方式。
● scroll：原理将排序数据形成快照，保存在内存。官方已经不推荐使用
总结：
from + size：
● 优点：支持随机翻页
● 缺点：深度分页问题，默认查询上限（from + size）是10000
● 场景：百度、京东、谷歌、淘宝这样的随机翻页搜索
after search：
● 优点：没有查询上限（单次查询的size不超过10000）
● 缺点：只能向后逐页查询，不支持随机翻页
● 场景：没有随机翻页需求的搜索，例如手机向下滚动翻页
scroll：
● 优点：没有查询上限（单次查询的size不超过10000）
● 缺点：会有额外内存消耗，并且搜索结果是非实时的
● 场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用 after search方案。
高亮
高亮就是在搜索结果中把搜索关键字突出显示。其原理是：将搜索结果中的关键字用标签标记出来
在页面中给标签添加css样式。
语法：默认情况下，ES搜索字段必须与高亮字段一致
GET /hotel/_search
{
"query": {
"match": {
"all": "如家"
}
},
"highlight": {
"fields": { // 要指定高亮的字段（可指定多个）
"name":{
"require_field_match": "flase" // 是否与高亮字段一致
}
}
}
}