ES-组合与聚合
ES组合查询
1 must
满足两个match才会被命中
GET /mergeindex/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"name": "liyong"
}
},
{
"match_phrase": {
"desc": "liyong"
}
}
]
}
}
}
2 must 可以换成filter,这样可以不用计算score 这样性能更好。
GET /mergeindex/_search
{
"query": {
"bool": {
"filter": [
{
"match": {
"name": "liyong"
}
},
{
"match_phrase": {
"desc": "liyong"
}
}
]
}
}
}
3 should 类似于SQL中的 or
GET /mergeindex/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"name": "liyong"
}
},
{
"match_phrase": {
"desc": "liyong"
}
}
]
}
}
}
bool 支持嵌套但是不推荐。
4 must 与 filter 组合使用
这个时候会限制性filter然后再执行must，也就是预处理，先过滤掉一部分数据。
GET /mergeindex/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"name": "liyong"
}
},
{
"match_phrase": {
"desc": "liyong"
}
}
],
"filter": [
{
"range": {
"salary": {
"gte": 0,
"lte": 190000
}
}
}
]
}
}
}
5 filter 和 should 一起使用
有可能会有一个问题，就是should不工作，需要加上一个兜底条件minimum_should_match : 1 最好是加上。
GET /mergeindex/_search
{
"query": {
"bool": {
#should 至少要匹配一个
"minimum_should_match" : 1,
"should": [
{
"match": {
"name": "liyong"
}
},
{
"match_phrase": {
"desc": "liyong"
}
}
]
}
}
}
ES聚合
GET /demo/_search
{
"size" : 0, #不返回hints 减少数据量
"aggs": { #固定语法
"age": { #自定义名字
"terms": {
"field": "age", #根据年龄进行聚合
"size": 10
}
}
}
}
需要注意点是如果是文本则不能直接聚合，需要使用keyworkd
GET /product/_search
{
"size": 0,
"aggs": {
"age": {
"terms": {
"field": "tags.keyword", # 这里不能填 tags 因为默认会被拆分，然后每个元素都是text类型
"size": 10 #限制桶的数量 如果填1 就只返回一个聚合结果
}
}
}
}
status 可以一下统计常见的数值
GET /demo/_search
{
"size": 0,
"aggs": {
"age_status": {
"stats": {
"field": "age"
}
}
}
}
也可以分开来写
GET /demo/_search
{
"size": 0,
"aggs": {
"max_age": {
"max": {
"field": "age"
}
},
"min_age": {
"min": {
"field": "age"
}
},
"sum_age": {
"sum": {
"field": "age"
}
},
"avg_age": {
"avg": {
"field": "age"
}
},
"count": {
"value_count": {
"field": "age"
}
}
}
}
去重
GET /demo/_search
{
"size": 0,
"aggs": {
"distinct_name" : {
"cardinality": {
"field": "age" #去除重复的年龄有几个种类
}
}
}
}
聚合嵌套
GET demo/_search
{
"size": 0,
"aggs": {
"age_bucket": {
"terms": {
"field": "name.keyword"
},
"aggs": { #这个案例演示aggs是可以嵌套的
"age_bulk": {
"avg": {
"field": "age"
}
}
}
},
"min_bucket": {
"min_bucket": {
"buckets_path": "age_bucket>age_bulk" #固定语法 直接筛选出了 年龄最小的
}
}
}
}
先筛选再聚合
GET product/_search
{
"query": {
"range": {
"price": {
"gte": 1000
}
}
}, # 先筛选出数据 在进行聚合
"aggs": {
"type_bucket": {
"terms": {
"field": "type.keyword" #根据type进行分组
}
}
}
}
排序
GET /product/_search?size=0
{
"aggs": {
"tags_aggs": {
"terms": {
"field": "tags.keyword",
"size": 10,
"order": {
"_key": "asc" #根据_count来排序 通过数量来排序
}
}
}
}
}
嵌套排序
#不返回hits中的数据
GET /product/_search?size=0
{
"aggs": {
"first_sort": {
"terms": {
"field": "tags.keyword",
"order": {
"_count": "desc"
}
},
"aggs": {
"second_sort": {
"terms": {
"field": "type.keyword",
"order": {
"_count": "desc"
}
}
}
}
}
}
}
自定义排序
GET /product/_search?size=0 #指定不返回hints
{
"aggs": {
"type_price": {
"terms": {
"field": "type.keyword",
"order": {
#过滤的名字 第二个过滤器有多个止值可以用.来指定
#指定聚合那个字段排在前面
"agg_stats>stats.min": "asc"
}
},
"aggs": {
"agg_stats": {
"filter": {
"terms": {
"tags.keyword": [
"88vip",
"tmall"
]
}
},
"aggs": {
"stats": {
"stats": {
"field": "price"
}
}
}
}
}
}
}
}
#先根据type分类然后 根据tags 筛选 再 根据最小值进行排序
直方图
首先来看这样一个例子
GET /product/_search?size=0
{
"aggs": {
"price_range": {
"range": {
"field": "salary",
"ranges": [
{
"from": 0,
"to": 1000
},
{
"from": 1000,
"to": 2000
},
{
"from": 2000,
"to": 3000
},
{
"from": 3000,
"to": 4000
}
]
}
}
}
}
这里相当于做一个统计，但是需要一个一个定义，类似于坐标轴x,可以有更简单的写法
GET /product/_search?size=0
{
"aggs": {
"price_range": {
"histogram": {
"field": "salary",
"interval": 1000 #坐标间距
}
}
}
}
GET /product/_search?size=0
{
"aggs": {
"price_range": {
"histogram": {
"field": "salary",
"interval": 1000,
"missing": 0, #如果为空值就为0
"min_doc_count": 1 #小于1的不展示 依据doc_count属性
}
}
}
}
时间直方图
GET /product/_search
{
"aggs": {
"price_range": {
"date_histogram": {
"field": "date",
#看月度数据
"calendar_interval": "month", #year day
#看2023-01 - 06的数据
"extended_bounds": {
"min": "2023-01",
"max": "2023-06"
}
}
}
}
}
水位
GET /product/_search
{
"size" : 0,
"aggs": {
"salary_range": {
"percentile_ranks": {
"field": "salary",
"values": [
1000,
2000,
3000,
4000
]
}
}
}
}
它的意思是，有27%的数据薪水不超过1000， 有38%的薪水不超过2000，以此类推吧
