ES多键聚合桶个数计数问题

ES多键聚合桶个数计数问题

开发验证过程中，ElasticSearch聚合时不显示桶的个数，在进行数据核对时非常麻烦。这里有几个解决方案：

java代码中计数

    java代码中发送查询后，返回response，buckets返回是一个数组，可以获取数组的大小，即聚合桶的数量。我知道这个解决方案可能被喷。

ES使用查询语句计数

GET  cn_order*/_search
{
   "size":0,
	"aggregations": {
		"groupby": {
			"terms": {
				"script": {
					"inline": "doc['order_id'].value+'-split-'+doc['merchant_id'].value"
				},
				"size": 200
			},
			"aggregations": {
				"marketFee": {
					"sum": {
						"field": "market_fee"
					}
				}
			}
		}
	}
}

使用terms，加script的好处是，即可以单键聚合，也可以多键聚合。返回值示例：

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 90,
    "successful": 90,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "groupby": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "doc_count": 2,
          "marketFee": {
            "value": 4.2
          },
          "key": "1437002_76-split-123”
        },
        {
          "doc_count": 1,
          "marketFee": {
            "value": 2.1
          },
          "key": "1437002_77-split-234”
        },
        {
          "doc_count": 1,
          "marketFee": {
            "value": 2.1
          },
          "key": “123_7759-split-345”
        }
      ]
    }
  }
}

其中key的构造即为书写的doc[‘order_id’].value+’-split-’+doc[‘merchant_id’].value格式。中括号内的引号里包含键值。

回归正题，如何对整个返回结果的桶个数进行计数呢？

可以使用辅助手段，在查询结果里构造一个key个数的计数，使之为1，然后在对这个计数进行汇总即可。直接上查询语句：

GET  cn_energy_charge_bill*/_search
{
  "size": 0, 
	"aggregations": {
	 “keycount": {
      "sum_bucket": {
        "buckets_path": "groupby>uniqueId"
      }
    },
		"groupby": {
			"terms": {
				"script": {
					"inline": "doc[‘order_id'].value+'-split-'+doc[’merchant_id’].value"
				},
				"size": 200
			}, 
			"aggregations": {
				"marketFee": {
					"sum": {
						"field": "market_fee"
					}
				},
				"uniqueId": {
				  "cardinality":{
				    "script": {
					"inline": "doc[‘order_id'].value+'-split-'+doc[‘merchant_id’].value"
				}
				  }
				}
			}
		}
	}
}

重点在聚合桶外部还有一个桶个数的聚合：在聚合桶的查询语句中增加一个key维度的聚合，并且进行cardinality去重,所以对于每个单独的桶，key只有一个，这里聚合结果只会是1;然后对key“uniqueId”进行二次汇总聚合，这个汇总即为桶的个数。查询结果如下：

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 90,
    "successful": 90,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
  "keycount": {
    "value": 3
  },
  "aggregations": {
    "groupby": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "doc_count": 2,
          "marketFee": {
            "value": 4.2
          },
          "key": "1437002_76-split-123”
        },
        {
          "doc_count": 1,
          "marketFee": {
            "value": 2.1
          },
          "key": "1437002_77-split-234”
        },
        {
          "doc_count": 1,
          "marketFee": {
            "value": 2.1
          },
          "key": “123_7759-split-345”,
          "uniqueId": {
                "value": 1
           }
        }
      ]
    }
  }
}

keycount的value即为有多少个桶,也可以看到uniqueId的值为1。这里有一个唯一的缺点是，查询时聚合的size值要设的足够大。我的查询设置为200，最后结果只有3个桶，所有桶计数是3.但是如果桶个数超过200个，那么显示200个桶，计数就是200。也就是说桶计数是基于查询出来的桶的个数，如果要显示所有桶的个数，显示的聚合桶的个数设置要大于桶聚合结果的个数。