Elasticsearch terms聚合不准确的问题
Elasticsearch terms聚合不准确的问题
默认情况
默认情况下，terms聚合只返回文档数Top10的term统计。如果想返回更多的词项分桶，可以设置"size"参数。
Size参数
{
"aggs" : {
"products" : {
"terms" : {
"field" : "product",
"size" : 5
}
}
}
}
1.如果不指定，size默认10.
2.size参数决定了terms聚合最多有多少个term bucket返回给客户端(由协调节点返回)。
3.默认情况下协调节点向目标分片请求它们的Top size个term bucket. 之后每个分片的term bucket都在协调节点上reduce，最终返回给客户端。
统计误差 & 遗漏
这种协调节点先请求各自分片的top size词项统计列表，之后再在协调节点上合并最终top size的方式存在误差，以下面对product字段聚合为例：
{
"aggs" : {
"products" : {
"terms" : {
"field" : "product",
"size" : 5
}
}
}
}
假设目标索引共三个分片，并且各分片词项分布如下：
由于size=5，那么协调节点会要求各分片返回各自的top 5词项统计，也就是上图的红框部分。之后在协调节点上，对各分片的top5统计(红框内)进行reduce合并，合并后的结果为：
这个返回结果有以下问题需要注意：
- 由于 ProductA(100) 这个结果是由三个分片各自的ProductA统计结果合并得到的(25+30+45)，因此排名第一的 ProductA(100) 是准确的，没什么问题。
- ProductC(50) 的统计结果由 ShardA 和 ShardC 的结果合并(6+44)，但是这个结果却是有问题的，因为 ShardB 上还有 ProductC(4) 没有被统计到，原因是 ProductC(4) 并没有排进 ShardB 的Top5，导致统计遗漏。
- ProductZ(52) 也是由 ShardB 和 ShardC 的结果合并而来(16+36)，但是这个结果却又是准确的，因为 ShardA 确实没有ProductC这个词项，不存在遗漏统计的问题。
- 协调节点在进行最终结果合并的时候，并没有办法区分情况2和情况3，因此不能保证最终terms聚合结果的词项统计是准确的。
- 对于 ProductH 这个词项，它在三个分片上都存在(2+14+28)，ProductH(44)理应排进最终结果的第4位，但是最终结果中并没有 ProductH(44)，因此 ProductH 被遗漏，原因是它没有排进各自分片的Top5.
Shard Size参数
为了解决以上问题，最容易想到的就是加大Size参数，size越大，最终结果越准。
但是过大的size会增加协调节点合并的压力，并且对于业务上来说，我明明只想要查询TOP5，可我却必须返回TOP100，这会导致不必要的网络传输和数据处理。
更合理的方案是显示设置"shard_size"参数，它可以控制协调节点要求各分片返回TOP shard_size。之后协调节点再从各"TOP shard_size"结果中合并出 “TOP size”。
"shard_size"不能设置得比"size"小，这没有意义，如果shard_size < size，ES后台会强制改写成shard_size = size。
两个反应误差的参数
{
...
"aggregations" : {
"products" : {
"doc_count_error_upper_bound" : 46,
"buckets" : [
{
"key" : "Product A",
"doc_count" : 100
},
{
"key" : "Product Z",
"doc_count" : 52
}
...
]
}
}
}
总的doc_count_error_upper_bound
可以看到返回的结果中有一个参数：“doc_count_error_upper_bound”。
这个参数表示了 遗漏词项(不在最终结果中的词项)的最大可能文档数。它的值是各分片返回的最后一个词项的文档数的和，就是红框中的第五行(2+15+29)=46。
在上面的例子中，这意味着，在最坏情况下，一个被遗漏的词项，至多可能出现在最终TOP5 的第4位，比如ProductH(44)，实际应该是在第5。
各词项的doc_count_error_upper_bound
通过设置"show_term_doc_count_error":true来开启：
GET /_search
{
"aggs" : {
"products" : {
"terms" : {
"field" : "product",
"size" : 5,
"show_term_doc_count_error": true
}
}
}
}
{
...
"aggregations" : {
"products" : {
"doc_count_error_upper_bound" : 46,
"buckets" : [
{
"key" : "Product A",
"doc_count" : 100,
"doc_count_error_upper_bound" : 0
},
{
"key" : "Product Z",
"doc_count" : 52,
"doc_count_error_upper_bound" : 2
}
...
]
}
}
}
各词项的"doc_count_error_upper_bound"表示当前词项的最大误差。
它的值计算方式为：
- 从各分片返回结果中，筛选出没有出现当前词项的结果。
- 计算上述结果中最后一个词项的和。
比如ProductZ，只有ShardA的返回结果中没有，ShardA返回的最后一个词项的和是ProductE(2)。表示ProductZ的文档统计数最大可能有2的误差。
同理，有ProductC，只有ShardB没有，ShardB返回的最后一个词项的和是ProductG(15)，表示ProductC的文档数最大可能有15的误差。
计算doc_count_error_upper_bound的条件
只有在聚合结果按照 文档数降序(默认就是这样) 排序的时候，才会统计这些误差。
以下情况返回"doc_count_error_upper_bound":“-1” ：
- 按照词项值本身排序(无论升序还是降序)，因为这种情况没有误差，因为此时如果分片的TOP N中没有该词项，那一定是这个词项就在该分片中不存在。
- 按照当前文档数升序，或者按照子聚合结果排序，也无法统计误差。
关于排序
默认按照文档数降序。
按文档数排序
GET /_search
{
"aggs" : {
"genres" : {
"terms" : {
"field" : "genre",
"order" : { "_count" : "asc" }
}
}
}
}
不鼓励按照子聚合排序或者文档数升序，否则误差没有上限，除非：
- 目标索引只有当个分片。
- 正在聚合的字段被用作文档索引路由的key。
- 按自聚合排序且子聚合为max或者min。
按词项本身排序
GET /_search
{
"aggs" : {
"genres" : {
"terms" : {
"field" : "genre",
"order" : { "_key/_term" : "asc" }
}
}
}
}
按照子聚合排序
GET /_search
{
"aggs" : {
"genres" : {
"terms" : {
"field" : "genre",
"order" : { "max_play_count" : "desc" }
},
"aggs" : {
"max_play_count" : { "max" : { "field" : "play_count" } }
}
}
}
}
// 如果内部聚合是多值的：
GET /_search
{
"aggs" : {
"genres" : {
"terms" : {
"field" : "genre",
"order" : { "playback_stats.max" : "desc" }
},
"aggs" : {
"playback_stats" : { "stats" : { "field" : "play_count" } }
}
}
}
}