elasticsearch字段distinct去重后统计的几种方案和适用场景

为了实现类似等价的sql：

SELECT COUNT(DISTINCT deviceID) FROM t_order_report;

为什么我要说类似等价呢？ 因为从精确性、性能等角度还是存在很大的差别！

前置条件，场景为：

        用户可以通过时间、套餐类型、订单状态等等查询条件，过滤出满足条件的设备数信息

        因此使用deviceID+各种限制条件 作为Key存储达到去重效果的方式不可行。

如果你对去重结果的精准度没有特殊要求，使用cardinality聚合函数

        AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定义一个精度范围100-40000)

            优点：性能快，亿级别的记录在1秒内完成

            缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景

如果你对去重结果要求精确，使用termsagg聚合（类似group by）

            AggregationBuilders.terms("deviceCount").field("deviceID").size(Integer.MAX_VALUE);

            说明：默认只聚合10个桶，size(Integer.MAX_VALUE)可以指定桶个数

            优点：结果精确

            缺点：只适合聚合少量桶场景（100以内），否则性能极差（十万级的桶需要分钟级完成）

针对海量数据去重（多桶）场景，方法尝试：

            scroll查询全量数据后手动去重

            缺点：性能不达标

            pass...

总结：目前elasticsearch 对海量数据去重，支持的并不友好，暂无好的解决方案