Elasticsearch数据去重（百万级别）

如果你对去重结果的精准度没有特殊要求，使用cardinality聚合函数

        AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定义一个精度范围100-40000)

            优点：性能快，亿级别的记录在1秒内完成

            缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景

如果你对去重结果要求精确，使用termsagg聚合（类似group by）

            AggregationBuilders.terms("deviceCount").field("deviceID").size(Integer.MAX_VALUE);

            说明：默认只聚合10个桶，size(Integer.MAX_VALUE)可以指定桶个数

            优点：结果精确

            缺点：只适合聚合少量桶场景（100以内），否则性能极差（十万级的桶需要分钟级完成）

针对海量数据去重（多桶）场景，方法尝试：

            scroll查询全量数据后手动去重

            缺点：性能不达标

            pass...