count distinct是如何实现的

count实现：

count(1|*)实现比较容易，只要设置一个计算器，对每条记录依次加1，需要的内存空间为一个Int/Long占用的空间。

pike中count 代码：

https://github.com/PPTV/Pike/blob/master/pike/src/main/java/com/pplive/pike/function/builtin/Count.java

//CountState中使用long计数，聚合时直接相加
public CountState combine(CountState left, CountState right) {
    if (left == null) 
        return right;
    if (right == null)
        return left;
    return new CountState(left.count() + right.count());
}

count distinct实现：

distinct需要进行去重，最直观的想法就是用HashSet保存需要去重的参数，最终统计输出结果时求HashSet的size即可，若采用map分布式计数，则先reduce合并成一个HashSet再求size。

pike中使用HashSet求distinct count代码：
https://github.com/PPTV/Pike/blob/master/pike/src/main/java/com/pplive/pike/function/builtin/DistinctFilter.java

//添加去重参数，
public boolean addIfNew(Object obj) {
    if(obj == null)
        return false;
    boolean result = this._values.add(obj);
    return result;
}

//返回结果
public long size() {
    return this._values.size();
}

//分布式，先合并
public static DistinctFilter merge(ISizeAwareIterable distinctFilters) {
    if (distinctFilters.size() == 1) {
        return distinctFilters.iterator().next();
    }
    HashSet