Python大数据量计数

介绍

大数据量计数问题是我在数学建模中碰到的，如果只是普通数据量的计数问题那么我们不妨使用Counter，但是如果数据量达到一定规模，那么我们不得不考虑其他算法来解决问题了。我们这里使用hyperloglog算法来实现大数据量计数问题，这种算法是一种基于统计的计数算法，算法并不一定准确，但是足够快，如果读者将速度放在第一位那么不妨试试这种算法，而且hyperloglog算法准确率逼近100%，试问1000001和100000又有多大的差距呢，所以这种算法是有一定实用性的。
当然作为胶水语言的Python，当然不必重复造轮子，这里我们可以直接使用python的bounter库来实现hyperloglog算法计数。

安装

bounter的安装和其他python包一样，直接使用包管理工具pip安装即可，但是由于安装bounter的过程需要使用使用VS的编译器进行编译，所以建议读者安装bounter之前最好先安装VS环境或者其他C语言编译环境例如MinGW，不然安装过程会报错，具体解决办法大家可以在网上搜索一下，有很多解决办法。
安装方法：pip install bounter

代码实现

这里给出bounter在github上的官方教材使用的代码：
具体用法请参考GitHub官方文档
示例一：

from bounter import bounter

counts = bounter(size_mb=1024)  # use at most 1 GB of RAM
counts.update([u'a', 'few', u'words', u'a', u'few', u'times'])  # count item frequencies

print(counts[u'few'])  # query the counts
2

示例二

from bounter import bounter

counts = bounter(size_mb=200)  # default version, unless you specify need_items or need_counts
counts.update(['a', 'b', 'c', 'a', 'b'])
print(counts.total(), counts.cardinality())  # total and cardinality still work
(5L, 3)
print(counts['a'])  # individual item frequency still works
2

print(list(counts))  # iterator returns keys, just like Counter
[u'b', u'a', u'c']
print(list(counts.iteritems()))  # supports iterating over key-count pairs, etc.
[(u'b', 2L), (u'a', 2L), (u'c', 1L)]

注：bounter有个可选参数need_iteration，它的默认值为True，意为返回一个类似dict的可迭代对象，如果设置为False，结果为不可迭代的。