Python大数据量计数

介绍

大数据量计数问题是我在数学建模中碰到的,如果只是普通数据量的计数问题那么我们不妨使用Counter,但是如果数据量达到一定规模,那么我们不得不考虑其他算法来解决问题了。我们这里使用hyperloglog算法来实现大数据量计数问题,这种算法是一种基于统计的计数算法,算法并不一定准确,但是足够快,如果读者将速度放在第一位那么不妨试试这种算法,而且hyperloglog算法准确率逼近100%,试问1000001和100000又有多大的差距呢,所以这种算法是有一定实用性的。
当然作为胶水语言的Python,当然不必重复造轮子,这里我们可以直接使用python的bounter库来实现hyperloglog算法计数。

安装

bounter的安装和其他python包一样,直接使用包管理工具pip安装即可,但是由于安装bounter的过程需要使用使用VS的编译器进行编译,所以建议读者安装bounter之前最好先安装VS环境或者其他C语言编译环境例如MinGW,不然安装过程会报错,具体解决办法大家可以在网上搜索一下,有很多解决办法。
安装方法:pip install bounter

代码实现

这里给出bounter在github上的官方教材使用的代码:
具体用法请参考GitHub官方文档
示例一:

from bounter import bounter

counts = bounter(size_mb=1024)  # use at most 1 GB of RAM
counts.update([u'a', 'few', u'words', u'a', u'few', u'times'])  # count item frequencies

print(counts[u'few'])  # query the counts
2

示例二

from bounter import bounter

counts = bounter(size_mb=200)  # default version, unless you specify need_items or need_counts
counts.update(['a', 'b', 'c', 'a', 'b'])
print(counts.total(), counts.cardinality())  # total and cardinality still work
(5L, 3)
print(counts['a'])  # individual item frequency still works
2

print(list(counts))  # iterator returns keys, just like Counter
[u'b', u'a', u'c']
print(list(counts.iteritems()))  # supports iterating over key-count pairs, etc.
[(u'b', 2L), (u'a', 2L), (u'c', 1L)]

注:bounter有个可选参数need_iteration,它的默认值为True,意为返回一个类似dict的可迭代对象,如果设置为False,结果为不可迭代的。

你可能感兴趣的:(python)