HyperLoglog

问题：如何统计一天的日活跃度，一个用户一天的多次登陆只算做一次

在数据量比较小的情况下，set 这种数据结构 可以很好的统计;然而当用户量大到千万级或上亿级别 的时候使用set的话会占用较大的空间可以粗略计算下：假设 10000000 个用户，key为long（按8字节算），value 为bool （4字节，单独的bool类型），java为例，不考虑内存对齐,补考set具体实现封装entry等消耗，则需要
10000000 *（8+4）bytes ~= 1144 mb ~= 1GB

那有没有一种办法可以节约下内存的空间呢？当然是有的,就是我么今天要聊得 HyperLogLog ，该方法不是一种精确的统计方式，有一定的误差 ，在量小的情况下误差会比较大，当时当数据大到一定程度的时候，稍许的误差在某些指标下，例如活跃度计算，也就不那么重要了,1000w中少个1-2w 误差大概在 标准误差为 0.81% 。

先介绍下伯努利实验
硬币拥有正反两面，一次的上抛至落下，最终出现正反面的概率都是50%。假设一直抛硬币，直到它出现正面为止，我们记录为一次完整的试验，间中可能抛了一次就出现了正面，也可能抛了4次才出现正面。无论抛了多少次，只要出现了正面，就记录为一次试验。这个试验就是伯努利试验

那么对于多次的伯努利试验，假设这个多次为n次。就意味着出现了n次的正面。假设每次伯努利试验所经历了的抛掷次数为k，第一次伯努利试验，次数设为k1，以此类推，第n次对应的是kn
其中，对于这n次伯努利试验中，必然会有一个最大的抛掷次数k，例如抛了12次才出现正面，那么称这个为k_max，代表抛了最多的次数。

伯努利试验容易得出有以下结论：

1. n 次伯努利过程的投掷次数都不大于 k_max。
2. n 次伯努利过程，至少有一次投掷次数等于 k_max

最终结合极大似然估算的方法，发现在n和k_max中存在估算关联：n = 2^(k_max) 。这种通过局部信息预估整体数据流特性的方法似乎有些超出我们的基本认知，需要用概率和统计的方法才能推导和验证这种关联关系。

例如下面的样子：

第一次试验: 抛了3次才出现正面，此时 k=3，n=1
第二次试验: 抛了2次才出现正面，此时 k=2，n=2
第三次试验: 抛了6次才出现正面，此时 k=6，n=3
第n 次试验：抛了12次才出现正面，此时我们估算， n = 2^12
假设上面例子中实验组数共3组，那么 k_max = 6，最终 n=3，我们放进估算公式中去，明显： 3 ≠ 2^6 。也即是说，当试验次数很小的时候，这种估算方法的误差是很大的。

如果只是进行一轮的n次伯努利实验 ，当足够大的时候估算的误差会减少，但是还不够，还需要进一步减少误差，最简单的方式也就是 多来几轮，然后 对 k_max取平均值 ，这也就是loglog的做法定义

image

其中 m为轮数，constant为修正系数 R_（打不出）的定义为 k_max的m次的平均值

HyperLoglog和Loglog的区别是 平均值得方式，hyper使用的调和平均值 公式如下

image.png

具体应用

1. 如何将问题转为为伯努利实验 二进制的0和1 ，通过hash函数转为hashcode 如果一个数据最终被转化了 10010000，那么从右往左，从低位往高位看，我们可以认为，首次出现 1 的时候，就是正面。根据估算公式 大概有多少数据
2. 如何模拟轮次 分桶
   分桶就是分多少轮。抽象到计算机存储中去，就是存储的是一个以单位是比特(bit)，长度为 L 的大数组 S ，将 S 平均分为 m 组，注意这个 m 组，就是对应多少轮，然后每组所占有的比特个数是平均的，设为 P。容易得出下面的关系：

L = S.length
L = m * p
以 K 为单位，S 占用的内存 = L / 8 / 1024
在 Redis 中，HyperLogLog设置为：m=16834，p=6，L=16834 * 6。占用内存为=16834 * 6 / 8 / 1024 = 12K

形象化为：

第0组 第1组 .... 第16833组
[000 000] [000 000] [000 000] [000 000] .... [000 000]
redis 设定了 16384个桶，每个桶使用6bit来存储k_max的中 最大为 2^6-1 ，其中将hashcode为64位，高14位（16384）用来分桶，低50位用来计算k_max
最终统计 constan* 16384*（16384/( 1/kmax1 +1/kmax2 +.....)）

image.png

偏差修正

在估算的计算公式中，constant 变量不是一个定值，它会根据实际情况而被分支设置，例如下面的样子。

假设：m为分桶数，p是m的以2为底的对数。

image

[参考摘录自]（https://www.cnblogs.com/linguanh/p/10460421.html）