Space Saving算法

用于大数据中统计元素数量最多的元素的算法。

SpaceSaving算法是一种近似计数算法,它在大多数情况下能够提供准确的结果。然而,它并不是完全准确的,因为它使用了一些近似技巧来降低内存使用。具体来说,SpaceSaving算法通过牺牲一定的精度来减少内存消耗。

在实际应用中,SpaceSaving算法通常能够提供足够准确的结果,尤其是对于大规模数据集。但是,对于某些特定的数据分布或极端情况,可能会出现一些误差。因此,在使用SpaceSaving算法时,需要根据具体情况评估其准确性是否满足需求。

具体做法:

如果元素在集合中,将其对应的计数器自增;
如果元素不在集合中且集合未满,就将元素加入集合,计数器设为1;
如果元素不在集合中且集合已满,将集合内计数器值最小的元素移除,将新元素插入到它的位置,并且在原计数值的基础上自增。(这里维护计数值最小的元素可以用传统的堆)
可见,Space Saving算法构建在Misra-Gries算法的基础上,。容易分析得出:

集合中最小的计数值min一定不会大于m / k = εm(m个元素中,数量超过m/k的元素),同时能够保证找出所有频率大于εm的元素;
元素出现频率的估计误差同样在εm的范围内,不过会偏高;
Space Saving算法也有假阳性的问题,特别是在非频繁项集中位于流的末尾时。
 Space Saving算法_第1张图片

准确率取决于计数器大小

 

你可能感兴趣的:(算法)