【SpringBoot DB 系列】Redis 高级特性之 HyperLoglog

image

【SpringBoot DB 系列】Redis 高级特性之 HyperLoglog

hyperloglog 算法，利用非常少的空间，实现比较大的数据量级统计；比如我们前面在介绍 bitmap 的过程中，说到了日活的统计，当数据量达到百万时，最佳的存储方式是 hyperloglog，本文将介绍一下 hyperloglog 的基本原理，以及 redis 中的使用姿势

I. 基本使用

1. 配置

我们使用 SpringBoot 2.2.1.RELEASE来搭建项目环境，直接在pom.xml中添加 redis 依赖

    org.springframework.boot
    spring-boot-starter-data-redis

如果我们的 redis 是默认配置，则可以不额外添加任何配置；也可以直接在application.yml配置中，如下

spring:
  redis:
    host: 127.0.0.1
    port: 6379
    password:

2. 使用姿势

我们下来看使用姿势，原理放在后面说明

redis 中，hyperlolog使用非常简单，一般就两个操作命令，添加pfadd + 计数pfcount；另外还有一个不常用的merge

a. add

添加一条记录

public boolean add(String key, String obj) {
    // pfadd key obj
    return stringRedisTemplate.opsForHyperLogLog().add(key, obj) > 0;
}

b. pfcount

非精准的计数统计

public long count(String key) {
    // pfcount 非精准统计 key的计数
    return stringRedisTemplate.opsForHyperLogLog().size(key);
}

a. merge

将多个 hyperloglog 合并成一个新的 hyperloglog；感觉用的场景并不会特别多

public boolean merge(String out, String... key) {
    // pfmerge out key1 key2  ---> 将key1 key2 合并成一个新的hyperloglog out
    return stringRedisTemplate.opsForHyperLogLog().union(out, key) > 0;
}

3. 原理说明

关于 HyperLogLog 的原理我这里也不进行详细赘述，说实话那一套算法以及调和平均公式我自己也没太整明白；下面大致说一下我个人的朴素理解

Redis 中的 HyperLogLog 一共分了2^14=16384个桶，每个桶占 6 个 bit

一个数据，塞入 HyperLogLog 之前，先 hash 一下，得到一个 64 位的二进制数据

• 取低 14 位，用来定位桶的 index
• 高 50 位，从低到高数，找到第一个为 1 出现的位置 n
  • 若桶中值 > n，则丢掉
  • 反之，则设置桶中的值为 n

那么怎么进行计数统计呢？

• 拿所有桶中的值，代入下面的公式进行计算

image

上面这个公式怎么得出的?

之前看到一篇文章，感觉不错，有兴趣了解原理的，可以移步: https://www.jianshu.com/p/55defda6dcd2

4. 应用场景

hyperloglog通常是用来非精确的计数统计，前面介绍了日活统计的 case，当时使用的是 bitmap 来作为数据统计，然而当 userId 分散不均匀，小的特别小，大的特别大的时候，并不适用

在数据量级很大的情况下，hyperloglog的优势非常大，它所占用的存储空间是固定的2^14
下图引用博文《用户日活月活怎么统计》

image

使用 HyperLogLog 进行日活统计的设计思路比较简单

• 每日生成一个 key
• 某个用户访问之后，执行 pfadd key userId
• 统计总数: pfcount key

II. 其他

0. 项目

系列博文

• 【DB 系列】Redis 高级特性之发布订阅
• 【DB 系列】Redis 高级特性之 Bitmap 使用姿势及应用场景介绍
• 【DB 系列】Redis 之管道 Pipelined 使用姿势
• 【DB 系列】Redis 集群环境配置
• 【DB 系列】借助 Redis 搭建一个简单站点统计服务（应用篇）
• 【DB 系列】借助 Redis 实现排行榜功能（应用篇）
• 【DB 系列】Redis 之 ZSet 数据结构使用姿势
• 【DB 系列】Redis 之 Set 数据结构使用姿势
• 【DB 系列】Redis 之 Hash 数据结构使用姿势
• 【DB 系列】Redis 之 List 数据结构使用姿势
• 【DB 系列】Redis 之 String 数据结构的读写
• 【DB 系列】Redis 之 Jedis 配置
• 【DB 系列】Redis 之基本配置

工程源码

• 工程：https://github.com/liuyueyi/spring-boot-demo
• 项目源码: https://github.com/liuyueyi/spring-boot-demo/tree/master/spring-boot/122-redis-template

1. 一灰灰 Blog

尽信书则不如，以上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现 bug 或者有更好的建议，欢迎批评指正，不吝感激

下面一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛

• 一灰灰 Blog 个人博客 https://blog.hhui.top
• 一灰灰 Blog-Spring 专题博客 http://spring.hhui.top