项目1在线交流平台-7.构建安全高效的企业服务-4.Redis两种高级数据结构-HyperLogLog、BItMap

文章目录

    • 功能需求
    • 一、HyperLoglog-基数统计
      • 1. HyperlogLog数据类型特点
        • 什么是基数
      • 2. 应用场景
      • 3. 常用API及使用Spring客户端测试
        • redis原生API
        • Spring客户端操作API
          • `opsForHyperLogLog().add(pfKey, i)`-添加数据
          • `opsForHyperLogLog().size(pfKey)`-统计数据的基数
          • `opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4)`
    • 二、BitMap-位图
      • 1. BitMap数据结构特点
        • bitmap的底层
      • 2. 应用场景
      • 3. 常用API及Spring客户端测试
        • redis原生API
        • Spring客户端操作API
          • `opsForValue().setBit(bitKey, 1, true)`- 设置状态
          • `opsForValue().getBit(bitKey, 0))`- 查询状态
          • `redisConnection.bitCount(bitKey.getBytes())`- 统计状态为true的个数
          • `connection.bitOp()`- 位运算

参考牛客网高级项目教程
狂神说Redis教程笔记

功能需求

项目1在线交流平台-7.构建安全高效的企业服务-4.Redis两种高级数据结构-HyperLogLog、BItMap_第1张图片

  • 为了对网站运营数据进行统计,并节约成本,可以使用redis的两种高级数据结构
  • 认识和测试redis的两种高级数据结构

一、HyperLoglog-基数统计

1. HyperlogLog数据类型特点

  • Redis HyperLogLog 是用来做基数统计的算法,用以完成独立总数的统计
  • HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的空间总是固定的
    • 并且是很小的。花费 12 KB 内存,就可以计算接近 2^64 个不同元素的基数。
  • 因为 HyperLogLog 只会根据输入元素来计算基数,而不会储存输入元素本身
    • 所以 HyperLogLog 不能像集合那样,返回输入的各个元素。
  • 其底层使用string数据类型
  • 其是不精确的统计算法,标准误差为0.81%
什么是基数
  • 数据集中不重复的元素的个数。

2. 应用场景

  • 网页的访问量(UV):一个用户多次访问,也只能算作一个人

传统实现,存储用户的id,然后每次进行比较。当用户变多之后这种方式及其浪费空间,而我们的目的只是计数,Hyperloglog就能帮助我们利用最小的空间完成。

  • 即如果允许容错或对精度要求没有这么高,那么一定可以使用Hyperloglog !
  • 如果不允许容错,就使用set或者自己的数据类型即可 !

3. 常用API及使用Spring客户端测试

redis原生API
命令 描述
pfadd key element1 [elememt2..] 添加指定元素到 HyperLogLog 中
pfcount key [key] 返回给定 HyperLogLog 的基数估算值。
pfmerge mergekey sourcekey [sourcekey..] 将多个 HyperLogLog 合并为一个 HyperLogLog
# 添加元素和统计个数
127.0.0.1:6379> PFADD myelemx a b c d e f g h i j k # 添加元素
(integer) 1
127.0.0.1:6379> type myelemx # hyperloglog底层使用String
string
127.0.0.1:6379> PFCOUNT myelemx # 估算myelemx的基数
(integer) 11
127.0.0.1:6379> PFADD myelemy i j k z m c b v p q s
(integer) 1
127.0.0.1:6379> PFCOUNT myelemy
(integer) 11

# 合并
127.0.0.1:6379> PFMERGE myelemz myelemx myelemy # 合并myelemx和myelemy 成为myelemz
OK
127.0.0.1:6379> PFCOUNT myelemz # 估算基数
(integer) 17
Spring客户端操作API
opsForHyperLogLog().add(pfKey, i)-添加数据
opsForHyperLogLog().size(pfKey)-统计数据的基数
/**
 * 测试对HyperlogLog的操作
 */
@Test
public void testHyperLogLog() {
    // 添加100 000个不重复的数、100 000个重复的数-共20万个数
    String pfKey = "test:hll:01";
    for (int i = 0; i < 100000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey, i);
    }
    for (int i = 0; i < 100000; i++) {
        int r = (int)(Math.random() * 100000);
        redisTemplate.opsForHyperLogLog().add(pfKey, r);
    }
    // 统计指定key中所有不重复的基数个数
    long size = redisTemplate.opsForHyperLogLog().size(pfKey);
    System.out.println(size);
}
99565
opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4)
  • 将pfKey2, pfKey3, pfKey4的数合并到unionKey中
/**
 * 合并数据-并统计合并后的基数
 */
@Test
public void testHyperLogLogUnion() {
    String pfKey2 = "test:hll:02";
    String pfKey3 = "test:hll:03";
    String pfKey4 = "test:hll:04";
    for (int i = 0; i < 10000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey2, i);
    }
    for (int i = 5000; i < 15000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey3, i);
    }
    for (int i = 10000; i < 20000; i++) {
        redisTemplate.opsForHyperLogLog().add(pfKey4, i);
    }
    // 合并三组数
    String unionKey = "test:hll:union";
    redisTemplate.opsForHyperLogLog().union(unionKey, pfKey2, pfKey3, pfKey4);

    // 统计合并后的基数
    long size = redisTemplate.opsForHyperLogLog().size(unionKey);
    System.out.println(size);
}
19891

二、BitMap-位图

1. BitMap数据结构特点

  • 使用位存储,信息状态只有 0 和 1
    • 可以将其看作Byte数组
    • 可以储存大量连续数据的布尔值

Bitmap是一串连续的2进制数字(0或1),每一位所在的位置为偏移(offset)
在bitmap上可执行AND,OR,XOR,NOT以及其它位操作

bitmap的底层

项目1在线交流平台-7.构建安全高效的企业服务-4.Redis两种高级数据结构-HyperLogLog、BItMap_第2张图片

  • 所以bitmaps是一串从左到右的二进制串

2. 应用场景

  • 签到统计、状态统计

统计用户信息,活跃,不活跃! 登录 、 未登录! 打卡,365打卡! 两个状态的,都可以使用
Bitmaps!

3. 常用API及Spring客户端测试

redis原生API
命令 描述
setbit key offset value 为指定key的offset位设置值
getbit key offset 获取offset位的值
bitcount key [start end] 统计字符串被设置为1的bit数,也可以指定统计范围按字节
bitop operration destkey key[key..] 对一个或多个保存二进制位的字符串 key 进行位元操作,并将结果保存到 destkey 上。
BITPOS key bit [start] [end] 返回字符串里面第一个被设置为1或者0的bit位。start和end只能按字节,不能按位
# 添加数据和获取数据
127.0.0.1:6379> setbit sign 0 1 # 设置sign的第0位为 1 
(integer) 0
127.0.0.1:6379> setbit sign 2 1 # 设置sign的第2位为 1  不设置默认 是0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 5 1
(integer) 0
127.0.0.1:6379> type sign	# 底层也是String类型
string

127.0.0.1:6379> getbit sign 2 # 获取第2位的数值
(integer) 1
127.0.0.1:6379> getbit sign 3
(integer) 1
127.0.0.1:6379> getbit sign 4 # 未设置默认是0-及false
(integer) 0

# 统计数据中为1的个数-即为true的个数
127.0.0.1:6379> BITCOUNT sign # 统计sign中为1的位数
(integer) 4
Spring客户端操作API
opsForValue().setBit(bitKey, 1, true)- 设置状态
  • 默认每位的状态为false
opsForValue().getBit(bitKey, 0))- 查询状态
redisConnection.bitCount(bitKey.getBytes())- 统计状态为true的个数
/**
 * 测试对BitMaps的操作
 * 记录-查询和统计
 */
@Test
public void testBitMap() {
    String bitKey = "test:bit:01";
    // 记录数据状态-默认false
    redisTemplate.opsForValue().setBit(bitKey, 1, true);
    redisTemplate.opsForValue().setBit(bitKey, 4, true);
    redisTemplate.opsForValue().setBit(bitKey, 7, true);

    // 查询
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 0));
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 1));
    System.out.println(redisTemplate.opsForValue().getBit(bitKey, 2));

    // 统计
    Object execute = redisTemplate.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection redisConnection) throws DataAccessException {
            return redisConnection.bitCount(bitKey.getBytes());
        }
    });

    System.out.println(execute);
}
false
true
false
3
connection.bitOp()- 位运算
@Nullable
Long bitOp(RedisStringCommands.BitOperation var1, byte[] var2, byte[]... var3);
  • OR运算

    connection.bitOp(RedisStringCommands.BitOperation.OR,
            bitKeyOR.getBytes(), bitKey2.getBytes(), bitKey3.getBytes(), bitKey4.getBytes());
    
/**
 * OR运算
 * 统计3组数据的布尔值, 并对这3组数据做OR运算.
 */
@Test
public void testBitMapOperation() {
    String bitKey2 = "test:bm:02";
    redisTemplate.opsForValue().setBit(bitKey2, 0, true);
    redisTemplate.opsForValue().setBit(bitKey2, 1, true);
    redisTemplate.opsForValue().setBit(bitKey2, 2, true);

    String bitKey3 = "test:bm:03";
    redisTemplate.opsForValue().setBit(bitKey3, 2, true);
    redisTemplate.opsForValue().setBit(bitKey3, 3, true);
    redisTemplate.opsForValue().setBit(bitKey3, 4, true);

    String bitKey4 = "test:bm:04";
    redisTemplate.opsForValue().setBit(bitKey4, 4, true);
    redisTemplate.opsForValue().setBit(bitKey4, 5, true);
    redisTemplate.opsForValue().setBit(bitKey4, 6, true);

    // 合并处理
    String bitKeyOR = "test:bm:or";
    Object obj = redisTemplate.execute(new RedisCallback() {
        @Override
        public Object doInRedis(RedisConnection connection) throws DataAccessException {
            connection.bitOp(RedisStringCommands.BitOperation.OR,
                    bitKeyOR.getBytes(), bitKey2.getBytes(), bitKey3.getBytes(), bitKey4.getBytes());
            return connection.bitCount(bitKeyOR.getBytes());
        }
    });

    System.out.println(obj);    // 统计的个数

    // 合并后,每位的状态
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 0));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 1));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 2));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 3));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 4));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 5));
    System.out.println(redisTemplate.opsForValue().getBit(bitKeyOR, 6));
}
7
true
true
true
true
true
true
true

你可能感兴趣的:(项目笔记总结,spring,java,后端,redis)