redis Redis缓存穿透与雪崩解决方案

起因：随着项目的进一步推广，数据量的增大，直接访问mysql数据库获取数据所使用的时间越来越长，为解决当前主要矛盾，决定引入redis非关系型数据库作为缓存层，使得数据并不能直接命中数据库，减少访问数据库带来的压力，从而加快运行速度。

---

1. Redis缓存穿透解决方案

1.1. 缓存穿透的场景

get传参数，参数一般是id，如果这个id是一个无效id

String key = request.getParameter("key");
List list = new ArrayList();
//习惯性会用json来保存结构数据
String cartJson = redisOperator.get(key);
if(StringUtls.isBlank(cartJson)){
  //redis里面没有保存这个key
  list = cartService.getCarts(key);
  //从数据库里查出来然后写入redis
  if(list!=null&&list.size()>0){
    redisOperator.set("cartId:"+key,JsonUtils.objectToJson(list));
  }else{
    redisOperator.set("cartId:"+key,JsonUtils.objectToJson(list),10*60);
  }
}else{
  //redis里有值
  list = JsonUtils.jsonToList(list));
}

假如我系统被人攻击了，如何攻击？

get传参数，传N个无效的id

1.2. 布隆过滤器bloomfilter

之前讲了一个hyperloglog，保存不重复的基数个数：比如记录访问的UV，我只需要个数

场景描述

比如我们一个新闻客户端，不断的给用户推荐新的新闻，推荐去重，还要高效

这个时候你想到Redis，能实时推送并快速去重

用户A：1 2 3 4 5 6（2 7 9）每个用户都应该有一个浏览的历史记录：一旦时间长了，是不是数据量就非常大

如果用户量也很大怎么办？

这个时候我们的布隆过滤器就登场了

总结一下

• 布隆过滤器可以判断数据是否存在
• 并且可以节省90%以上的存储空间
• 但匹配精度会有一点不准确（涉及空间和时间的转换：0.01%）

1.2.1. 布隆过滤器的运行场景

它本身是一个二进制的向量，存放的就是0，1

比如我们新建一个长度为16的布隆过滤器

image-20200212211741872.png

所以布隆过滤器的精度是取决于bloom的存储大小的的，如果长度越大，精度就越高

布隆过滤器的特征

• 精度是取决于bloom的存储大小的的，如果长度越大，精度就越高
• 只能判断数据是否一定不存在，而无法判断数据是否一定存在
• bloom的存储节点不能删除，一旦删除就影响其他节点数据的特征了

布隆过滤器存储的节点数据一定是历史数据

1.2.2. 布隆过滤器的使用

到入google的guava的POM

        
            com.google.guava
            guava
            28.2-jre
        

BloomFilter的代码测试

public class BloomFilterTest {
    public static void main(String[] args) {
            //字符集，bf的存储长度一般是你要存放的数据量1.5-2倍，期望的误判率
        BloomFilter bf = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")),100000,0.0001);
        for(int i=0;i<100000;i++){
            bf.put(String.valueOf(i));
        }
        int flag = 0;
        for(int i=100000;i<200000;i++){
            if(bf.mightContain(String.valueOf(i))){
                flag++;
            }
        }
        System.out.println("误判了："+flag);

    }
}

1.2.3. Redis集成布隆过滤器

Redis官方提供的布隆过滤器支持的是到了Redis4.x以后提供的插件功能

# 下载bloomfilter的插件
wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz
# 解压
make
# 去到redis的配置文件对我们的过滤器进行添加
loadmodule /usr/local/software/RedisBloom-1.1.1/rebloom.so
# 创建bloomfilter并添加一个值
# 默认过滤器长度为100，精度0.01 : MBbloom
bf.add users value1 #可以不断添加到同一个key
bf.madd users value1 value2
# 判断一个值是否存在
bf.exists users value1
# 判断多个值是否存在
bf.mexists users value1 value2 value3
# 手工建立bloomfliter的配置
bf.reserve userBM 0.001 10000

1.2.4. Java集成Redis BloomFilter

先导入依赖

  com.redislabs
  jrebloom
  1.2.0

Java的bloomfilter调用

import io.rebloom.client.Client;

public class RedisBloomFilterTest {
    public static void main(String[] args) {
        Client bloomClient = new Client("127.0.0.1",6379);
        //先创建bloomfilter
        bloomClient.createFilter("userFilter",1000,0.001);
        bloomClient.add("userFilter","gavin");
        System.out.println("bloomfilter："+bloomClient.exists("userFilter","gavin"));
    }
}

1.2.5. 布隆过滤器的使用总结

• 布隆过滤器如果初始值过大会占用较大空间，过小会误差率高，使用前估计好元素数量
• error_rate越小，占用空间就越大
• 只能判断数据是否一定不存在，而无法判断数据是否一定存在
• 可以节省90%的存储空间
• 但匹配精度会有一点不准确（涉及空间和时间的转换：0.01%）
• 布隆过滤器只能add和exists不能delete

help @generic

2. Redis雪崩解决方案

2.1. 什么是Redis雪崩

• 雪崩是基于数据库，所有原理应该到Redis的查询全到DB，并且是同时到达

• 缓存在同一时间大量的key过期（key）

• 多个用户同时请求并到达数据，而且这个请求只有一个是有意义的，其他的都是重复无用功

2.2. Redis雪崩解决方案

• 缓存用不过期：冰封了
• 过期时间错开（可以在key创建时加入一个1-10分钟的随机数给到key）
• 多缓存数据结合（不要直接打到DB上，可以在DB上再加一个搜索引擎）
• 在代码里通过锁解决（synchronized，分布式锁zookeeper）

---

不要以为每天把功能完成了就行了，这种思想是要不得的，互勉~！