redis缓存穿透解决方案之布隆过滤器（Bloom Filter）

什么是redis缓存穿透？

        相信使用过redis的小伙伴都或多或少听说过redis缓存三大问题，缓存击穿、缓存雪崩、缓存穿透。本文旨在讨论redis缓存穿透以及解决方案。下面通过一张图来简单介绍下redis缓存穿透问题。

        其中图1为我们使用redis缓存时正常的设计方案，此方案本身不存在什么问题，相信也是大多数程序员使用的方案。但是考虑到一点，此方案是在应对正常请求时的设计，在大多数数据为有效数据时能在很大程度上提升我们系统的性能。但是，若我们系统遭受恶意攻击，攻击者向我们系统发送了大量非法的请求，也就是无效的数据，在这种情况下，图1的设计就显得捉襟见肘了，所有无效的数据都会打穿redis,进而直接访问数据库，导致数据库负载升高甚至崩溃，这对我们的业务系统影响是极大的。

解决方案

一、自定义过滤器（不推荐）

        说到这里，很多小伙伴可能会想，我们使用过滤器过滤掉这些非法的请求不就行了吗？请求非法时直接拦截进行返回就行了啊！如下:

        上图方案为大多数同学第一时间想到的解决办法，此方案确实能过滤一部分非法的请求。但是还需考虑一种场景，假如恶意请求的请求数据合法，但是所请求的数据在数据库确实不存在，这种方案就失效了。举例说明如下，假如数据库和redis存在如下三条数据:

        如果按照身份证号对应姓名以key-value的格式保存在redis中。我们可以在过滤器中设定规则:如果请求中的身份证号不满足我们设定的正则表达式，我们就可以认为此请求非法。试想，若大批量的恶意请求，所请求身份证号为1306341996XXX,此格式是满足身份证号的正则表达式的，但是我们数据库和redis中确实也是不存在的，在这种情况下，我们的过滤器就会失效，缓存穿透问题依然存在，此种方案不建议大家使用。

二、布隆过滤器Bloom Filter（推荐）

介绍：简单来说，布隆过滤器是一个名叫布隆的大佬设计的一款专门用来处理redis缓存穿透问题的过滤器。有兴趣的小伙伴可以去网上详细了解下。旨在最小内存占用的基础上，通过高效的数据运算，最大程度上解决缓存穿透的问题。

原理:布隆过滤器使用BitSet（位图），通过hash运算方式，将我们的数据存储在BitSet中。BitSet是一个很长的0/1序列，每一个序列中只存储0和1，每一个序列只占用1位。正常我们用int占用4个字节，可以想象到BitSet所占用的空间是极小的。下面我们就详细介绍布隆过滤器的工作原理。

一次哈希:

如上图所示：继续以之前我们的数据为例。布隆过滤器会通过一个哈希函数f(x),为我们的每条数据计算出一个标志位所在的位置，并把对应位置的数据由0改为1。每来一个请求，布隆过滤器就会使用请求中的数据如（1306341996XXX 赵六），通过哈希函数f(x)计算出对应的标志位，若此标志位的值为1，表示数据已存在，可以继续往下走。若数据不存在，则直接返回空。

        存在问题：我们知道凡是有哈希的地方，就可能存在哈希冲突，尤其是在一次哈希的情况下，出现哈希冲突的概率会更高，所以上述场景，完全有可能存在误判，即如下所示:

        当1306341996XXX 赵六通过哈希函数f(x)计算时，发现和王五所在的标识位位置相同，且标志位值为1，此时布隆过滤器会误以为赵六存在，此时过滤器失效。

        为在最大程度上避免哈希冲突的概率，布隆过滤器为我们提供了多次哈希的办法。如下图所示:

多次哈希

        如上图所示，三条数据分别通过三个哈希函数f1(x),f2(x),f3(x)，计算出对应的三个标志位，并将标识位数据由0改为1。三个标志位同时为1时，布隆过滤器才会认为此数据已存在，在这种情况下，出现哈希冲突的概率会比之前小很多。但是哈希冲突的可能性还是会有，如下图:

        赵六f1(x)=王五f3(x)，赵六f2(x)=李四f1(x), 赵六f3(x)=张三f2(x)，这种情况是完全有可能发生的。因此，在多次哈希的情况下，布隆过滤器依然发生了误判，但是误判的概率比之前要小很多。

总结:

自定义过滤器:

误判概率高，可能面临与数据库的频繁交互，将数据保存在自定义的内存中，内存消耗大。

布隆过滤器:

会存在误判的可能，但是误判的概率相对于我们自定义的过滤器要小很多，并且可以将大部分的非法或者恶意请求进行过滤。同时，考虑其内存空间占用小，计算效率高的优势，建议小伙伴们优先考虑使用。

BloomFilter的java实现

使用Google Guava提供的BloomFilter，易用性高，灵活性好，参数灵活化配置。

添加依赖

com.google.guava

guava

22.0

创建BloomFilter

//容量1000000，误判率0,03

BloomFilter bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), 1000000, 0.03);

添加数据

bloomFilter.put("1306341993XXX");

判断数据是否存在

boolean isExist = bloomFilter.mightContain("1306341993XXX");

注意：此过滤器不支持元素的删除(由于存在哈希冲突)，只支持元素的新增。

若存在元素删除的场景需考虑使用增强版的布隆过滤器或者布谷鸟过滤器，但性能上会有一定的折扣。

欢迎留言，我们一起成长～～