差点跑路！布隆过滤器大key，引发Redis崩溃

在大数据场景下，布隆过滤器是一种常用的数据结构，用于快速判断元素是否存在。而 Redis 则是一种流行的缓存和数据存储系统，广泛应用于互联网领域。

然而，当布隆过滤器的 key 过大时，会引发 Redis 的崩溃，给系统带来严重的影响。

做了刚转行互联网不久的新人，来公司不久，做了一个计算弹窗 CTR 的功能，需要通过设备 id 去重，以计算弹窗的 UV CTR。

我这个时候想到了布隆过滤器，在 Redis 存储布隆过滤器，布隆过滤器中存储弹过窗的设备 id。

由于布隆过滤器设置的数据过大，导致线上 Redis IO 报警，差点导致整个 Redis 崩溃，差点跑路！

本文将探讨布隆过滤器大 key 问题的产生原因、解决方法和预防措施。

布隆过滤器的作用和原理

布隆过滤器是一种空间效率高、时间效率低的数据结构，用于快速判断元素是否存在。它通过多个哈希函数将元素映射到一个位数组中，并将对应的位标记为 1。

当判断一个元素是否存在时，将其通过相同的哈希函数映射到位数组中，如果对应的位都为 1，则认为元素存在。

由于布隆过滤器不需要存储元素本身，而只需要存储位数组，因此在处理大规模数据时具有很高的效率。

Redis 的基本概念和用途

Redis 是一种流行的缓存和数据存储系统，具有高性能、高可用性和高扩展性等优点。它支持多种数据结构，包括字符串、哈希表、列表、集合和有序集合等。

Redis 常用于缓存、消息队列、分布式锁和计数器等场景，广泛应用于互联网领域。

布隆过滤器在 Redis 中的应用

在 Redis 中，布隆过滤器常用于去重和快速判断元素是否存在。例如，在爬虫系统中，可以使用布隆过滤器去重，避免重复爬取相同的网页。

在推荐系统中，可以使用布隆过滤器判断用户是否已经看过某个推荐内容，避免重复推荐。

大 key 问题的产生

在 Redis 中，每个key的大小都是有限制的，一般不能超过 512 MB。

当布隆过滤器的 key 过大时，会导致 Redis 的内存占用过高，操作 Redis 会引起 IO 过高，甚至引发Redis的崩溃。

这就是所谓的大key问题。

布隆过滤器大 key 的问题

布隆过滤器大 key 的问题主要表现为，当 Redis 存储的 key 是一个布隆过滤器，但是这个布隆过滤器存储的元素过多，比如上亿，访问 Redis 中的布隆过滤器 IO 过高，导致 Redis 响应慢，甚至失败，布隆过滤器会失效，无法正确判断元素是否存在。

这会导致重复元素的出现，从而影响系统的正确性和性能。

解决布隆过滤器大 key 问题的方法

为了解决布隆过滤器大 key 问题，可以采取以下方法：

1. 控制 key 的大小。在使用布隆过滤器时，应该尽量控制 key 的大小，避免超过 Redis 的限制。

2. 拆分大 key。如果无法避免大 key 的出现，可以将大 key 拆分成多个小 key，分别存储在 Redis 中。

3. 使用多个布隆过滤器。如果数据量较大，可以使用多个布隆过滤器，将数据分散存储在不同的布隆过滤器中。

预防和优化措施

为了预防和优化布隆过滤器大 key 问题，可以采取以下措施：

1. 监控 Redis 的内存占用情况，及时发现内存泄漏和大 key 问题。

2. 合理设置 Redis 的内存限制和淘汰策略，避免内存溢出和性能下降。

结论

布隆过滤器大 key 问题是 Redis 中常见的性能问题之一，需要引起重视。

在使用布隆过滤器时，应该尽量控制 key 的大小，避免超过 Redis 的限制。如果无法避免大 key 的出现，可以采取拆分大 key、使用多个布隆过滤器等方法来解决问题。

同时，应该定期监控 Redis 的内存占用情况，及时发现和解决问题。