布隆过滤器
目录
一、布隆过滤器是什么
工作原理
优点
缺点
二、布隆过滤器的使用
Guava
步骤 1: 添加依赖
步骤 2: 创建和使用布隆过滤器
Redission
使用 Redisson 的 RBloomFilter
步骤 1: 添加依赖
步骤 2: 使用 RBloomFilter
手动使用 BitSet 实现布隆过滤器
示例代码
解释
使用ReBloom插件实现
步骤 1: 安装Redis和ReBloom模块
步骤 2: 使用ReBloom操作布隆过滤器
使用Redis的位图功能手动实现
实现步骤
示例代码
一、布隆过滤器是什么
布隆过滤器（Bloom Filter）是一种空间效率非常高的概率型数据结构，主要用于判断一个元素是否在一个集合中。它能够快速告诉你某个元素“可能在集合中”或“绝对不在集合中”。这种机制特别适合用于需要处理大量数据且允许一定误报率的场景。
工作原理
布隆过滤器通过一组哈希函数将元素映射到位数组中的多个位置，并将这些位置设为1。当检查一个元素是否存在于集合中时，同样使用这些哈希函数计算该元素对应的位数组位置，如果所有对应的位置都为1，则认为该元素可能存在于集合中；如果有任何一个位置为0，则肯定不存在于集合中。
优点
-
空间效率高：相比直接存储元素本身，布隆过滤器只需要少量位来表示。
-
查询速度快：基于哈希函数实现快速查找。
缺点
-
存在误报率：即实际上不在集合中的元素有可能被错误地标记为存在，但不会出现漏报（即实际存在的元素被标记为不存在的情况）。
-
无法删除元素：一旦元素被加入布隆过滤器后，就不能简单地将其移除，因为这可能导致其他元素的误判。
布隆过滤器广泛应用于网络爬虫、垃圾邮件过滤、缓存穿透解决方案等领域。例如，在网络爬虫中，可以用来避免重复抓取相同的URL。尽管有其局限性，布隆过滤器依然是处理大规模数据集时的一种有效工具。
二、布隆过滤器的使用
Guava
步骤 1: 添加依赖
如果你使用的是Maven项目，请在pom.xml文件中添加Guava的依赖：
com.google.guava
guava
30.1-jre
步骤 2: 创建和使用布隆过滤器
下面是一个简单的例子，展示如何创建并使用布隆过滤器来检查字符串是否可能存在。
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
public class BloomFilterExample {
public static void main(String[] args) {
// 创建一个布隆过滤器，预计插入元素数量为500，误报率为0.03
BloomFilter bloomFilter = BloomFilter.create(
Funnels.stringFunnel(), // 使用字符串作为输入类型
500, // 预计要插入的元素数量
0.03); // 期望的误报率
// 向布隆过滤器中添加元素
bloomFilter.put("apple");
bloomFilter.put("banana");
bloomFilter.put("cherry");
// 检查某些元素是否可能存在于布隆过滤器中
String itemToCheck = "banana";
if (bloomFilter.mightContain(itemToCheck)) {
System.out.println(itemToCheck + " 可能存在于集合中.");
} else {
System.out.println(itemToCheck + " 绝对不在集合中.");
}
// 检查一个不存在的元素
itemToCheck = "orange";
if (!bloomFilter.mightContain(itemToCheck)) {
System.out.println(itemToCheck + " 绝对不在集合中.");
}
}
} Redission
使用 Redisson 的 RBloomFilter
如果你使用的 Redisson 版本支持 RBloomFilter，可以直接使用它来实现布隆过滤器。以下是一个示例：
步骤 1: 添加依赖
首先，在你的 pom.xml 文件中添加 Redisson 的依赖
org.redisson
redisson
3.16.8
步骤 2: 使用 RBloomFilter
以下是使用 Redisson 的 RBloomFilter 来实现布隆过滤器的示例代码：
import org.redisson.Redisson;
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
public class RedissonBloomFilterExample {
public static void main(String[] args) {
// 配置 Redisson 连接
Config config = new Config();
config.useSingleServer().setAddress("redis://127.0.0.1:6379");
// 创建 Redisson 客户端
RedissonClient redisson = Redisson.create(config);
// 创建或获取布隆过滤器
RBloomFilter bloomFilter = redisson.getBloomFilter("sampleBloomFilter");
// 初始化布隆过滤器，指定预计元素数量和期望的误报率
bloomFilter.tryInit(55000L, 0.03); // 预计插入55000个元素，误报率为0.03
// 添加元素
bloomFilter.add("apple");
bloomFilter.add("banana");
// 检查元素是否存在
System.out.println(bloomFilter.contains("apple")); // 应该返回 true
System.out.println(bloomFilter.contains("orange")); // 可能返回 false 或 true（误报）
// 关闭 Redisson 客户端
redisson.shutdown();
}
} 手动使用 BitSet 实现布隆过滤器
如果 Redisson 版本不支持 RBloomFilter，你可以使用 Redisson 提供的 RBitSet 来手动实现布隆过滤器。以下是一个简单的例子：
示例代码
import org.redisson.Redisson;
import org.redisson.api.RBitSet;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import java.nio.charset.StandardCharsets;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
public class RedissonManualBloomFilterExample {
private RBitSet bitSet;
private int numHashFunctions;
public RedissonManualBloomFilterExample(RedissonClient redisson, String bitSetName, int numHashFunctions) {
this.bitSet = redisson.getBitSet(bitSetName);
this.numHashFunctions = numHashFunctions;
}
// 使用 SHA-256 哈希函数生成多个哈希值
private long[] getHashes(String item) throws NoSuchAlgorithmException {
MessageDigest md = MessageDigest.getInstance("SHA-256");
byte[] hashBytes = md.digest(item.getBytes(StandardCharsets.UTF_8));
long[] hashes = new long[numHashFunctions];
for (int i = 0; i < numHashFunctions; i++) {
// 对原始哈希值进行二次哈希以生成多个哈希值
hashes[i] = Math.abs((hashBytes[0] + hashBytes[1] * 256 + i * 1000000) % 100000000);
}
return hashes;
}
// 添加元素到布隆过滤器
public void add(String item) throws NoSuchAlgorithmException {
long[] hashes = getHashes(item);
for (long hash : hashes) {
bitSet.set(hash, true);
}
}
// 检查元素是否可能存在
public boolean mightContain(String item) throws NoSuchAlgorithmException {
long[] hashes = getHashes(item);
for (long hash : hashes) {
if (!bitSet.get(hash)) {
return false;
}
}
return true;
}
public static void main(String[] args) {
// 配置 Redisson 连接
Config config = new Config();
config.useSingleServer().setAddress("redis://127.0.0.1:6379");
// 创建 Redisson 客户端
RedissonClient redisson = Redisson.create(config);
// 创建布隆过滤器实例
RedissonManualBloomFilterExample bloomFilter = new RedissonManualBloomFilterExample(redisson, "myBloomFilter", 5);
try {
// 添加元素
bloomFilter.add("apple");
bloomFilter.add("banana");
// 检查元素
System.out.println(bloomFilter.mightContain("apple")); // 应该返回 true
System.out.println(bloomFilter.mightContain("orange")); // 可能返回 false 或 true（误报）
} catch (NoSuchAlgorithmException e) {
e.printStackTrace();
}
// 关闭 Redisson 客户端
redisson.shutdown();
}
}解释
-
初始化布隆过滤器：我们使用
RBitSet来存储布隆过滤器的状态。 -
哈希函数：这里使用了 SHA-256 作为基础哈希函数，并通过简单变换生成多个哈希值。
-
添加和查询操作：对于每个元素，我们计算它的哈希值并相应地设置或检查位图中的位。
这种方法虽然需要更多的手动工作，但提供了灵活性和对底层机制的完全控制。对于更复杂的应用场景，建议使用专门的布隆过滤器实现如 ReBloom 模块或 Redisson 的 RBloomFilter。如果 Redisson 版本支持 RBloomFilter，则推荐直接使用该功能，因为它更为简便且高效。
使用ReBloom插件实现
步骤 1: 安装Redis和ReBloom模块
首先确保你已经安装了Redis，并且你的Redis版本支持加载模块。然后下载并安装ReBloom模块：
# 下载ReBloom模块
wget https://github.com/RedisBloom/RedisBloom/releases/download/v2.2.6/rebloom-2.2.6.zip
unzip rebloom-2.2.6.zip
cd rebloom-2.2.6
# 编译模块
make
# 加载模块（编辑redis.conf文件或直接在启动命令中添加）
# 在redis.conf中添加：
loadmodule /path/to/rebloom.so步骤 2: 使用ReBloom操作布隆过滤器
以下是一个简单的Java示例，展示如何通过Jedis客户端与Redis的ReBloom模块交互，创建并使用布隆过滤器。
首先，确保你的项目中有Jedis依赖。如果使用Maven，请在pom.xml中添加：
redis.clients
jedis
3.7.0
然后，你可以使用如下代码来操作布隆过滤器：
import redis.clients.jedis.Jedis;
public class RedisBloomFilterExample {
public static void main(String[] args) {
// 连接到Redis服务器
try (Jedis jedis = new Jedis("localhost", 6379)) {
String bloomFilterName = "myBloomFilter";
long capacity = 1000; // 预计元素数量
double errorRate = 0.01; // 期望误报率
// 创建布隆过滤器
String result = jedis.cfCreate(bloomFilterName, capacity, errorRate);
System.out.println(result); // 输出是否成功创建
// 向布隆过滤器中添加元素
jedis.cfAdd(bloomFilterName, "apple");
jedis.cfAdd(bloomFilterName, "banana");
// 检查元素是否存在
boolean exists = jedis.cfExists(bloomFilterName, "apple");
System.out.println("apple 存在: " + exists);
exists = jedis.cfExists(bloomFilterName, "orange");
System.out.println("orange 存在: " + exists);
}
}
}请注意，上述代码中的cfCreate, cfAdd, 和 cfExists是针对RedisBloom的命令。如果你使用的Jedis库版本不直接支持这些命令，可能需要使用sendCommand方法发送原生的Redis命令，例如：
jedis.sendCommand(Command.CF_CREATE, bloomFilterName, String.valueOf(capacity), String.valueOf(errorRate));
jedis.sendCommand(Command.CF_ADD, bloomFilterName, "apple");
boolean exists = jedis.sendCommand(Command.CF_EXISTS, bloomFilterName, "apple").get().booleanValue();使用Redis的位图功能手动实现
使用Redis的位图（bitmap）功能手动实现布隆过滤器是一个很好的练习，可以帮助你理解布隆过滤器的工作原理。下面将提供一个简单的例子，展示如何在Java中通过Jedis客户端与Redis交互来实现一个基本的布隆过滤器。
实现步骤
-
选择哈希函数：我们需要几个不同的哈希函数来计算元素对应的位图位置。
-
设置位图：使用Redis的位图数据结构存储信息。
-
添加元素：对每个元素应用多个哈希函数，并将对应位置设为1。
-
检查存在性：对于要检查的元素，再次应用哈希函数，如果所有位置都为1，则认为该元素“可能存在于集合中”。
示例代码
首先确保你的项目中有Jedis依赖。如果使用Maven，请在pom.xml中添加：
redis.clients
jedis
3.7.0
然后，编写如下代码来实现基于Redis位图的布隆过滤器：
import redis.clients.jedis.Jedis;
import java.nio.charset.StandardCharsets;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
public class RedisBitmapBloomFilter {
private Jedis jedis;
private int numHashFunctions;
private String bitmapKey;
public RedisBitmapBloomFilter(Jedis jedis, int size, int numHashFunctions, String bitmapKey) {
this.jedis = jedis;
this.numHashFunctions = numHashFunctions;
this.bitmapKey = bitmapKey;
// 初始化位图大小
jedis.setbit(bitmapKey, size - 1, false);
}
// 使用SHA-256哈希函数生成多个哈希值
private long[] getHashes(String item) throws NoSuchAlgorithmException {
MessageDigest md = MessageDigest.getInstance("SHA-256");
byte[] hashBytes = md.digest(item.getBytes(StandardCharsets.UTF_8));
long[] hashes = new long[numHashFunctions];
for (int i = 0; i < numHashFunctions; i++) {
// 对原始哈希值进行二次哈希以生成多个哈希值
hashes[i] = Math.abs((hashBytes[0] + hashBytes[1] * 256 + i * 1000000) % 100000000);
}
return hashes;
}
// 添加元素到布隆过滤器
public void add(String item) throws NoSuchAlgorithmException {
long[] hashes = getHashes(item);
for (long hash : hashes) {
jedis.setbit(bitmapKey, hash, true);
}
}
// 检查元素是否可能存在
public boolean mightContain(String item) throws NoSuchAlgorithmException {
long[] hashes = getHashes(item);
for (long hash : hashes) {
if (!jedis.getbit(bitmapKey, hash)) {
return false;
}
}
return true;
}
public static void main(String[] args) {
try (Jedis jedis = new Jedis("localhost", 6379)) {
int size = 10000000; // 位图大小
int numHashFunctions = 5; // 哈希函数数量
String bitmapKey = "bloomFilter";
RedisBitmapBloomFilter bloomFilter = new RedisBitmapBloomFilter(jedis, size, numHashFunctions, bitmapKey);
// 添加元素
bloomFilter.add("apple");
bloomFilter.add("banana");
// 检查元素
System.out.println(bloomFilter.mightContain("apple")); // 应该返回true
System.out.println(bloomFilter.mightContain("orange")); // 可能返回false或true（误报）
} catch (NoSuchAlgorithmException e) {
e.printStackTrace();
}
}
}