高并发缓存穿透设计的一些思路

在目前的开发应用中，基本上缓存是标配，而使用的比较多的是redis、memercache等，也有一些本地缓存，比如hashmap、google guava包、spring cache等，或者更好一点的本地作为一级缓存，redis等作为二级缓存，本地缓存数据量较少

@Override
	public OrderEntity selectById(Long id) {
		Object object = redisUtils.get(String.valueOf(id));
		if(object!=null){
			return (OrderEntity) object;
		}else {
			return orderMapper.selectByPrimaryKey(id);
		}
	}

上述代码先从redis查询，如果没有从数据库查询，这是一般的做法。

如果并发量非常高，redis里面没有数据，会直接查询数据库，导致数据库的压力非常大。可能就会导致数据库非常危险，甚至不可用。发生缓存穿透基本数据库就崩了。一般mysql服务器8核16G能承受并发2W+，16核96G能承受并发4.5W+，必须要防范。

1、在查询的时候进行参数验证，按照实际业务指定的参数规则验证，匹配不上直接返回

2、匹配上，redis没有，还是会查询数据库，数据库即使查询没有数据，同样缓存，缓存为null，可以加一个过期时间，或者定时清理为null的缓存，设置过期时间保证原子性，防止redis中途挂掉。

3、提前缓存查询频繁的数据

改造后的代码:

@PostConstruct
	public void init(){
		//初始化数据，遍历所有数据将id放入redis中
	}
	
	@Override
	public OrderEntity selectById(Long id) {
		Object object = redisUtils.get(String.valueOf(id));
		if(object!=null){
			return (OrderEntity) object;
		}else {
			OrderEntity orderEntity = orderMapper.selectByPrimaryKey(id);
			redisUtils.set(String.valueOf(id), orderEntity, 5);
			return orderEntity;
		}
	}

@PostConstruct注解为Spring提供的构造函数初始化执行的代码块

以上代码为思路，实际肯定不会这样写

提前缓存数据在初始化之后，数据量会非常大，举个例子，一个8字节的ID，如果数据量在16亿，那么占用内存就是32G。这个还只是一个ID的缓存，虽然redis官方说的查询速度为12W+/s，如果加上其他的缓存数据，内存占用及其高，并且查询速度也不高

布隆过滤器(Bloom Filter)

具体算法网上很多资料，这里就不讲述。目的在于节省内存，相关算法实现redis也是有的，bitmap，必须验证key的有效性。

bitmap长度有2的32次方，是一个二进制数据，长度足足有40亿+的长度，并且占用内存最高512M，比起16亿的数据量占用好太多。它元素存储的是1/0。二进制存储,也可以理解为就是一个hashmap

缺点是会产生hash碰撞，数据可能会redis没有，但很少，即使没有，再次请求数据库即可。因为这样的请求很少，即使高并发下数据库也能完全应付，还能解决空间占用庞大的问题，能节省很多的成本，成本意识是架构师必不可少考虑的因素。

伪代码:

@PostConstruct
	public void init(){
		//初始化数据,可以是从数据库或者其他地方获取
		List ids=new ArrayList();
		//遍历放入redis
		ids.stream().forEach(id ->{
			int hash = id.hashCode();
			//获取bitmap映射位置(hashmap)
			long index = (long)Math.abs(hash%Math.pow(2,32));
			redisUtils.setBit("bloom_filter_ids",index,true);
		});
		
	}
	
	@Override
	public OrderEntity selectById(Long id) {
		int hash = id.hashCode();
		long index = (long)Math.abs(hash%Math.pow(2,32));
		boolean b = redisUtils.getBit("bloom_filter_ids", index);
		if(b){
			Object object = redisUtils.get(String.valueOf(id));
			if(object!=null){
				return (OrderEntity) object;
			}else {
				OrderEntity orderEntity = orderMapper.selectByPrimaryKey(id);
				redisUtils.set(String.valueOf(id), orderEntity, 5);
				return orderEntity;
			}
		}else {
			System.out.println("请求ID被拦截");
			return null;
		}
	}

在保证key（我这里以id表示）的有效性的时候，也有可能会产生无数的id/key在redis没有，会查询到数据库，可以同步加锁或者分布式锁等方案都可以

RedisUtils:

package com.chwl.cn.config.redis;

import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.TimeUnit;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;

/**
 * @author ypp 创建时间：2018年11月19日 下午4:58:04
 * @Description: TODO(redis缓存工具类)
 */
@Component
public class RedisUtils {

	@Autowired
	@Qualifier("redisTemplate")
	private RedisTemplate redisTemplate;

	// =============================common============================
	/**
	 * 指定缓存失效时间
	 * @param key 键
	 * @param time 时间(秒)
	 * @return
	 */
	public boolean expire(String key, long time) {
		try {
			if (time > 0) {
				redisTemplate.expire(key, time, TimeUnit.SECONDS);
			}
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 根据key 获取过期时间
	 * @param key 键 不能为null
	 * @return 时间(秒) 返回0代表为永久有效
	 */
	public long getExpire(String key) {
		return redisTemplate.getExpire(key, TimeUnit.SECONDS);
	}

	/**
	 * 判断key是否存在
	 * @param key 键
	 * @return true 存在 false不存在
	 */
	public boolean hasKey(String key) {
		try {
			return redisTemplate.hasKey(key);
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 删除缓存
	 * @param key 可以传一个值 或多个
	 */
	@SuppressWarnings("unchecked")
	public void del(String... key) {
		if (key != null && key.length > 0) {
			if (key.length == 1) {
				redisTemplate.delete(key[0]);
			} else {
				redisTemplate.delete(CollectionUtils.arrayToList(key));
			}
		}
	}

	// ============================String=============================
	/**
	 * 普通缓存获取
	 * @param key 键
	 * @return 值
	 */
	public Object get(String key) {
		return key == null ? null : redisTemplate.opsForValue().get(key);
	}

	/**
	 * 普通缓存放入
	 * @param key 键
	 * @param value 值
	 * @return true成功 false失败
	 */
	public boolean set(String key, Object value) {
		try {
			redisTemplate.opsForValue().set(key, value);
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}

	}

	/**
	 * 普通缓存放入并设置时间
	 * 
	 * @param key 键
	 * @param value 值
	 * @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
	 * @return true成功 false 失败
	 */
	public boolean set(String key, Object value, long time) {
		try {
			if (time > 0) {
				redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
			} else {
				set(key, value);
			}
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 递增
	 * @param key 键
	 * @param by 要增加几(大于0)
	 * @return
	 */
	public long incr(String key, long delta) {
		if (delta < 0) {
			throw new RuntimeException("递增因子必须大于0");
		}
		return redisTemplate.opsForValue().increment(key, delta);
	}

	/**
	 * 递减
	 * @param key 键
	 * @param by 要减少几(小于0)
	 * @return
	 */
	public long decr(String key, long delta) {
		if (delta < 0) {
			throw new RuntimeException("递减因子必须大于0");
		}
		return redisTemplate.opsForValue().increment(key, -delta);
	}

	// ================================Map=================================
	/**
	 * HashGet
	 * @param key 键 不能为null
	 * @param item 项 不能为null
	 * @return 值
	 */
	public Object hget(String key, String item) {
		return redisTemplate.opsForHash().get(key, item);
	}

	/**
	 * 获取hashKey对应的所有键值
	 * @param key 键
	 * @return 对应的多个键值
	 */
	public Map hmget(String key) {
		return redisTemplate.opsForHash().entries(key);
	}

	/**
	 * HashSet
	 * @param key 键
	 * @param map 对应多个键值
	 * @return true 成功 false 失败
	 */
	public boolean hmset(String key, Map map) {
		try {
			redisTemplate.opsForHash().putAll(key, map);
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * HashSet 并设置时间
	 * @param key 键
	 * @param map 对应多个键值
	 * @param time 时间(秒)
	 * @return true成功 false失败
	 */
	public boolean hmset(String key, Map map, long time) {
		try {
			redisTemplate.opsForHash().putAll(key, map);
			if (time > 0) {
				expire(key, time);
			}
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 向一张hash表中放入数据,如果不存在将创建
	 * @param key 键
	 * @param item 项
	 * @param value 值
	 * @return true 成功 false失败
	 */
	public boolean hset(String key, String item, Object value) {
		try {
			redisTemplate.opsForHash().put(key, item, value);
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 向一张hash表中放入数据,如果不存在将创建
	 * @param key 键
	 * @param item 项
	 * @param value 值
	 * @param time
	 *            时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
	 * @return true 成功 false失败
	 */
	public boolean hset(String key, String item, Object value, long time) {
		try {
			redisTemplate.opsForHash().put(key, item, value);
			if (time > 0) {
				expire(key, time);
			}
			return true;
		} catch (Exception e) {
			e.printStackTrace();
			return false;
		}
	}

	/**
	 * 删除hash表中的值
	 * @param key 键 不能为null
	 * @param item 项 可以使多个 不能为null
	 */
	public void hdel(String key, Object... item) {
		redisTemplate.opsForHash().delete(key, item);
	}

	/**
	 * 判断hash表中是否有该项的值
	 * @param key 键 不能为null
	 * @param item 项 不能为null
	 * @return true 存在 false不存在
	 */
	public boolean hHasKey(String key, String item) {
		return redisTemplate.opsForHash().hasKey(key, item);
	}

	/**
	 * hash递增 如果不存在,就会创建一个 并把新增后的值返回
	 * @param key 键
	 * @param item 项
	 * @param by 要增加几(大于0)
	 * @return
	 */
	public double hincr(String key, String item, double by) {
		return redisTemplate.opsForHash().increment(key, item, by);
	}

	/**
	 * hash递减
	 * @param key 键
	 * @param item 项
	 * @param by 要减少记(小于0)
	 * @return
	 */
	public double hdecr(String key, String item, double by) {
		return redisTemplate.opsForHash().increment(key, item, -by);
	}

	// ============================set=============================
	/**
	 * 根据key获取Set中的所有值
	 * @param key 键
	 * @return
	 */
	public Set