缓存雪崩、缓存击穿、缓存穿透概念及其解决方案

缓存雪崩

概念

在一个较短的时间内，缓存中较多的key集中过期。此周期内访问请求过期的数据，Redis未命中，便将请求发送给数据库。数据库一时间无法处理如此多的请求，导致Redis中大量请求被积压，且出现超时现象。

解决方案

1. 更多的页面静态化处理
2. 构建多级缓存架构
   Nginx缓存+ redis缓存+ ehcache缓存
   即使Redis未命中，ehcache能命中便可以减轻压力
3. 检测Mysq严重耗时业务进行优化
   对数据库的瓶颈排查：例如超时查询、耗时较高事务等
4. 灾难预警机制
   监控 redis服务器性能指标
   • CPU占用、CPU使用率
   • 内存容量
   • 查询平均响应时间线程数
5. 限流、降级
   短时间范围内牺牲一些客户体验，限制部分请求访问，降低应用服务器压力，待业务低速运转后再逐步开放访问

解决短时间内大量key过期的问题

1. LRU与LFU切换
2. 数据有效期策略调整
   • 根据业务数据有效期进行分类错峰，A类90分钟，B类80分钟，C类70分钟
   • 过期时间使用固定时间+随机值的形式，稀释集中到期的key的数量
3. 超热数据使用永久key
4. 定期维护（自动+人工）
   对即将过期数据做访问量分析，确认是否延时，结合访问量统计，给热点数据做延时
5. 加锁

总结

缓存雪崩就是瞬间过期数据量太大，导致对数据库服务器造成压力。如能够有效避免过期时间集中，可以有效解决雪崩现象的出现
（约40%），配合其他策略起使用，并监控服务器的运行数据，根据运行记录做快速调整。

缓存击穿

概念

Redis中某个过期的key被大量访问，请求未被命中后Redis在短时间内对数据库发起了大量的查询操作。

解决方案

1. 预先设定
   以电商为例，每个商家根据店铺等级，指定若干款主打商品，在购物节期间，加大此类信息key的过期时长
2. 现场调整
   监控访问量，对自然流量激増的数据延长过期时间，或设置为永久性key
3. 后台刷新数据
   启动定时任务，高峰期来临之前，刷新数据有效期，确保不丟失
4. 二级缓存
   设置不同的失效时间，保障缓存中的某个key不会被同时淘汰
5. 加锁
   分布式锁，防止被击穿，但是会造成性能瓶颈，慎用

总结

缓存击穿就是单个高热数据过期的瞬间，数据访问量较大，未命中Redis后，发起了大量对同一数据的数据库访问，导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行，配合运行监控测试与即时调整策略，毕竟单个key的过期监控难度较高，配合雪崩处理策略即可。

缓存穿透

概念

访问一个不存在的key，直接对数据库造成冲击，Redis无法命中，对服务器发起请求。服务器也查询不到数据，返回null。Redis获取到null数据未进行持久化，直接返回。然后重复上述流程。此现象常见于黑客攻击

解决方案

1. 缓存null
   对查询结果为nu的数据进行缓存（长期使用，定期清理），设定短时限，例如30-60秒，最高5分钟
2. 白名单策略
   提前预热各种分类数据d对应的 bitmaps,id作为 bitmaps的 offset，相当于设置了数据白名单。当加载正常数据时，放行，加载异常数据时直接拦截（效率偏低）
   使用布隆过滤器（但是布隆过滤器有命中问题）
3. 实时监控
   实时监控 redis命中率（业务正常范围时，通常会有一个波动值）与null数据的占比
   非活动时段波动：通常检测3-5倍，超过5倍纳入重点排查对象
   活动时段波动：通常检测10-50倍，超过50倍纳入重点排查对象根据倍数不同，启动不同的排查流程。然后使用黑名单进行防控
4. key加密
   问题出现后，临时启动防灾业务key，对key进行业务层传输加密服务，设定校验程序，过来的key校验
   例如每天随机分配60个加密串，挑选到3个，混淆到面数据ω中，发现访问key不满足规则，驳回数据访冋

总结

缓存击穿就是访问了不存在的数据，跳过了合法数据的 Redis数据缓存阶段，每次访问数据库，直接对数据库服务器造成压力。