述
上文介绍了redis中的过期策略,本文再来看一下内存淘汰策略
内存淘汰策略指的是用户存储的一些key可以被Redis主动的删除,从而可能产生读miss的情况,那为什么Redis会有这种功能呢?
假设我现在有一个redis的服务器,内存是2G,随着系统业务的增长,reids中放的数据越来越多,数据大小可能已经超过2G了,但是这时候应用还是可以正常运行的,这是因为OS中的可见内存并不受物理内存的限制,而是虚拟内存,物理内存不够用的话,OS就会从硬盘上划分出一片空间构建虚拟内存,这是OS为我们解决的,但是,不合理的使用内存可能就会发生频繁的swap,频繁swap的代价是很大的,所以,我们还是需要合理的使用内存,尽量不要让操作系统去解决
Redis中的内存淘汰机制就是为了更好地使用内存,用一定的缓存miss来换取内存的使用效率
内存淘汰过程
内存淘汰的过程大致如下:
- 首先客户端发起了需要申请内存的命令,比如说set命令
- Redis检查内存的使用情况,如果已使用的内存大于maxmemory,则开始根据用户配置的不同淘汰策略来淘汰内存,从而换取一定的内存
- 如果上面都没有问题,这个命令就执行成功
内存淘汰策略
内存淘汰只是Redis提供的一个功能,为了更好地实现这个功能,必须为不同的应用场景提供不同的策略,内存淘汰策略讲的是为实现内存淘汰我们具体怎么做,要解决的问题包括淘汰键空间如何选择?在键空间中淘汰键如何选择?
redis给我们提供了以下几种内存淘汰策略,供用户选择:
- noeviction: 当内存使用达到阈值的时候,所有引起申请内存的命令会报错
- allkeys-lru: 在主键空间中,优先移除最近未使用的key
- volatile-lru: 在设置了过期时间的键空间中,优先移除最近未使用的key.
- allkeys-random: 在设置了过期时间的键空间中,随机移除某个key
- volatile-ttl: 在设置了过期时间的键空间中,具有更早过期时间的key优先移除
redis的默认的内存淘汰策略是noeviction.
这里补充一下主键空间和设置了过期时间的键空间:
举个例子,假设我们有一批键存储在Redis中,则有那么一个哈希表用于存储这批键及其值,如果这批键中有一部分设置了过期时间,那么这批键还会被存储到另外一个哈希表中,这个哈希表中的值对应的是键被设置的过期时间.设置了过期时间的键空间为主键空间的子集.
简单点说,主键空间就是放的我们的数据,设置了过期时间的键空间就是放的key和它的过期时间
配置方式
我们可以在redis.conf中设置maxmemory这个值来开启内存淘汰功能,就是最大能使用的内存,maxmemory为0的时候表示我们对Redis的内存使用没有限制
内存淘汰策略的设置则是通过maxmemory-policy去配置,默认就是noeviction,如下:
maxmemory-policy noeviction
如何选择淘汰策略
配置我们是知道怎么配了,但是上面那么多的策略要怎么选择呢?
我们需要了解我们的应用请求对于Redis中存储的数据集的访问方式以及我们的诉求是什么.同时Redis也支持Runtime修改淘汰策略,这使得我们不需要重启Redis实例而实时的调整内存淘汰策略.
下面看看几种策略的适用场景:
- allkeys-lru: 如果我们的应用对缓存的访问符合幂律分布(也就是存在相对热点数据),或者我们不太清楚我们应用的缓存访问分布状况,我们可以选择allkeys-lru策略
- allkeys-random:如果我们的应用对于缓存key的访问概率相等,则可以使用这个策略
- volatile-ttl: 这种策略使得我们可以向Redis提示哪些key更适合被eviction
另外,volatile-lru策略和volatile-random策略适合我们将一个Redis实例既应用于缓存和又应用于持久化存储的时候,然而我们也可以通过使用两个Redis实例来达到相同的效果,值得一提的是将key设置过期时间实际上会消耗更多的内存,因此我们建议使用allkeys-lru策略从而更有效率的使用内存
LRU
redis采用的LRU是非精准的LRU算法,基于抽样实现,由于redis是单线程的,如果采用全量的数据进行LRU计算,会比较消耗CPU资源,因此,redis提供了一个重要参数
maxmemory-samples 5
该参数表示,每次随机选出5个不经常使用的key进行移除,配置的参数值越大,其LRU结果能接近全量LRU的结果,但同时会给CPU带来比较大的开销,因此如果仅仅将redis作为LRU缓存服务使用,建议保持默认配置即可
原文地址