总之,要根据实际系统的QPS和调用redis客户端的规模整体评估每个节点所使用的连接池大小。
3.【建议】
高并发下建议客户端添加熔断功能(例如sentinel、hystrix)
4.【推荐】
设置合理的密码,如有必要可以使用SSL加密访问
5.【建议】
Redis对于过期键有三种清除策略:
1. 被动删除:当读/写一个已经过期的key时,会触发惰性删除策略,直接删除掉这个过期
key
2. 主动删除:由于惰性删除策略无法保证冷数据被及时删掉,所以Redis会定期主动淘汰一
批 已过期 的key
3. 当前已用内存超过maxmemory限定时,触发 主动清理策略
主动清理策略 在Redis 4.0 之前一共实现了 6 种内存淘汰策略,在 4.0 之后,又增加了 2 种策
略,总共8种:
a) 针对设置了过期时间的key做处理:
1. volatile-ttl:在筛选时,会针对设置了过期时间的键值对,根据过期时间的先后进行删
除,越早过期的越先被删除。
2. volatile-random:就像它的名称一样,在设置了过期时间的键值对中,进行随机删除。
3. volatile-lru:会使用 LRU 算法筛选设置了过期时间的键值对删除。
4. volatile-lfu:会使用 LFU 算法筛选设置了过期时间的键值对删除。
b) 针对所有的key做处理:
5. allkeys-random:从所有键值对中随机选择并删除数据。
6. allkeys-lru:使用 LRU 算法在所有数据中进行筛选删除。
7. allkeys-lfu:使用 LFU 算法在所有数据中进行筛选删除。
c) 不处理:
8. noeviction:不会剔除任何数据,拒绝所有写入操作并返回客户端错误信息"(error)
OOM command not allowed when used memory",此时Redis只响应读操作。
LRU 算法 ( Least Recently Used ,最近最少使用)
淘汰很久没被访问过的数据,以 最近一次访问时间 作为参考。
LFU 算法 ( Least Frequently Used ,最不经常使用)
淘汰最近一段时间被访问次数最少的数据,以 次数 作为参考。 当存在热点数据时,LRU的效率很好,但偶发性的、周期性的批量操作会导致LRU命中率急剧下
降,缓存污染情况比较严重。这时使用LFU可能更好点。
根据自身业务类型,配置好maxmemory-policy(默认是noeviction),推荐使用volatile-lru。如
果不设置最大内存,当 Redis 内存超出物理内存限制时,内存的数据会开始和磁盘产生频繁的交
换 (swap),会让 Redis 的性能急剧下降。
当Redis运行在主从模式时,只有主结点才会执行过期删除策略,然后把删除操作”del key”同
步到从结点删除数据。
四、系统内核参数优化
vm.swapiness
swap对于操作系统来说比较重要,当物理内存不足时,可以将一部分内存页进行swap到硬盘
上,以解燃眉之急。但世界上没有免费午餐,swap空间由硬盘提供,对于需要高并发、高吞吐的
应用来说,磁盘IO通常会成为系统瓶颈。在Linux中,并不是要等到所有物理内存都使用完才会
使用到swap,系统参数swppiness会决定操作系统使用swap的倾向程度。swappiness的取值范
围是0~100,swappiness的值越大,说明操作系统可能使用swap的概率越高,swappiness值越
低,表示操作系统更加倾向于使用物理内存。swappiness的取值越大,说明操作系统可能使用
swap的概率越高,越低则越倾向于使用物理内存。
如果linux内核版本<3.5,那么swapiness设置为0,这样系统宁愿swap也不会oom killer(杀掉
进程)如果linux内核版本>=3.5,那么swapiness设置为1,这样系统宁愿swap也不会oom killer
一般需要保证redis不会被kill掉:
PS:OOM killer 机制是指Linux操作系统发现可用内存不足时,强制杀死一些用户进程(非内核
进程),来保证系统有足够的可用内存进行分配。
vm.overcommit_memory(默认0)
0:表示内核将检查是否有足够的可用物理内存(实际不一定用满)供应用进程使用;如果有足够的
可用物理内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程
1:表示内核允许分配所有的物理内存,而不管当前的内存状态如何
如果是0的话,可能导致类似fork等操作执行失败,申请不到足够的内存空间
Redis建议把这个值设置为1,就是为了让fork操作能够在低内存下也执行成功。
合理设置文件句柄数
操作系统进程试图打开一个文件(或者叫句柄),但是现在进程打开的句柄数已经达到了上限,继
续打开会报错:“
Too many open files”