redis优化，bigkey，hotkey，配置优化，缓存雪崩、缓存穿透、缓存击穿
CPU绑定
可以在redis启动的时候绑定固定的cpu，防止cpu切换引起的上线文切换：
taskset -c 1 ./redis/bin/redis-server ./reids/conf/redis.conf
redis6中开启多线程
redis.conf配置如下：
# 8核cpu可以并行6个
io-threads 6
内存碎片清理
所谓内存碎片，是指申请连续的一段内存空间，系统会找到一块符合申请大小的内存空间，但是如果开始申请了12KB的大小，然后回收，后续如果申请都大于12KB，那么这12KB空间无法被分配，相当于浪费了，redis中有自己的内存碎片整理机制，配置如下：
#内存碎片清理开关
activedefrag yes
#内存碎片达到多大的时候开始清理
active-defrag-ignore-bytes 100mb
#内存碎片占总内存达到多少百分比的时候开始清理
active-defrag-threshold-lower 10
#当内存碎片率达到多少时开启最大清理
active-defrag-threshold-upper 100
#清理内存碎片占用CPU时间的比例不低于此值开始清理
active-defrag-cycle-min 5
#清理内存碎片占用cpu时间比例不高于此值，如果超过，停止清理
active-defrag-cycle-max 75
系统swap
linux中swap类似虚拟内存，当物理内存不够的时候，会把内存中不活跃跌数据置换到硬盘上，释放一部分物理内存，swappiness表示swap的占比，如果是0表示积极的使用物理内存
# cat /proc/sys/vm/swappiness
60
可以设置为 1：
echo 1 > /proc/sys/vm/swappiness
echo vm.swappiness=1 >> /etc/sysctl.conf
TCP backlog
#表示每个端口上半连接监听最大队列长度
$ cat /proc/sys/net/ipv4/tcp_max_syn_backlog
1024
#表示每个端口上已经建立连接监听的最大监听队列长度
$ cat /proc/sys/net/core/somaxconn
128
redis中默认的tcp-backlog=511 ，表示最大TCP全连接队列为511。一般在Linux下，对于一个TCP的连接的最大数量有两个方面：
- 一个是系统能够打开的最大句柄数
- 另外一个就是上面说的backlog，redis这里是指已经建立连接的队列大小
内存分配控制
cat /proc/sys/vm/overcommit_memory
0
vm.overcommit_memory设置overcommit的内存分配策略，它有三个可选值
0：内核将检查是否有足够的内存分配给程序。如果没有则申请失败，并把错误返回给应用进程。而在Redis中这个错误就会表现为“Cannot allocate memory”，然后触发OOM
1：表示内核允许超量使用内存直到用完为止
2：表示内核决不超量使用内存，即系统整个内存空间不能超过swap+50%的RAM值，50%是overcommit_ratio默认值，此参数支持修改
redis中建议将该值设置为1
echo 'vm.overcommit_memory=1' >> /etc/sysctl.conf
禁止内存大页
cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
一般情况下，分配内存页大小为4KB，开启大页之后能够达到2MB，能够降低fork子进程的速度，但是会大幅增加父进程重写期间的内存消耗
热键
热键，一般指摸个瞬间或者突然有大量请求同一个key。
redis提供了如下命令查找热key：
./redis-cli --hotkeys
hotkey可以有如下几种处理思路：
- 对hotkey数据进行拆分，如果是hash，可以对拆分hash结构里面的数据
- 增加本地缓存
大键，bigkey
何谓bigkey：
- 如果是string类型，长度超过10KB
- 非字符串类型，如hash，set，list，元素过多
redis提供了如下命令查找大键
./redis-cli --bigkeys
bigkey优化：
- 如果是string，拆分成多个key-value
- 如果是hash和list，考虑拆分成多个hash和list
- 删除的时候不要直接使用delete，而是lazy delete
设置最大内存和过期策略
redis.conf中配置如下：
maxmemory 20gb
maxmemory-policy allkeys-lru
过期策略有如下几种：
- volatile-lru -> Evict using approximated LRU among the keys with an expire set.
- allkeys-lru -> Evict any key using approximated LRU.
- volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
- allkeys-lfu -> Evict any key using approximated LFU.
- volatile-random -> Remove a random key among the ones with an expire set.
- allkeys-random -> Remove a random key, any key.
- volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
- noeviction -> Don’t evict anything, just return an error on write operations.
混合持久化
我们知道redis中持久化有两种方式rdb和aof，但是两种模式存在不足：
- rdb是某个时刻的快照，如果每秒都进行rbd备份，比较耗性能，rdb存在的问题是会丢失一部分数据
- aof是将每个操作命令都写入aof文件中，会造成aof文件过大，恢复比较耗时
redis中增加了混合持久化，利用rdb和aof的特性，aof不是记录所有的请求命令，而是在rdb生成之后记录，这样不会丢数据
# 前提是开启了aof
aof‐use‐rdb‐preamble yes
开启了混合持久化，AOF在重写时，不再是单纯将内存数据转换为RESP命令写入AOF文件，而是将重写这一刻之前的内存做RDB快照处理，并且将RDB快照内容和增量的AOF修改内存数据的命令存在一起，都写入新的AOF文件，新的文件一开始不叫appendonly.aof,等到重写完新的AOF文件，才会进行改名，覆盖原有的AOF文件，完成新旧两个AOF文件的替换。
缓存穿透
高并发情况下，缓存中没有数据，查询都去查询数据库，导致数据库压力陡增，解决方案：
- 使用布隆过滤器，首先通过布隆过滤器判断缓存key是否存在，如果不存在直接返回，如果存在再去查询缓存、数据库
- 可以针对不存在的数据，在缓存中缓存一个空标志，业务上在针对这种情况处理
缓存雪崩
大量的key缓存或者redis重启导致大量的访问在redis中查找不到数据，访问数据库，导致数据库压力陡增，甚至崩溃，解决方案：
- key的失效时间分散开来，可以在失效时间后再加一个随机时间
- 增加一个二级缓存
- 增加高可用结构
- 设置缓存不过期，后台一个服务进行更新
缓存击穿
类似hotkey，hotkey在某个时刻失效，大量请求过来查询数据库，解决方法
- 分布式锁控制访问线程，保证不会有大量线程同时查询数据库
- 不设置超时时间（有写一致性问题）
缓存和数据库不一致时
如果可以接收最终一致性，那么可以通过先删除缓存，然后更新数据库，或者一定间隔后更新数据库，或者通过binlog定时更新数据库
如果必须强一致性，那么可以如下解决：
在接入端，比如nginx 通过hash将通一个id路由到同一个服务中处理，在同一个处理中，在路由将一个id放在同一个队列中，通过队列串行处理
缓存并发竞争更新
- 可以通过redis分布式锁+时间戳
- 通过mq串行更新