分布式缓存

Redis

C语言开发的，开源高性能（11w/s读，9w/s写），键值对 内存数据库

缓存读写模式

• Cache Aside Pattern
  读的时候，先读缓存，缓存没有的话，就读数据库，然后取出数据后放入缓存
• Read/Write Through Pattern
  应用程序只操作缓存，缓存操作数据库。
• Write Behind Caching Pattern
  应用程序只更新缓存。 缓存通过异步的方式将数据批量或合并后更新到DB中

Redis应用场景

• 缓存使用
• 临时数据存储
• 任务队列
• 排行榜
• 签到 bitmap
• 分布式锁

Redis配置文件

/redis.conf/

#bind 127.0.0.1
#protected-mode no
daemonize yes

Redis数据类型

Redis命令忽略大小写，key区分大小写
key的类型是字符串
user:10:username user表id10 的username字段
value的类型
- string 字符串类型
- int、raw、embstr
- list 列表类型
- quicklist
- set 集合类型
- 压缩列表和 skiplist + dict (跳跃表+字典)
- sortedset 有序集合类型
- hash
- dict 字典 和 ziplist压缩列表

Redis持久化

持久化是为了快速的恢复数据，而不是为了存储数据

RDB优缺点

1. RDB是二进制文件，占用空间小，便于传输
   主进程fork子进程，最大化redis性能，主进程不能太大，redis数据量不能太大，复制过程中主进程阻塞。

2. 不保证数据完整性，会丢失最后一次快照之后更改的数据

AOF（append only file）

数据库写入的命令及参数 记录到AOF文件，Redis重启按顺序回放这些命令，会恢复到原始状态。

应用场景

• 内存数据库 rdb+aof，数据不容易丢失
• 缓存服务器 rdb 性能高

底层数据结构

Redis实例对应db以编号区分，db是key的命名空间
user:100 user命名空间下id为100的元素

type

• SDS(simple Dynamic String),存储字符串和整形数据，存储key
• 跳跃表，
• 字典
• 压缩列表，zset和hash 元素个数少且是小整数或短字符串
• 整数集合（intset），有序的（整数升序）、存储整数的连续存储结构
• 快速列表

缓存过期和淘汰策略

删除策略

• 定时删除
• 惰性删除
• 主动删除
  • LRU淘汰机制，从数据集中随机挑选几个键值对，取出LRU最大的键值对淘汰
  • LFU，最近访问使用次数少的淘汰
  • Random

缓存架构设计

• JVM缓存
  • 对性能要求高
  • 变动小
• 文件缓存
• Redis缓存

缓存问题

• 缓存穿透，访问缓存中不存在的key
• 缓存雪崩，大量缓存集中在某一个时间段失效
• 缓存失效，设置过期时间的某些key 失效了，瞬间被高并发访问

数据最终一致性

1. 先更新数据库同时删除缓存项(key)，等读的时候再填充缓存
2. 2秒后再删除一次缓存项(key) ，1、2 构成延时双删
3. 设置缓存过期时间 Expired Time 比如 10秒 或1小时
4. 将缓存删除失败记录到日志中，利用脚本提取失败记录再次删除（缓存失效期过长 7*24）

分布式锁

利用Watch实现Redis乐观锁

1. 利用redis的watch功能，监控这个redisKey的状态值
2. 获取redisKey的值
3. 创建redis事务
4. 给这个key的值+1
5. 然后去执行这个事务，如果key的值被修改过,事务执行失败 ，key不加1

Redis集群

集群优势

1. 高可用，集群的故障转移
2. 高性能，读写分离，多台计算能力
3. 高扩展，横向主机扩展