键值对数据库
*键值型
*单线程(多线程情况 仅仅在于网络请求)
*低延迟,速度快(基于内存,IO多路复用,)
*支持持久化
*支持集群,分片
*支持多语言
string
hash
list
set
sorteSet
Geo
bitMap
发布/订阅
Keys : 查找符合的key(谨慎使用-会阻塞)
Del :删除
existsx:是否存在
expire:设置有效期
TTL:查看有效时间(-2就是被移除,-1就是永久有效)
*最大512M,
*底层可以存string int float,底层都是字节 只是编码方式不同。
*int 和 float可以做自增或减
命令:
set(增或改) ,get,mset(批量),mget
*incr: 加1, incr key 整数
*incrby .加N,incrby key 6 减(负数)
*incrbyFloat 增加小数,
*setnx:添加一个string的健值对,前提是key不存在 否则不执行-setnx name zhangsan 返回1成功
*setex:添加一个string的健值对,并设置时长
散列,其value是无序下字典
结构 key-value(field+value)
命令
hset:加或改 ( hset no1 name 张三)
hget:获取(hget no1 name)
hmset
hmget
hgetall 获取所有的键值
hkeys
hvals 获取的一个key的所有值
hincrby 让ket自增长
hsetnx 添加一个hash类型的field值 前提的filed不存在 否则不执行
类似双向链表,linkList
*有序,可以重复,
*插入和删除快,
*查询速度一般
命令
*lpush:向左插入一个或者多个(头插入)
*rpush:向右插入一个或者多个(尾插入)
*lpop:移除并返回左侧第一个元素 没有就返回nil(取)
*rpop:移除并返回左侧第一个元素 没有就返回
*blpop和brpop,(阻塞)取 没有元素时候指定等待时间,不返回nil
*lrange ket star end 返回范围内的数据(不移除)
可以模拟 栈,队列,阻塞队列
栈:先进后出
队列:先进先出
类似hashset 可以看作是值为null的hashMap
*无序
*不重复
*查询快
*支持交集,并集,差集的功能
命令
*sadd key member: 加一个或者多个
*srem key member:移除一个或者多个
*scard key:返回set中元素个数
*smembers:获取set中所有元素
*sinter key1 key2:求连个key的交集
*sdiff:差集
*sunion:并集
类似java的TreeSet
*可排序
*不重复
*查询速度快
经常被用于排行榜的功能
命令
*zadd增
*zrem删
*zscore key 获取取值
*zrank 获取排名
*zcard 获取元素个数
*zcount 在范围内计数
*zincrby自增
*zrange 获取排名内的元素
*获取分数值范围的元素
*求交几 差集 并集
*在Z后面加rev就是降序
jedis:简单,线程不安全,要创建连接池
lettuce:基于netty框架,支持同步,一般,线程安全,支持redis的哨兵模式 集群模式 管道模式
Redisson:基于redis实现分布式 可以伸缩的Java数据结构入Map queue lock Atomiclong
spring Data redis 整合了 jedis和lettuce
使用步骤:1引入依赖-2创建jedis对象连接,-3使用方法命令-4释放资源
jedis连接池
背景:jedis是线程不安全,频繁创建和消耗对性能消耗很大。
封装并 提供一个放回jedis对象的静态方法
特征
*提供了对jedis和lettuce的整合
*提供了redisTemplate统一API操作redis
*支持redis的发布/订阅模型
*支持redis的哨兵和集群模式
*支持lettuce的响应式编程
*支持基于jdk,json,字符串,spring对象的序列化和反序列化(存对象)
*支持基于redis的JDKcollection实现((分布式)重写集合)
封装了redis的各种操作API:(每种数据类型都有)如string list等
使用注意-序列化方案
1序列化和反序列化的类型选择,
1.1(选择json序列化器l为了反序列化会把对象的class写入json中,对redis带来很大额外开销)自动
1.2选择string序列化器,然后手动完成序列化和反序列化操作(使用StringRedisTemplate)手动
StringRedisTemplate对象 string序列化器
操作Hash类型
.put .get
Redission分布式锁,
*可重入锁(对象是自己就可以进入,加入计数器)hash数据类型的方式
基于setnx()锁存在的问题
*不可以重入:同一个线程无法多次获取同一把锁
(对象是自己就可以进入,基于hash结构加入计数器)
*不可以重试:获取锁失败就直接返回,
(加等待时间 ,默认看门狗时间30秒【可以先判断剩余时间和等待时间大小,订阅别人释放锁,再重试】)等待, 换新 ,发布订阅
*超时释放:没有执行完的会有隐患(超时续约,看门狗机制)
*主从一致性问题(集群多个独立的redis节点)multiLock原理
单节点存在的问题:
*数据丢失
*存储能力
*并发
*故障恢复
*rdb持久化(数据备份)
命令 save(会阻塞)-默认是服务停止的时候执行
命令bgsave,开启子线程(fork主线程得到子线程)(生成新的文件代替旧的)
配置文件定时(60秒)保存(触发bgsave),是否压缩(耗cpu,不建议启动)
恢复:开机读取
缺点:1rdb执行时间长,两次之间会有数据丢失风险,2压缩和写出rdb文件都比较耗时
*aof持久化(追加文件)
记录redis的操作日志,--命令日志文件
默认关闭,
开启方案:
1总是开启,先写到磁盘-效率低
2缓存区,先写道缓存,1秒后写磁盘 风险会丢失1秒数据(建议)
3系统写,让系统写到磁盘,风险高
恢复:开机执行
对比
rdb:整个快照 容易丢失数据,恢复快,压缩文件体积小,cpu高
aof:记录操作数据完整,恢复慢,cpu低。
数据同步原理
主从第一步:全量同步,(主生成rdb发送)
*监控(心跳机制)
(多数sentinel 认为下线就是下下线了)
*主从集群的自动故障恢复(自动将一个slave升级为master)
1首先判断slave断开节点长短
2判断slave优先级(配置文件)越小优先级越高 (0不选)
3判断offset,数据更新时间,时间越新优先级越高
4启动节点id,越小优先越高
*通知(充当redis客户端的作用,将故障信息发送到集群)
java怎么用 配置redisTempalte配置哨兵地址
作用
*海量数据存储
*高并发写的问题
特征
*多个master,每个数据不同
*每个master有多个slave
*master之间通过ping监控彼此健康状态
*客户端请求集群的任意节点,都会被转发到正确的节点(自动路由)