Redis学习笔记

Redis学习

一·Nosql概述

1.NoSql=Not Only SQL ，意即“不仅仅是“SQL”，泛指非关系型数据库。随着互联网web2.0网站的兴起，传统的关系型数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据类型带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。这些类型的数据存储不需要固定的模式，无需多余的操作就可以横向扩展。
NoSQL数据库种类繁多，但是有一个共同的特点：都是去掉了关系型数据库的关系型特性。数据之间无关系，这样就非常容易扩展。这也在无形之间，在架构的层面上带来了可扩展的能力。
NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系型数据库中，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增减字段是一个噩梦。
2.NoSQL数据库的四大分类：KV键值对，文档型数据库（bson格式比较多），列存储数据库，图关系数据库
3.在分布式数据库中CAP原理
传统的ACID：即Atomicity原子性，Consistency一致性，Isolation独立性，Durability持久性
原子性：事务中的所有操作要么都完成，要么都不完成。事务成功的条件是事务中的所有操作都成功，只要有一个操作失败，那么整个事务就失败，事务就需要回滚。
一致性：数据库一直要处于一致的状态，事务的运行不会改变数据库的一致性约束。
独立性：并发的事务之间是不会相互影响的，比如一个事务要访问数据而另一个事务要修改该数据，那么只要另外一个事务没有提交，前一个事务访问的数据就不会受到未提交事务的影响。由此可以需要设置事务的隔离级别，否则会出现脏读，幻读，不可重复读等问题。msql数据库的默认事务隔离级别是可重复读。
持久性：事务一旦提交后，对数据库中数据的修改会永久的保存在数据库上。
CAP：Consistency强一致性，Availability可用性，Partition tolerance分区容错性
CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性。
因此，根据CAP原理可以将NoSQL数据库分成了满足CA原则,CP原则,AP原则三大类。
CA-单点集群，满足一致性和可用性的系统，通常在可扩展性上不太强大。比如传统的Oracle数据库，MySql数据库
CP-满足一致性he分区容错性的系统，通常性能不是特别高。比如Redis，Mongodb
AP-满足可用性和分区容错性的系统，通常可能对一致性的要求低一些。大多数网站架构的选择。
在NoSQL的时代，由于当前的网络硬件肯定会出现延迟丢包等问题，因此分区容错性（分布式容忍性）是我们必须实现的，所以只能在一致性和可用性之间进行选择。
BASE就是为了解决关系型数据库强一致性引发的可用性降低而提出的解决方案。
BASE：即基本可用（Basic Available），软状态（Soft state），最终一致（Eventually consistent）
BASE的思想就是通过让系统放松某一时刻数据一致性的要求来换取系统整体伸缩性和性能上的改观。

二·Redis概述

1.Redis：REmote Dictionary Server 即远程字典服务器。Redis是完全开源免费的，用c语言编写的，遵守BSD协议，是一个高性能的（k/v）分布式的内存数据库，基于内存运行，并支持持久化的NoSQL数据库。
2.Redis数据库和其他kv型数据库相比的三大特点：
Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用
Redis不仅仅支持简单的k/v类型的数据，同时通过list，set，zset，hash等数据结构的存储
Redis支持数据的备份，即master-slave模式的数据备份
3.Redis的安装与使用

确保Linux已经安装gcc
下载Redis
wget http://download.redis.io/releases/redis-4.0.1.tar.gz
解压
tar -zxvf redis-4.0.1.tar.gz
进入目录后编译
cd redis-4.0.1
make MALLOC=libc
安装
make PREFIX=/usr/local/redis install #指定安装目录为/usr/local/redis
启动
/usr/local/redis/bin/redis-server

4.Redis的五大数据类型
String（字符串）：redis的最基本的类型，一个key对应一个value。string类型是二进制安全的，意思是redis的string可以包含任何数据，不如图片或者序列化的对象。一个redis中字符串value最多可以是512M。
Hash（哈希）：redis中的哈希是一个键值对集合，是string类型的field和value的映射表，hash特别适合存储对象。
List（列表）：redis中的列表是简单的字符串列表，按照插入顺序，可以添加一个元素到列表的头部（左边）或者尾部（右边），它的底层实际上是个链表。
Set（集合）：redis中的set是string类型的无序集合，它是通过HashMap实现的。
Zset（sorted set）：有序集合。Redis中的zset和set都是string类型元素的集合，且不允许重复的成员。不同的zset中的每一个元素都会关联一个double类型的分数，redis正是通过分数来为zset集合中的成员进行从小到大的排序。zset 的成员是唯一的，但分数（score）可以重复。
5.Redis常见的数据类型操作命令

• 对key的操作：
  keys * ---------获取当前库的所有key值
  move key db -------将当前库的某一个key值移至指定库
  expire key 秒钟 -----------为指定的key设置过期时间
  ttl key -----------查看某一个key还有多少秒过期，-1表示永不过期，-2表示已过期
  type key ---------查看key的类型

• 对string字符串的操作：
  set/get/del/append/strlen:
  append key value：给指定key追加值
  strlen：获取指定key存储值的长度
  Incr/decr/incrby/decrby：加减操作，value一定要是数字才能进行加减
  incr key：给指定key对应的value加1
  incr key count：给指定的key对应的value加上count
  getrange/setrange：
  getrange key start end ---------从指定范围start到end中获取key的value
  setrange key start xxx -------从指定位置开始，给key对应value设置值
  setex（set with expire）key 秒钟 value ：设置键时指定键的存活时间
  setnx（set if not exist）key value：当key不存在时给key设置value
  mset/mget/msetnx：同时设置多个key的值或同时获取多个key的值

• 对List列表的操作：
  lpush/rpush/lrange
  lpush key value1 value2… 从左向右进列表
  lrange key start end 获取某个列表start到end索引的值
  lpop/rpop
  lpop:从列表的左边出栈
  lindex key start ；从start索引的位置获取列表中的元素
  llen key ：获取某个列表的长度
  lrem key n value ：删除列表中N个value的元素
  ltrim key start end ：将列表中start到end索引的值截取出来重新赋给该列表
  rpoplpush key1 key2：将key1列表中的最右边的元素拿出来从最左边加入到key2列表
  lset key index value ：在列表指定索引的位置插入指定元素
  linsert key before value1 value2：在列表的value1前插入value2

• 对set集合的操作：
  sadd key value1 value2… 在set集合中加入元素
  smembers key ：获取set集合中的元素
  sismember key value : 判断value是否在集合中
  scard key：获取集合中的元素个数
  srem key value ： 删除集合中的某个元素
  srandmember key count ：从集合中随机取出count个数
  spop key ：随机取出set集合中的一个元素
  smove key1 key2 value1：将key1集合中的value1移至key2集合中
  sdiff key1 key2 ：取出在key1集合中而不在key2集合中的元素
  sinter key1 key2：取出key1集合和key2集合的交集元素
  sunion key1 key2：取出两个集合并集并去重

• 对hash的操作：
  hset key k1 v1：将k1v1键值对存入key这个hash结构中
  hget key k1 ：获取key这个hash结构中k1对应的值
  hmset key k1 v1 k2 v2…：在key这个hash中加入多个键值对
  hmget key k1 k2…：获取key这个hash结构中k1，k2…对应的值
  hgetall key ：获取key这个hash结构中所有的键值对
  hdel key k1：删除key这个hash结构中k1这个键值对（键值都删掉）
  hexists key k1 ：判断key这个hash结构中k1键的键值对是否存在
  hkeys key：获取key这个hash结构中所有键值对的键
  hvals key：获取key这个hash结构中所有键值对的值
  hincrby key k1 count：对整数的加操作，在key这个hash结构中k1对应的整数值加count
  hincrbyfloat key k1 count：对小数的加操作
  hsetnx key k1 v1：先判断k1是否存在key这个hash结构中，存在则操作失败，不存在就将 k1v1这个键值对加入到key中。

• 对Zset集合的操作：
  zadd key score1 v1 score2 v2…：将多个值及其对应的分数加入到key这个zset中
  zrange key start end：获取zest集合中指定索引范围的值，按分数从低到高排序的结果
  zrange key start end withscores：获取集合中指定范围的值和对应的分数
  zrangebyscore key score1 score2 ：获取指定分数范围的value值，开始分数score1，结束分数score2
  zrangebyscore key score1 score2 withscores：获取指定分数范围的value值及其对应的分数
  zrangebyscore key score1 （score2：获取指定分数范围的value值不包含score2
  zrangebyscore key score1 score2 limit index count：获取指定分数范围的value值，且限制结果从索引index开始截取count个结果返回。以上的不包含等也可与limit结合使用
  zrem key value1：删除zset集合中某个value及其对应的分数
  zcard key ：获取zset集合中value值的个数（分数和值是一一对应的）
  zcount key score1 score2：获取指定分数区间的value值的个数
  zrank key value：获取zset集合中value对应的索引
  zscore key v4：获取zset集合中value对应的分数
  zrevrank key value：逆序获取value对应的索引
  zrevrange key start end：获取zest集合中指定索引范围的值，按分数从高到低排序的结果
  zrevrangebyscore key score2 score1 ：获取指定分数范围的value值，开始分数score1，结束分数score2

三·Redis配置文件redis.config

四·Redis持久化之RDB（Redis DataBase）

• Redis持久化的RDB就是Snapshot快照，它恢复时就是将快照文件直接读到内存中。
  Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，持久化过程都结束了，再用这个临时文件替换上一次持久化好的文件。当数据集比较大的时候，fork的过程是非常耗时的，可能会导致redis在一些毫秒级不能响应客户端的请求。
• 整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那么RDB方式就比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
• fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量，环境变量，程序计数器等）数值都与原进程一致，但是是一个全新的进程，并作为原进程的子进程。
• RDB保存的是dump.rdb文件。
• RDB是整个内存的压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件，默认的是1分钟内改一万次或5分钟内改10次或15分钟内改1次，就会在磁盘上形成dump.rdb文件（每一次持久化的文件名都是这个），可以在redis.config文件中修改默认的配置
• 对redis进行flushall，shutdown操作时，会立即形成dump.rdb文件并且该文件中没有任何数据

五·Redis持久化之AOF（Append Only File）

• 以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来（读操作不记录），只许追加文件但是不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件中的内容将写指令从前往后执行一次以完成数据的恢复工作。

六·Redis的事务

• redis中的事务是在一个队列中，一次性，顺序性，排他性的执行一系列命令。
• redis事务中的常用命令：
  discard：取消事务，放弃执行事务块内的所有命令
  exec：执行所有事务块内的命令。
  multi：标记一个事务块的开始。
  unwatch：取消watch命令对所有key的监视。
  watch key[key…]：监视一个key或多个key，如果在事务执行之前这个key被其他命令所改动，那么事务将被打断。一旦执行了exec，那么之前加的监控锁（watch）都会被取消掉。通过watch命令在事务执行之前监控了多个key，如果在watch之后又任何key值发生了变化，exec命令执行的事务都将被放弃，同时返回Nullmulti-bulk应答以通知调用者事务执行失败。watch指令类似于乐观锁。
• redis对事务的支持是部分支持
• 乐观锁，悲观锁，CAS
  悲观锁：每次在操作之前都加锁
  乐观锁：每次操作之前都不加锁，但是在操作完成（更新数据）之前会判断一下有没有其他人去更新同样的数据，可以使用版本号等机制。乐观锁适用于多读的应用类型，这样可以提高吞吐量。乐观锁策略：提交版本必须大于记录当前版本才能执行更新.
• redis事务的三个阶段
  开启：以multi开始一个事务
  入队：将多个命令入队到事务中，接到这些命令不会立刻执行，而是放到等待执行的事务队列里面
  执行：有exec命令触发事务
• redis事务的三个特征：
  单独的隔离操作：事务中的所有命令都会序列化，按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。
  没有隔离级别的概念，队列中的命令没有提交之前都不会实际的被执行，因为事务提交前任何指令都不会被实际执行
  不保证原子性：redis同一个事务中如果有一条指令执行失败，其后的命令仍然会被执行，没有回滚。即部分支持事务。

七·Redis的消息发布订阅

• redis的消息发布订阅是进程间的一种消息通信模式：发送者（pub）发送消息，订阅者（sub）接收消息。

八·Redis的复制（Master/Slaver）

• 就是主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。
• 作用：读写分离，容灾恢复