Redis 数据同步、数据备份及数据类型详解

Redis key

Redis key 值时二进制安全的，可以使用任意二进制序列来作为key值；可以使用空字符串、jpeg文件等。    

Redis数据类型

String ：

    redis 中字符串是二进制安全的，一个字符最多可以存储512M内容。

list：

    List 有顺序可重复

    基于LinkedList实现

    列表头尾增删快，中间增删慢

    最多包含2^32-1元素

    lpush list 1  2  3  4 从左添加元素

    rpush list 1 2 3 4    从右添加元素    　

    lrange list 0 -1 (从0 到-1 元素查看：也就表示查看所有)    　    

    lpop list （从左边取，删除）    　rpop list  (从右边取，删除) 

hash：

    一个key对应map

    一个hash中最多包含2^32-1键值对 

    hset key filed value 设置值

    hget key filed 　获取值 

set：

    Set 无顺序，不能重复　　　　　

    元素是字符串类型

    最多包含2^32-1元素

    sadd set1 a b c d d (向set1中添加元素) 元素不重复  　  

    smembers set1 （查询元素）  　      

    srem set1 a （删除元素）

sortedSet：

    有顺序，不能重复　　适合做排行榜 排序需要一个分数属性　　

    元素是字符串类型

    每一个元素都关联着一个浮点数分值（scope），并案分值大小进行排序，分值可以相同

    最多包含2^32-1元素

    zadd zset1 9 a 8 c 10 d 1 e   （添加元素 zadd key score member ）　　

    (ZRANGE key start stop [WITHSCORES])(查看所有元素：zrange key  0  -1  withscores)　　

    如果要查看分数，加上withscores.　　zrange zset1 0 -1 (从小到大)　　

    zrevrange zset1 0 -1 (从大到小)　　zincrby zset2 score member (对元素member 增加 score)     

Redis持久化

snapshotting（快照） ：

    自动：

                默认方式，xxx秒内如果超过xxkey被修改则发起快照存储，dump文件为二进制。

            由于快照方式是在一定的时间间隔做一次，所以redis宕机的话会丢失最后一次快照以后修改的内容 。

    手动：

            客户端发起save、bgsave

            save：阻塞redis服务，无法响应客户端请求

            bgsave：非阻塞，Redis服务端可以正常处理请求。redis 会folk（）一个子进程来创建rdb文件，子进程处理完会通知父进程。folk（）过程非常慢，会造成毫秒级不能响应客户端

            

AOF（Append-only file）：

    redis会将每一个收到的写命令都通过write函数追加到文件中，当redis重启时，会通过重新执行文件中保存的写命令在内存中重建整个数据库的内容。但是由于操作系统（OS）会在内核中缓存write做的修改，所以可能不是立即写到磁盘上的。这样aof方式的持久化还是有可能会丢失部分修改。可以通过配置文件告诉redis我们想通过fsync函数强制OS写入到磁盘的时机。 

Redis 数据同步

全量复制：

     1.slave第一次启动时，连接Master，发送PSYNC命令，格式为psync {runId} {offset}  {runId} 为master的运行id；{offset}为slave自己的复制偏移量。由于此时是slave第一次连接master，slave不知道master的runId，也不知道自己偏移量，这时候会传一个问号和-1，告诉master节点是第一次同步。格式为psync ? -1 

    2.当master接收到psync ? -1时，就知道slave是要全量复制，就会将自己的runId和offset告知slave，回复命令+fullresync {runId} {offset}。同时，master会执行bgsave命令来生成RDB文件，并使用缓冲区记录此后的所有写命令。slave接受到master的回复命令后，会保存master的runId和offset。slave此时处于同步状态，如果此时收到请求，当配置参数slave-server-stale-data yes时，会响应当前请求，no则返回错误。

    3.master bgsave执行完毕，向Slave发送RDB文件，同时继续缓冲此期间的写命令。RDB文件发送完毕后，开始向Slave发送存储在缓冲区的写命令。

    4.slave收到RDB文件，丢弃所有旧数据，开始载入RDB文件；并执行Master发来的所有的存储在缓冲区里的写命令。

    5.此后 master 每执行一个写命令，就向Slave发送相同的写命令。

增量复制：

      1.如果出现网络闪断或者命令丢失等异常情况时，当主从连接恢复后，由于从节点之前保存了自身已复制的偏移量和主节点的运行ID。因此会把它们当作psync参数发送给主节点，要求进行部分复制操作，格式为psync {runId} {offset}

    2.主节点接到psync命令后首先核对参数runId是否与自身一致，如果一致，说明之前复制的是当前主节点；之后根据参数offset在自身复制积压缓冲区查找，如果偏移量之后的数据存在缓冲区中，则对从节点发送+CONTINUE响应，表示可以进行部分复制；否则进行全量复制。

    3.主节点根据偏移量把复制积压缓冲区里的数据发送给从节点，保证主从复制进入正常状态。