2部署Redis主从集群模式

为确保数据安全和更高的读写性能,Redis存储系统一般采用集群的模式,目前常见的Redis集群实现方案有以下五种:

采用主从模式该模式优点是命令全兼容,直连redis性能无损耗;缺点是容量受单机限制,扩容较麻烦。

Twemproxy代理模式该模式优点是支持sharding和自动容灾;缺点是不支持在线扩容,比较适合缓存的场景。

Redis cluster模式该模式优点是直连Redis性能无损耗;缺点是Redis节点既要处理业务数据又要负责集群管理,逻辑比较重,给升级和运维都造成了困难。Redis cluster还需要smart client客户端的支持,而目前稳定版的smart client还很少。

Codis集群codis模式和Twemproxy都属于代理模式,相比Twemproxy他的优点是支持简单的管理页面和在线扩容。缺点是模块较多,搭建和维护比较复杂,而且一个集群只支持一个实例,如果需要使用多个实例需要重新部署多套一样的codis集群,大大提升了运维的复杂度。

自行研发如果觉得以上几种模式都不适合自己的业务场景,可以自行研发一套适合自己业务场景的Redis集群系统

 

 

 

 

 

构建Redis主从模式

 


 

Redis主从原理

Redis主从复制可以根据是否是全量分为全量同步和增量同步。

 


1全量同步

Redis全量复制一般发生在Slave初始化阶段,这时Slave需要将Master上的所有数据都复制一份。具体步骤如下:

1)从服务器连接主服务器,发送SYNC命令;

2)主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;

3)主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;

4)从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;

5)主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;

6)从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令;

2增量同步

Redis增量复制是指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令。

 

  主从刚刚连接的时候,进行全量同步;全同步结束后,进行增量同步。当然,如果有需要,slave 在任何时候都可以发起全量同步。redis 策略是,无论如何,首先会尝试进行增量同步,如不成功,要求从机进行全量同步。

 

配置步骤

1Master配置

[root@localhost ~]# vim /usr/local/redis/redis.conf

修改

bind 192.168.1.1       //服务所绑定的IP地址,填写自身Master自身IP

port 6379                   //监听端口
requirepass 123.com     //认证密码密码

 

 

2Slave配置:

[root@localhost ~]# vim /usr/local/redis/redis.conf

修改

bind 192.168.1.2

port 6378

slaveof 192.168.1.1 6379      //指定主的IP及端口号

masterauth 123.com      //主的认证密码

requirepass 123.com      

 

3重新启动redis服务

[root@localhost ~]# netstat -anpt | grep redis

[root@localhost ~]# killall -9 redis-server               或者使用柔和一点,平缓退出的方式:killall -s QUIT redis-server

或者

[root@localhost ~]# service redis stop

[root@localhost ~]# rm -rf /usr/local/redis/pid/redis.pid

 

[root@localhost ~]# service redis start

 

 

4验证:

1查看redis日志

Master服务器的日志

[root@localhost ~]# tailf /usr/local/redis/log/redis.log

4916:M 16 Feb 15:52:51.127 * DB loaded from disk: 0.000 seconds

4916:M 16 Feb 15:52:51.127 * The server is now ready to accept connections on port 6379

4916:M 16 Feb 15:53:07.104 * Slave 192.168.1.2:6379 asks for synchronization

4916:M 16 Feb 15:53:07.104 * Full resync requested by slave 192.168.1.2:6379

4916:M 16 Feb 15:53:07.104 * Starting BGSAVE for SYNC with target: disk

4916:M 16 Feb 15:53:07.105 * Background saving started by pid 4919

4919:C 16 Feb 15:53:07.120 * DB saved on disk

4919:C 16 Feb 15:53:07.121 * RDB: 6 MB of memory used by copy-on-write

4916:M 16 Feb 15:53:07.192 * Background saving terminated with success

4916:M 16 Feb 15:53:07.192 * Synchronization with slave 192.168.1.2:6379 succeeded



Slave服务器的日志

[root@localhost ~]# tailf /usr/local/redis/log/redis.log 

4747:S 16 Feb 15:53:07.098 * Connecting to MASTER 192.168.1.1:6379

4747:S 16 Feb 15:53:07.099 * MASTER <-> SLAVE sync started

4747:S 16 Feb 15:53:07.100 * Non blocking connect for SYNC fired the event.

4747:S 16 Feb 15:53:07.103 * Master replied to PING, replication can continue...

4747:S 16 Feb 15:53:07.104 * Partial resynchronization not possible (no cached master)

4747:S 16 Feb 15:53:07.106 * Full resync from master: ae1ddd593e87630fdf33de99e45b4b98340d96c3:1

4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: receiving 92 bytes from master

4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Flushing old data

4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Loading DB in memory

4747:S 16 Feb 15:53:07.193 * MASTER <-> SLAVE sync: Finished with success



2、查看rdb快照文件

Master

[root@localhost ~]# ls /usr/local/redis/db/

Slave

[root@localhost ~]# ls /usr/local/redis/db/

 

3、数据同步

Master

[root@localhost ~]# redis-cli -a 123.com -h 192.168.1.1 -p 6379

192.168.1.1:6379> info

192.168.1.1:6379> set key2 kokokoko

192.168.1.1:6379> get key2

 

Slave

[root@localhost ~]# redis-cli -a 123.com -h 192.168.1.2 -p 6378

192.168.1.2:6378> info

192.168.1.2:6378> get key2

 

二、数据的持久化

Redis支持数据的持久化,若机器重启,Redis会从磁盘文件中重建内存数据,所以越来越多的公司为获取更高的读和写性能,将Redis作为持久化的数据库,后端不接其他数据库,这种场景相比做缓存的场景的优势是除了能提升系统的读性能外,还能提升系统的写性能。

数据的持久化方式:

1snapshotting方式  snapshotting:快照

快照是默认的持久化方式。这种方式是就是将内存中数据以快照的方式写入到二进制文件中,

默认的文件名为dump.rdb

配置:vim /usr/local/redis/redis.conf

save 900 1 #900 秒内如果超过1 key 被修改,则发起快照保存

save 300 10 #300 秒内容如超过10 key 被修改,则发起快照保存

save 60 10000

 

 

2aof 方式

由于快照方式是在一定间隔时间做一次的,所以如果redis 意外down 掉的话,就会丢失最后一次快照后的所有修改。redis 会将每一个收到的写命令都通过write 函数追加到文件中(默认是appendonly.aof)。当redis 重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。

配置vim /usr/local/redis/redis.conf

appendonly yes //启用aof 持久化方式

# appendfsync always //收到写命令就立即写入磁盘,最慢,但是保证完全的持久化

appendfsync everysec //每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中

# appendfsync no //完全依赖os,性能最好,持久化没保证   不写入磁盘,加了#号,表示不推荐

 

使用redis-desktop-manager软件

Windows中安装redis-desktop-manager软件。实现图形界面中管理redis数据库。

软件:http://down.51cto.com/data/2287754