今天下午有搭建了公司测试环境的redis集群模式,主从复制+哨兵模式,现详细记录下搭建过程以及遇到的问题,有兴趣的可以参看本人写的mysql主从复制,nginx集群高可用等等相关部署搭建。
172.16.21.238 6379主机(master)
172.16.21.151 6380从机(slave)
这里我采用的是压缩包安装,也可以用yum安装。
redis是c语言开发的,安装redis需要先将官网下载的源码进行编译,编译依赖gcc环境。如果没有gcc环境,需要安装gcc环境
yum install gcc-c++
输入y开始安装:
解压文件到/usr/local下
tar -xvf redis-4.0.9.tar.gz -C /usr/local
1) 进入redis-4.0.9文件内部,就是刚刚解压后的那个文件下,一定要进入里面。
2)执行make 进行编译 如果没有提前安装c环境这里就会直接报错
输入命令:记得要指定安装路径,不然安装之后不好找到。PREFIX:指定安装路径。
使用 make PREFIX=/usr/local/redis install 命令安装redis到/usr/local/redis中
安装完成之后,再/usr/local/redis/bin下面有一下几个可执行文件
输入命令: 注意要是在bin目录下:
./redis-server
这就代表你的redis启动成功了。但是在这里不能操作。如果需要操作的话,还需要打开另外一个客户端
进入到redis-4.0.9中复制redis.conf 到 /usr/local/redis/bin下面
直接运行bin/redis-servet将以前端模式启动,前端模式启动的缺点是启动完成后,不能再进行其它操作,如果要操作必须使用ctrl+c强制结束,同时redis-servet程序也就结束了,所以不推荐使用这种方法。
修改上一步复制到redis/bin/redis.conf配置文件,daemonize yes 以后端模式启动。执行下面的命令进入修改界面:
修改前
修改后
修改之前复制到redis/bin下面的redis.conf文件,将redis.config里面的bind 127.0.0.1修改为0.0.0.0,不然只允许本机连接,客户端连接的话会拒绝连接
修改后
原本是默认不需要密码的,注释掉了的,如果需要的话就打开,吧后面的改成你自己的密码即可,并且将protected-mode no改为yes,意思是是否开启保护模式,默认开启。要是配置里没有指定bind和密码。开启该参数后,redis只会本地进行访问,拒绝外部访问。要是开启了密码和bind,可以开启。否则最好关闭设置为no
上面我们已经装好了redis,接下来就开始配置主从同步,首先看一下redis.conf 配置文件中的各个参数,详解如下。
# redis进程是否以守护进程的方式运行,yes为是,no为否(不以守护进程的方式运行会占用一个终端)。
daemonize no
# 指定redis进程的PID文件存放位置
pidfile /var/run/redis.pid
# redis进程的端口号
port 6379
#是否开启保护模式,默认开启。要是配置里没有指定bind和密码。开启该参数后,redis只会本地进行访问,拒绝外部访问。要是开启了密码和bind,可以开启。否则最好关闭设置为no。
protected-mode yes
# 绑定的主机地址
bind 127.0.0.1
# 客户端闲置多长时间后关闭连接,默认此参数为0即关闭此功能
timeout 300
# redis日志级别,可用的级别有debug.verbose.notice.warning
loglevel verbose
# log文件输出位置,如果进程以守护进程的方式运行,此处又将输出文件设置为stdout的话,就会将日志信息输出到/dev/null里面去了
logfile stdout
# 设置数据库的数量,默认为0可以使用select 命令在连接上指定数据库id
databases 16
# 指定在多少时间内刷新次数达到多少的时候会将数据同步到数据文件
save
# 指定存储至本地数据库时是否压缩文件,默认为yes即启用存储
rdbcompression yes
# 指定本地数据库文件名
dbfilename dump.db
# 指定本地数据问就按存放位置
dir ./
# 指定当本机为slave服务时,设置master服务的IP地址及端口,在redis启动的时候他会自动跟master进行数据同步
replicaof
# 当master设置了密码保护时,slave服务连接master的密码
masterauth
# 设置redis连接密码,如果配置了连接密码,客户端在连接redis是需要通过AUTH命令提供密码,默认关闭
requirepass footbared
# 设置同一时间最大客户连接数,默认无限制。redis可以同时连接的客户端数为redis程序可以打开的最大文件描述符,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回 max number of clients reached 错误信息
maxclients 128
# 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key。当此方法处理后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
maxmemory
# 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no。
appendonly no
# 指定跟新日志文件名默认为appendonly.aof
appendfilename appendonly.aof
# 指定更新日志的条件,有三个可选参数 - no:表示等操作系统进行数据缓存同步到磁盘(快),always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全), everysec:表示每秒同步一次(折衷,默认值);
appendfsync everysec
bind:0.0.0.0 #Redis 默认只允许本机访问,把 bind 修改为 0.0.0.0 表示允许所有远程访问,如果想指定限制访问,可设置对应的 ip。
port:6379 # 监听端口默认为6379,想改其他也行。
protected-mode:no #关闭保护模式,可以外部访问。
daemonize:yes #设置为后台启动
logfile:./redis.log #日志文件,这里放置在当前配置文件目录下,生成后在 bin 目录下可找到
requirepass:1qaz#WSX #设置 redis 连接密码,如果不需要则可以不用配置
masterauth:1qaz#WSX #slave 服务连接 master 的密码,如果master没有设置密码则可以不用配置
replicaof 172.16.21.238 6379 ## 指定当本机为slave服务时,设置master服务的IP地址及端口,在redis启动的时候他会自动跟master进行数据同步,master主机可以不用配置
从机的配置和主机相似,相同的地方我就不再详解,不同的地方是需要使用replicaof指定主机(master)的IP地址和端口,需要注意的是老版本使用的是 slaveof,如下。
bind:0.0.0.0 #Redis 默认只允许本机访问,把 bind 修改为 0.0.0.0 表示允许所有远程访问,如果想指定限制访问,可设置对应的 ip。
port:6380 # 监听端口默认为6379,想改其他也行。
protected-mode:no #关闭保护模式,可以外部访问。
daemonize:yes #设置为后台启动
logfile:./redis.log #日志文件,这里放置在当前配置文件目录下,生成后在 bin 目录下可找到
requirepass:1qaz#WSX #设置 redis 连接密码,如果不需要则可以不用配置
masterauth:1qaz#WSX #slave 服务连接 master 的密码,如果master没有设置密码则可以不用配置
replicaof 172.16.21.238 6379 ## 指定当本机为slave服务时,设置master服务的IP地址及端口,在redis启动的时候他会自动跟master进行数据同步
指定当本机为 slave 服务时,设置 master 服务的IP地址及端口,在 redis 启动的时候会自动跟 master 进行数据同步
启动从机,看从机(slave)是否可以获取到主机数据,如果能获取,说明数据已经同步到了从机,主机添加数据,如下
上面已经将主从模式搭建好了,接下来在上面的基础上继续搭建哨兵模式,哨兵的配置主要就是修改sentinel.conf配置文件中的参数,在Redis安装目录即可看到此配置文件,各参数详解如下:
# 哨兵sentinel实例运行的端口,默认26379
port 26379
# 哨兵sentinel的工作目录
dir ./
# 是否开启保护模式,默认开启。
protected-mode:no
# 是否设置为后台启动。
daemonize:yes
# 哨兵sentinel的日志文件
logfile:./sentinel.log
# 哨兵sentinel监控的redis主节点的
## ip:主机ip地址
## port:哨兵端口号
## master-name:可以自己命名的主节点名字(只能由字母A-z、数字0-9 、这三个字符".-_"组成。)
## quorum:当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass,所有连接Redis实例的客户端都要提供密码。
# sentinel auth-pass
sentinel auth-pass mymaster 123456
# 指定主节点应答哨兵sentinel的最大时间间隔,超过这个时间,哨兵主观上认为主节点下线,默认30秒
# sentinel down-after-milliseconds
sentinel down-after-milliseconds mymaster 30000
# 指定了在发生failover主备切换时,最多可以有多少个slave同时对新的master进行同步。这个数字越小,完成failover所需的时间就越长;反之,但是如果这个数字越大,就意味着越多的slave因为replication而不可用。可以通过将这个值设为1,来保证每次只有一个slave,处于不能处理命令请求的状态。
# sentinel parallel-syncs
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间failover-timeout,默认三分钟,可以用在以下这些方面:
## 1. 同一个sentinel对同一个master两次failover之间的间隔时间。
## 2. 当一个slave从一个错误的master那里同步数据时开始,直到slave被纠正为从正确的master那里同步数据时结束。
## 3. 当想要取消一个正在进行的failover时所需要的时间。
## 4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来同步数据了
# sentinel failover-timeout
sentinel failover-timeout mymaster 180000
# 当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本。一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
# 对于脚本的运行结果有以下规则:
## 1. 若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10。
## 2. 若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
## 3. 如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
# sentinel notification-script
sentinel notification-script mymaster /var/redis/notify.sh
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
这里我们在151和238搭建两台哨兵,每台服务器一台哨兵,配置方式相同,同样的我们先将解压包中的sentinel.conf复制到/usr/local/redis/bin下面,方便管理,然后再去编辑配置。如下
//端口默认为26379。
port 26379
//关闭保护模式,可以外部访问。
protected-mode no
//设置为后台启动。
daemonize yes
//日志文件。
logfile ./sentinel.log
//指定主机IP地址和端口,并且指定当有2台哨兵认为主机挂了,则对主机进行容灾切换。
sentinel monitor mymaster 172.16.21.238 6379 2
//当在Redis实例中开启了requirepass,这里就需要提供密码。如果没有设置密码则不需要
sentinel auth-pass mymaster pwdtest@2019
//这里设置了主机多少秒无响应,则认为挂了。
sentinel down-after-milliseconds mymaster 3000
//主备切换时,最多有多少个slave同时对新的master进行同步,这里设置为默认的1。
snetinel parallel-syncs mymaster 1
//故障转移的超时时间,这里设置为三分钟。
sentinel failover-timeout mymaster 180000
注意,上面配置根据redis版本不同,有的配置不存在就需要添加,有的不支持,如果启动报错提示后删掉再启动即可。
还是在这个目录下/usr/local/redis/bin,然后执行 ./redis-sentinel sentinel.conf 指定哨兵的配置路径
哨兵启动后可以通过下面命令查看哨兵信息
可以看到,哨兵已经监听到当前的主机IP端口和运行状态,并且有1台从机,2个哨兵。
然后我们可以进行容灾切换,干掉主机238后会发现151切换成了主机,然后重启238后238又变成了主机。
在搭建好主从复制+哨兵模式后我们就需要应用起来了,spring项目或者springboot项目原来单机配置的redis方式就不行了,需要重新配置配置方式如下。
##### redis配置
spring.redis.sentinel.master=mymaster
spring.redis.sentinel.nodes=172.16.21.238:26379,172.16.21.151:26379
spring.redis.password=1qaz#WSX
spring.redis.sentinel.master:master这个属性值是上面配置哨兵模式的配置中sentinel monitor mymaster 172.16.21.238 6379 2这个指定的,要和这里的一致,即mymaster。
spring.redis.sentinel.nodes:这里配置的是哨兵节点以及端口信息,用","隔开。
spring.redis.password:redis密码,如果没有则不用。