主从复制,读写分离,大部分情况下都是再进行读操作,为了减轻服务器压力,在架构中经常使用. (最低配--一主二从,一个从机无法选举)
主从复制主要包括
1.数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式
2.故障恢复 : 当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复,实际上是一种服务的冗余
3.负载均衡: 在主从复制基础上,配合读写分离,可以由主节点提供写服务,从节点提供读服务(写redis数据时应用连接主节点,读redis数据时应用连接从节点),分担服务器负载,尤其是在读写多的场景下,通过多个从节点分担读负载,可以大大提高redis服务器的并发量
4.高可用(集群)基石:除了以上作用,主从复制还是哨兵和集群能够实现的基础,因此主从复制是Redis高可用的基础
一般来说,redis主要用于工程项目中,只是用一台redis是不可能的 (宕机), 原因如下:
1.从结构来说,单个redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
2.从容量来说,单个redis服务器内存容量有限,就算一台redis服务器容量为256G,也不能将所有内存作用于redis存储内存,一般来说, 单台Redis最大使用内存不应该超过20G。
电商网站的商品,一般都是一次上传,无数次浏览,专业点说,也就是”多读少写“。
只配置从库,不配置主库 ( info replication)查看redis信息
复制3个配置文件,修改对应的信息
1.端口
2.pid名字
3.logmingzi
4.dumb.rdb名字
编辑 conf文件(每一个conf文件都要配置不同)
1.修改端口
2.后台运行打开
3.修改pidfile
4.logfile 修改名称
5.修改dbfilename
配置完后启动服务 ,查看进程ps -ef|grep redis
默认情况下,每台redis服务器都是主节点,一般情况只需要配置主机即可
配置从机 slaveof ip port
查看 设置6380为从机,查看状态
在主机(6379)中查看
以上修改是暂时的,要永久修改需要在conf文件中更改配置
slaveof
#设置地址、端口 masterauth
#设置主机密码
主机只能写,主机不能写只能读!主机中所有的数据和信息都会被从机保存
主机中设置值
从机中可以读取到
从机中不可以写入操作
问题:主机断开后(没有哨兵),从机依旧连接主机,但是没有写操作了,如果主机恢复,从机依旧可以获取主机写的信息
主机断开
查看从机信息依旧是从机
问题:从机断开
此时主机(6379)进行写操作
刚才断开的从机(6381)重新连接 ,发现从机(6381)获取不到k3
从机(6381)查看 info replication 发现重启后变为主机,因为刚才用了命令配置主从,没有在conf配置文件中设置
变为从机后就可以获取到主机的值
复制原理
slave启动成功连接master后会发送一个sync命令
Master接收到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕后,master将传送整个数据文件到slave
,并完成一次完全同步。
全量复制:当slave服务在接收到数据库文件数据后,将其存盘并加载到内存中
增量复制:Master继续将新的所有收集到的修改命令依次传给slave我,完成同步
只要重新连接Master,一次完全同步(全量复制)将被自动执行,数据一定可以在从机中看到
层次链路
此时主机(6379)执行写入操作后,从机(6380/6381)依旧可以读取到数据
此时主机断开,可以使用 slaveof no one
,让自己变为主句,其他节点就可以手动连接到这个新节点
如果主机(6379)恢复,也只能重新配置
主从切换技术的方法是:当主服务器宕机后,需要手动把一台从服务器切换为主服务器,这就需要人工干预,费事费力,还会造成一段时间内服务不可用。这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。
哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。
这里的哨兵有两个作用
通过发送命令,让Redis服务器返回监控其运行状态,包括主服务器和从服务器。
当哨兵监测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知其他的从服务器,修改配置文件,让它们切换主机。
然而一个哨兵进程对Redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控,这样就形成了多哨兵模式。
假设主服务器宕机,哨兵1先检测到这个结果,系统并不会马上进行failover过程,仅仅是哨兵1主观认为主服务器不可用,这个先像成为主观下线。当后面的哨兵也监测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行下一次投票,投票的结果由一个哨兵发起,进行failover操作。切换成功后,就会通过发布订阅模式,让各个哨兵吧自己监控的从服务器实现切换主机,这个过程称为客观下线。
vim sentinel.conf
打开哨兵配置
1.配置哨兵配置文件
sentinel monitor 被监控名称 地址 端口 1(如果主机宕机,进行投票)
2.启动哨兵
主机(6379)set值 后 关机
如果master节点断开,此时会在从机中选择一个服务器(投票算法)
连接原来的主机(6379),发现已经新主机(6381)的小弟
哨兵模式优点
1.哨兵集群,基于主从复制模式,所有的主从配置优点,他都有
2.主从可以切换,故障可以转移,系统可用性更好
3.哨兵就是主从的升级,手动到自动,更健壮
缺点:
1.redis不好在线扩容,集群一旦达到上限,在线扩容很麻烦
2.实现哨兵模式的配置很麻烦
# Example sentinel.conf
#哨兵sentinel实例运行的端口 默认26379
port 26379
#哨兵工作目录
dir/tmp
#哨兵sentinel监控的redis主节点的ip port
# master-name 可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 配置多少个sentine1哨兵统一认为master主节点失联 那么这时客观上认为主节点失联了
# sentinel monitor
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
#设置哨兵sentinel连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass
sentinel auth-pass mymaster MySUPER--secret-0123password
#指定多少毫秒之后 主节点没有应答哨兵sentinel此时哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds
sentinel down-after-milliseconds mymaster 30000
#这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行同步,这个数字越小,完成failover所需的时间就越长,但是如果这个数字越大,就意味着越多的slave因为replication而不可用。可以通过将这个值设为1来保证每次只有一个slave处于不能处理命令请求的状态。
# sentinel parallel-syncs
sentinel parallel-syncs mymaster 1
#故障转移的超时时间failover-timeout 可以用在以下这些方面:
#1.同一个sentine1对同一个master两次failover之间的间隔时间。
#2.当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。
#4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
#默认三分钟# sentinel failover-timeout sentinel
failover-timeout mymaster 180000
# SCRIPTS EXECUTION
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员
#对于脚本的运行结果有以下规则:#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
#通知型脚本:当sentine1有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,一个是事件的类型,个是事件的描述。如果sentinel.conf配置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentine1无法正常启动成功。
#通知脚本
# sentinel notification-script
sentinel notification-script mymaster /var/redis/notify.sh
#客户端重新配置主节点参数脚本
#当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
#以下参数将会在调用脚本时传给脚本:
#
# 目前总是"failover",
# 是"leader"或者"observer"中的一个。
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(旧的slave)通信的
#这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh