开启运维之路之第 9 篇——Redis单机多点集群

Redis集群

redis cluster是去中心化,去中间件的,也就是说,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态。每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据。

Redis 集群采用一种叫做哈希槽 (hash slot)的方式来分配。redis cluster 默认分配了 16384 个slot,当我们set一个key 时,会用CRC16算法来取模得到所属的slot,然后将这个key 分到哈希槽区间的节点上,具体算法就是:CRC16(key) % 16384。

注意的是:必须要3个以后的主节点,否则在创建集群时会失败。

假设现在有3个节点已经组成了集群,分别是:A, B, C 三个节点,它们可以是一台机器上的三个端口,也可以是三台不同的服务器。那么,采用哈希槽 (hash slot)的方式来分配16384个slot 的话,它们三个节点分别承担的slot 区间是:
节点A覆盖0-5460;
节点B覆盖5461-10922;
节点C覆盖10923-16383。

如果想新增一个节点D,redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上:

节点A覆盖1365-5460
节点B覆盖6827-10922
节点C覆盖12288-16383
节点D覆盖0-1364,5461-6826,10923-12287
同样删除一个节点也是类似,移动完成后就可以删除这个节点了。

redis cluster 为了保证数据的高可用性,加入了主从模式,一个主节点对应一个或多个从节点,主节点提供数据存取,从节点则是从主节点拉取数据备份,当这个主节点挂掉后,就会有这个从节点选取一个来充当主节点,从而保证集群不会挂掉。

所以我们在集群建立的时候,一定要为每个主节点都添加了从节点, 比如像这样, 集群包含主节点A、B、C, 以及从节点A1、B1、C1, 那么即使B挂掉系统也可以继续正确工作。B1节点替代了B节点,所以Redis集群将会选择B1节点作为新的主节点,集群将会继续正确地提供服务。 当B重新开启后,它就会变成B1的从节点。

不过需要注意,如果节点B和B1同时挂了,Redis集群就无法继续正确地提供服务了。

Redis单机多节点集群:

1、将 集群工具 redis-trib.rb 复制到 usr/local/bin 目录下:注意要根据 redis 安装的路径进行选择,如果根据本人的这套教程,就没问题。

[root@localhost ~]# cd /root/redis-4.0.10/src/
[root@localhost src]# ls -a

开启运维之路之第 9 篇——Redis单机多点集群_第1张图片
可以看到集群工具 redis-trib.rb。要加 -a 才能显示。

复制到 usr/local/bin 目录下:

[root@localhost src]# cp redis-trib.rb /usr/local/bin/

现在弄 3主3从,一共 6 个节点,就要涉及 6 个端口:7001,7002,7003,7004,7005,7006。前面 3 个我们用作主节点,后面 3 个从节点。

我们先在root目录下新建一个redis_cluster目录,然后该目录下再创建6个目录,目录名分别是7001,7002,7003,7004,7005,7006,用来存在redis配置文件。

[root@localhost src]# cd
[root@localhost ~]# mkdir redis_cluster
[root@localhost ~]# cd redis_cluster/
[root@localhost redis_cluster]# mkdir 7001 7002 7003 7004 7005 7006
[root@localhost redis_cluster]# ls
7001  7002  7003  7004  7005  7006

先复制一份 Redis 的配置文件到 7001 目录下:(输入绝对路径,就不用担心当前处于什么目录下操作)

[root@localhost redis_cluster]# cp /root/redis-4.0.10/redis.conf /root/redis_cluster/7001/

修改 7001 目录下的配置文件:

[root@localhost redis_cluster]# cd 7001/
[root@localhost 7001]# vi redis.conf 

修改下面几个配置:特别注意,请别使用小键盘按数字,会产生冲突键,导致很多错乱问题!请使用字母上方的数字键!

修改配置,要合理运用 i 输入模式 和 Esc 模式,即修改一个,就Esc,这样就方便进行下一个查询和修改。

①端口号 port:7001,可以搜索 /port 快速定位,n 是下一个,N是上一个匹配项

②后台启动:daemonize yes  可以搜索:/daemonize

开启运维之路之第 9 篇——Redis单机多点集群_第2张图片

③pidfile文件:可以搜索 /pidfile  修改成:pidfile /var/run/redis_7001.pid

开启运维之路之第 9 篇——Redis单机多点集群_第3张图片

④开启集群:cluster-enabled yes 可以搜索:/cluster-enabled 去掉前面的注释 #

开启运维之路之第 9 篇——Redis单机多点集群_第4张图片

⑤保存节点配置,自动创建:cluster-config-file nodes_7001.conf

开启运维之路之第 9 篇——Redis单机多点集群_第5张图片

⑥集群超时时间,节点超过这个时间没反应就断定是宕机:cluster-node-timeout 5000

开启运维之路之第 9 篇——Redis单机多点集群_第6张图片

⑦存储方式,将写操作记录保存到日志中:appendonly yes

开启运维之路之第 9 篇——Redis单机多点集群_第7张图片

OK,修改完,保存,退出。:wq

把7001下的配置分别复制到7002-7006 然后对应的再修改下配置:

[root@localhost 7001]# cp /root/redis_cluster/7001/redis.conf /root/redis_cluster/7002/
[root@localhost 7001]# cp /root/redis_cluster/7001/redis.conf /root/redis_cluster/7003/
[root@localhost 7001]# cp /root/redis_cluster/7001/redis.conf /root/redis_cluster/7004/
[root@localhost 7001]# cp /root/redis_cluster/7001/redis.conf /root/redis_cluster/7005/
[root@localhost 7001]# cp /root/redis_cluster/7001/redis.conf /root/redis_cluster/7006/

这里使用绝对路径。有个技巧,键盘的方向键 上↑ 、下↓ 可以查看之前敲过的命令。

然后,7002-7006这5个配置文件都需要修改下面的信息:(把所有 7001 的改成相对应的数字即可)

①端口号 port:从 7002 - 7006,   搜索 /port
③pidfile文件:从 7002 - 7006,   搜索 /pidfile
⑤保存节点配置,自动创建:从 7002 - 7006   搜索 /cluster-config-file

小技巧:退回到上一个目录。

[root@localhost 7001]# cd ..
[root@localhost redis_cluster]# 

然后修改文件:

[root@localhost redis_cluster]# vi 7002/redis.conf 
[root@localhost redis_cluster]# vi 7003/redis.conf 
[root@localhost redis_cluster]# vi 7004/redis.conf 
[root@localhost redis_cluster]# vi 7005/redis.conf 
[root@localhost redis_cluster]# vi 7006/redis.conf 

然后小心修改。。。

修改完毕,启动 6 个节点:

[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7001/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7002/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7003/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7004/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7005/redis.conf 
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7006/redis.conf

可以查看 Redis 进程:[root@localhost ~]# ps -ef | grep redis
开启运维之路之第 9 篇——Redis单机多点集群_第8张图片

看到,端口号 6379 是默认的也启动了,还有 7001 - 7006 端口号都启动了 Redis。

接下来,创建集群。

刚才我们已经把 集群工具 redis-trib.rb 放到 usr/local/bin 目录下了。

在使用前,需要安装ruby,让它们能连接:

[root@localhost ~]# yum -y install ruby ruby-devel rubygems rpm-build
作为依赖被升级:
  elfutils-libelf.x86_64 0:0.170-4.el7  elfutils-libs.x86_64 0:0.170-4.el7    
  openssl.x86_64 1:1.0.2k-12.el7        openssl-libs.x86_64 1:1.0.2k-12.el7   
  rpm.x86_64 0:4.11.3-32.el7            rpm-build-libs.x86_64 0:4.11.3-32.el7 
  rpm-libs.x86_64 0:4.11.3-32.el7       rpm-python.x86_64 0:4.11.3-32.el7     

完毕!
[root@localhost ~]# gem install redis

发现报错:

[root@localhost ~]# gem install redis
Fetching: redis-4.0.1.gem (100%)
ERROR:  Error installing redis:
	redis requires Ruby version >= 2.2.2.
[root@localhost ~]# 

要求 Ruby 的版本 在2.2.2以上,点击查看解决方案

解决步骤:

①安装RVM:

[root@localhost ~]# gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
稍等片刻。。。
[root@localhost ~]# curl -L get.rvm.io | bash -s stable
稍等片刻。。。。。。
[root@localhost ~]# find / -name rvm -print
/usr/local/rvm
/usr/local/rvm/src/rvm
/usr/local/rvm/src/rvm/bin/rvm
/usr/local/rvm/src/rvm/lib/rvm
/usr/local/rvm/src/rvm/scripts/rvm
/usr/local/rvm/bin/rvm
/usr/local/rvm/lib/rvm
/usr/local/rvm/scripts/rvm
[root@localhost ~]# 

②查看rvm库中已知的ruby版本:

[root@localhost ~]# source /usr/local/rvm/scripts/rvm
[root@localhost ~]# rvm list known
稍等片刻。。。

③安装一个ruby版本:

[root@localhost ~]# rvm install 2.3.3

稍等片刻。。

④使用一个ruby版本:

[root@localhost ~]# rvm use 2.3.3
Using /usr/local/rvm/gems/ruby-2.3.3
[root@localhost ~]# 

⑤设置默认版本:

[root@localhost ~]# rvm use 2.3.3 --default
Using /usr/local/rvm/gems/ruby-2.3.3
[root@localhost ~]# 

⑥卸载一个已知版本

[root@localhost ~]# rvm remove 2.0.0
ruby-2.0.0-p648 - #already gone
Using /usr/local/rvm/gems/ruby-2.3.3

⑦安装redis:

[root@localhost ~]# gem install redis
Fetching: redis-4.0.1.gem (100%)
Successfully installed redis-4.0.1
Parsing documentation for redis-4.0.1
Installing ri documentation for redis-4.0.1
Done installing documentation for redis after 1 seconds
1 gem installed

搞定 Ruby 工具!

创建集群:

[root@localhost ~]# redis-trib.rb create --replicas 1  127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

弹出提示,是否使用默认的主、从配置

开启运维之路之第 9 篇——Redis单机多点集群_第9张图片

输入:yes

16384 个哈希槽都被使用,说明集群创建成功了。

有些时候,奇葩的问题如截图:

开启运维之路之第 9 篇——Redis单机多点集群_第10张图片

那是因为创建集群的时候,产生一些额外数据文件,没有清理掉。7001上不是空的,有数据,创建集群会失败。因为之前测试的数据存在这里。因此要把它们都删掉。步骤如下:

①查看 redis 进程,杀掉:[root@localhost ~]# ps -ef|grep redis
开启运维之路之第 9 篇——Redis单机多点集群_第11张图片

说明:你们的进程跟我的不一样,而且每次启动之后的进程也会不一样,以实际为准。

杀掉进程:kill -9 进程ID

[root@localhost ~]# kill -9 2385
[root@localhost ~]# kill -9 2390
[root@localhost ~]# kill -9 2395
[root@localhost ~]# kill -9 2400
[root@localhost ~]# kill -9 2407
[root@localhost ~]# kill -9 2414
[root@localhost ~]# ps -ef | grep redis
root       2446   2293  0 10:26 pts/0    00:00:00 grep --color=auto redis
[root@localhost ~]# 

②进入 redis 的根目录,把两个文件 anaconda-ks.cfg(未必有这个文件,有则删,无则不管)、appendonly.aof (aof是隐藏文件,需要加 -a) 删除:

[root@localhost ~]# cd /usr/local/redis/
[root@localhost redis]# ls -a
.  ..  appendonly.aof  auth  bin  dump.rdb  redis.conf
[root@localhost redis]# rm -rf appendonly.aof 
[root@localhost redis]# 

然后返回根目录,把anaconda-ks.cfg、appendonly.aof也删掉,以绝后患

[root@localhost redis]# cd
[root@localhost ~]# ls
anaconda-ks.cfg                              nodes-7006.conf
appendonly.aof                               redis-4.0.10

开启运维之路之第 9 篇——Redis单机多点集群_第12张图片

这样会不行,还会报错。原因是因为:之前我们测试的时候,有错误的信息,也保存到了nodes-7001.conf文件了。所以,我们需要把这些文件都删掉,还有aof等文件。刚才说的那些文件都删掉。所以,正确的做法是:删掉 aof ,6个.conf 文件

开启运维之路之第 9 篇——Redis单机多点集群_第13张图片

[root@localhost ~]# rm -rf appendonly.aof 
[root@localhost ~]# rm -rf anaconda-ks.cfg
[root@localhost ~]# rm -rf nodes-7001.conf 
[root@localhost ~]# rm -rf nodes-7002.conf 
[root@localhost ~]# rm -rf nodes-7003.conf 
[root@localhost ~]# rm -rf nodes-7004.conf 
[root@localhost ~]# rm -rf nodes-7005.conf 
[root@localhost ~]# rm -rf nodes-7006.conf

OK,重新启动 6 个节点,再开启集群即可。请先 cd 回到根目录,再敲下面的命令:

 

[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7001/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7002/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7003/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7004/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7005/redis.conf
[root@localhost ~]# /usr/local/redis/bin/redis-server redis_cluster/7006/redis.conf
创建集群:
[root@localhost ~]# redis-trib.rb create --replicas 1  127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

开启运维之路之第 9 篇——Redis单机多点集群_第14张图片

OK,绕了一圈,很多问题会遇到,各种删掉文件啊、启动啊,搞个 shell 脚本,一键搞定,如何?好の!

创建 shell 命令:[root@localhost ~]# vi startRedisCluster.sh

rm -rf appendonly.aof
rm -rf anaconda-ks.cfg
rm -rf nodes-7001.conf
rm -rf nodes-7002.conf
rm -rf nodes-7003.conf
rm -rf nodes-7004.conf
rm -rf nodes-7005.conf
rm -rf nodes-7006.conf

/usr/local/redis/bin/redis-server redis_cluster/7001/redis.conf
/usr/local/redis/bin/redis-server redis_cluster/7002/redis.conf
/usr/local/redis/bin/redis-server redis_cluster/7003/redis.conf
/usr/local/redis/bin/redis-server redis_cluster/7004/redis.conf
/usr/local/redis/bin/redis-server redis_cluster/7005/redis.conf
/usr/local/redis/bin/redis-server redis_cluster/7006/redis.conf

redis-trib.rb create --replicas 1  127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

复制粘贴上面的命令,输入 i 进入编辑模式,shift + Insert 粘贴。然后保存退出。:wq

然后给 shell 脚本授权:[root@localhost ~]# chmod u+x *.sh

OK,我们测试一下这个 shell 脚本是否合格。先查看 redis 进程,杀掉进程。说明,shell 脚本没有杀掉 redis进程,因为进程ID每次都是变动的,需要手动杀掉。还有一点,不能误杀 Redis 进程,会导致连接中断:

开启运维之路之第 9 篇——Redis单机多点集群_第15张图片

启动我们写的 shell 脚本:[root@localhost ~]# ./startRedisCluster.sh 

开启运维之路之第 9 篇——Redis单机多点集群_第16张图片

OK,没毛病!老铁!

 

集群数据测试:

redis-cli是redis默认的客户端工具,启动时加上`-c`参数,`-p`指定端口,就可以连接到集群。

[root@localhost ~]# /usr/local/redis/bin/redis-cli -c -p 7003
127.0.0.1:7003> set username biandan
OK

OK,用其它节点查看这条数据。

127.0.0.1:7003> exit
[root@localhost ~]# /usr/local/redis/bin/redis-cli -c -p 7006
127.0.0.1:7006> get username
-> Redirected to slot [14315] located at 127.0.0.1:7003
"biandan"

看到一行:-> Redirected to slot [14315] located at 127.0.0.1:7003

直接去到 7003 的 14315 哈希槽访问 username 了。

说明集群没毛病。

接下来,测试集群宕机!

①干掉一个节点,比如干掉 7004:

先查看进程:

127.0.0.1:7003> exit
[root@localhost ~]# ps -ef | grep redis
root       2297      1  0 10:58 ?        00:00:06 ./bin/redis-server *:6379
root       2527      1  0 12:12 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7001 [cluster]
root       2532      1  0 12:12 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7002 [cluster]
root       2537      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7003 [cluster]
root       2542      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7004 [cluster]
root       2547      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7005 [cluster]
root       2552      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7006 [cluster]
root       7463   2214  0 12:41 pts/0    00:00:00 grep --color=auto redis
[root@localhost ~]# 

看到 7004 的启动占用 ID 为2542,干掉它:

[root@localhost ~]# kill -9 2542

再查看进程,确认被干掉了:

[root@localhost ~]# ps -ef | grep redis
root       2297      1  0 10:58 ?        00:00:06 ./bin/redis-server *:6379
root       2527      1  0 12:12 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7001 [cluster]
root       2532      1  0 12:12 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7002 [cluster]
root       2537      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7003 [cluster]
root       2547      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7005 [cluster]
root       2552      1  0 12:13 ?        00:00:01 /usr/local/redis/bin/redis-server 127.0.0.1:7006 [cluster]
root       7467   2214  0 12:42 pts/0    00:00:00 grep --color=auto redis
[root@localhost ~]# 

查看集群情况:

[root@localhost ~]# redis-trib.rb check 127.0.0.1:7001

开启运维之路之第 9 篇——Redis单机多点集群_第17张图片

看到,7001,7002,7003还在主节点,7005,7006是从节点。集群还正常。

再干掉 7002。因为 7001 VS 7004,7002 VS 7005,7003 VS 7006,它们是主从关系。

[root@localhost ~]# kill -9 2532

查看进程:

[root@localhost ~]# ps -ef | grep redis
root       2297      1  0 10:58 ?        00:00:07 ./bin/redis-server *:6379
root       2527      1  0 12:12 ?        00:00:02 /usr/local/redis/bin/redis-server 127.0.0.1:7001 [cluster]
root       2537      1  0 12:13 ?        00:00:02 /usr/local/redis/bin/redis-server 127.0.0.1:7003 [cluster]
root       2547      1  0 12:13 ?        00:00:02 /usr/local/redis/bin/redis-server 127.0.0.1:7005 [cluster]
root       2552      1  0 12:13 ?        00:00:02 /usr/local/redis/bin/redis-server 127.0.0.1:7006 [cluster]
root       7495   2214  0 12:48 pts/0    00:00:00 grep --color=auto redis
[root@localhost ~]# 

再查看集群情况:[root@localhost ~]# redis-trib.rb check 127.0.0.1:7001

开启运维之路之第 9 篇——Redis单机多点集群_第18张图片

集群就使用不了了。16384个哈希槽没能正常分配。

 

 

 

你可能感兴趣的:(运维服务器)