redis作为一个直接操作内存的key-value存储系统,也是一个支持数据持久化的Nosql数据库,具有非常快速的读写速度,可用于数据缓存、消息队列等。
进入redis官网下载安装包,这里使用的是目前最新版6.0.4
http://download.redis.io/releases/redis-6.0.4.tar.gz
上传到服务器/usr/local目录并解压
tar -zxvf redis-6.0.4.tar.gz
make
若编译报错,可能是缺少编译环境gcc和tcl
1)安装gcc,先清理掉上一步编译产生的文件,执行命令
make distclean
安装gcc,执行命令
yum install gcc -y
这里遇到一个问题:在安装6.0.1版本make时会遇到这样一个错误,server.c:xxxx:xx: error: ‘xxxxxxxx’ has no member named ‘xxxxx
原因:gcc编译工具版本的问题,centos7默认安装的版本是4.8.5,但是要求对应版本要在5.3以上,查看gcc版本命令
gcc -v
解决方法:升级到5.3以上版本,依次执行命令
yum -y install centos-release-scl
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
scl enable devtoolset-9 bash
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile
2)安装tcl,执行命令
yum install tcl -y
重新编译make
make install PREFIX=/usr/local
这时就会在/usr/local目录下生成一个redis目录,后面操作redis均使用此目录下文件,解压编译的目录作为源目录。
复制源目录根目录下的redis.conf文件到生成的/usr/local/redis目录下,执行命令
cp redis.conf /usr/local/redis
使用vi编辑配置redis.conf
bind 0.0.0.0 设置绑定的主机ip,0.0.0.0表示监听所有地址
protected-mode no 关闭安全模式,允许外网访问
daemonize yes 后台启动
添加端口并重启防火墙
firewall-cmd --zone=public --add-port=6379/tcp --permanent && firewall-cmd --reload
列出已经开放的端口号
firewall-cmd --zone=public --permanent --list-ports
启动redis,进入redis根目录,执行命令
./bin/redis-server redis.conf
使用redis工具或API远程访问。
OK,单机版搭建成功!
所谓知其然知其所以然,为什么要用redis集群?
1)首先,redis是一个内存数据库,也就是说存储数据的容量不能超过主机内存大小(一般几十G),有时我们要在redis中存储大量的数据,比如上百个G,如果只是单个的redis实例,这样很难动态水平扩展,这时候就要考虑集群。
2)其次,redis单实例具有流量压力上限问题,所以需要构建数据分区,多个master实例同时提供读写服务。
redis 3.0版本以上开始支持cluster,采用的是hash slot(hash槽,redis共有16384个hash槽),它可以把多个redis实例整合在一起,将hash槽均分给每个master,形成redis集群也就是将数据分散在集群中的多个redis实例上,当我们创建数据时一个key只被分配到一个实例上。redis cluster是一个无中心的结构,每个节点保存着自己的数据和其它节点的信息,知道其它节点负责的槽,并且会与其它节点定时发送心跳信息,能够及时感知集群中异常的节点。
那么,当我们新建一个key时,redis集群是怎样将数据分配到节点上的呢?
当需要在redis集群中放置一个key-value时,redis先对key使用crc16算法计算出一个结果,然后将这个数值与16384求余,这样就确定了hash槽的位置,再根据hash槽的值确定将数据分配给之前均分hash槽的节点上。
当我们取出一个key时,又是怎样进行定位的呢?
当当前redis节点接收到获取数据的命令时,会计算出要处理的数据库键属于哪个槽与存储时使用同样的算法,并检查这个槽是否指派给了自己,若正好指派给了当前节点,则直接在这个节点上执行命令获取数据。否则节点会向客户端返回一个moved指令,指引客户端转向(redirect)至正确的节点,并在此发送之前执行的命令获取数据。
redis使用集群,就要包保证集群的高可用性,使用主从复制(repliaction)和自动故障转移–哨兵机制(sentinel),可以解决单点故障。通过数据分区与主从复制提高redis集群的性能和高可用性。
redis集群是怎样保证集群高可用的呢?
redis cluster采用投票容错机制,集群角色有master和slave。master之间分配slots,slave向它指定的master同步数据,实现备份。master用于写数据,slave用于读数据,向slave写数据会发生错误。当其中一个master无法提供服务时,该master的slave提升为master,代替master提供服务。保证集群中slot的完整性,即集群数据的完整性。一旦集群中其中一个master和它的所有slave全部失效,导致slot不完整,那么集群将会不可用,这是就需要人工去处理了。
投票过程是集群中所有master参与,如果半数以上的节点与节点之间的通讯时间超过cluster-node-timeout,则认为当前节点挂掉。所以一般master节点数量均为奇数个,且不少于3个。
什么情况下整个集群不可用?
a.如果集群中任一master节点挂掉且没有slave节点顶替,集群进入不可用状态;
当集群不可用时,对集群中的任何操作都不可用。
集群搭建:
我们这里搭建一个伪分布式的集群,集群中有3个节点,每个节点有一主一备,理论需要6台虚拟机,我们采用6个redis实例来模拟创建。
注意:这里的集群环境ruby是用于后面创建集群命令的运行环境,但是在高版本例如redis-5.0.5版本及以上就不需要安装此环境了,因为高版本创建集群已经不用redis-trib.rb这个脚本,而是使用自带的redis-cli创建。
安装ruby,执行命令
yum install ruby rubygems -y
安装redis与ruby的连接包,执行命令
gem install redis
如果提示ruby版本过低,需要升级ruby版本,需要安装rvm(命令行工具,提供ruby环境管理和版本切换),安装rvm前需要安装curl(文件传输工具),执行命令
yum install curl -y
使用curl安装rvm,执行命令
curl -L get.rvm.io | bash -s stable
安装会报错,并产生一串公钥,执行命令
gpg --keyserver hkp://keys.gnupg.net --recv-keys (这里跟上上面的公钥)
再次执行命令,一次不行多执行几次
curl -sSL https://get.rvm.io | bash -s stable
安装完成后会在/user/local目录下发现rvm目录,将命令放入shell,执行命令
source /usr/local/rvm/scripts/rvm
查看rvm管理的ruby版本,执行命令
rvm list known
安装新版本,可以参照安装连接包时提示的最低版本安装,我这里安装2.5.7版本,执行命令
rvm install ruby-2.5.7
等待ruby安装完成,查看已安装的版本,
rvm list
使用此版本
rvm use ruby-2.5.7
检查一下当前使用的版本
ruby -v
最后再次执行命令
gem install redis
环境安装完成!!
进入/usr/local目录,执行命令
mkdir redis_cluster
将redis目录复制到redis_cluster中,执行命令
cp -r /usr/local/redis /usr/local/redis_cluster/redis7001
ps:这里注意一点,如果此时数据库中有数据,那么将rdb文件一起复制时会导致后面集群创建失败,有数据时不能创建集群。解决:删除实例下rdb备份文件以及后面会生成的nodes.conf文件。
更改redis7001中配置redis.conf参数
port 7001 修改端口号
cluster-enabled yes 开启集群支持
将redis7001实例复制6份到当前文件夹,
cp redis7001 redis7002
cp redis7001 redis7003
......
修改各个实例下的端口号
进入redis的src目录,执行命令
cp redis-trib.rb /usr/local/redis_cluster/
启动6个redis实例,这里为了方便编写一个启动脚本,在redis_cluste目录下新建文件
touch start-all.sh
编辑输入如下内容:
cd ./redis7001
./bin/redis-server redis.conf
echo "启动redis7001成功..."
cd ../redis7002
./bin/redis-server redis.conf
echo "启动redis7002成功..."
cd ../redis7003
./bin/redis-server redis.conf
echo "启动redis7003成功..."
cd ../redis7004
./bin/redis-server redis.conf
echo "启动redis7004成功..."
cd ../redis7005
./bin/redis-server redis.conf
echo "启动redis7005成功..."
cd ../redis7006
./bin/redis-server redis.conf
echo "启动redis7006成功..."
赋予执行权限
chmod +x start-all.sh
新建关闭redis集群脚本
touch stop-all.sh
编辑输入如下内容:
cd ./redis7001
bin/redis-cli -p 7001 shutwodn
echo "关闭redis7001成功..."
cd ../redis7002
bin/redis-cli -p 7002 shutdown
echo "关闭redis7002成功..."
cd ../redis7003
bin/redis-cli -p 7003 shutdown
echo "关闭redis7003成功..."
cd ../redis7004
bin/redis-cli -p 7004 shutdown
echo "关闭redis7004成功..."
cd ../redis7005
bin/redis-cli -p 7005 shutdown
echo "关闭redis7005成功..."
cd ../redis7006
bin/redis-cli -p 7006 shutdown
echo "关闭redis7006成功..."
创建集群命令:
进入到集群中某个实例下的bin目录,高版本执行
./redis-cli --cluster create --cluster-replicas 1 192.168.2.75:7001 192.168.2.75:7002 192.168.2.75:7003 192.168.2.75:7004 192.168.2.75:7005 192.168.2.75:7006
低版本执行
./redis-trib.rb create --replicas 1 192.168.2.75:7001 192.168.2.75:7002 192.168.2.75:7003 192.168.2.75:7004 192.168.2.75:7005 192.168.2.75:7006
注:replicas参数表示一个master有接个slave
然后就会按照默认的方式进行分配matser,主从关系。
使用命令连接上集群某个节点
./redis-cli -p 7001 -c
使用命令 cluster info 和 cluster nodes可查看集群信息。
注意:一定要加参数-c,否则无法进行各节点通信。
至此,集群版搭建完成!!
好累,歇会~~~
如有错误,感谢您的指正!