为了搭建日志收集系统LEK,需要搭建一套Redis高可用集群,确保日志正常从各个应用服务器流转到ElasticSeach服务器,最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现,具有主备和故障转移功能。
两台机器:master(192.168.2.52),slave(192.168.2.53)
操作系统:CentOS 6.5
Redis:2.8.17,下载地址:http://download.redis.io/releases/redis-2.8.17.tar.gz
安装前准备
1、安装c++编译器
yum install gcc-c++
2、安装依赖tcl
yum install -y tcl
安装
1、下载
wget http://download.redis.io/releases/redis-2.8.17.tar.gz
2、解压
tar -zxvf redis-2.8.17.tar.gz
3、安装
先创建一个软链接,然后进入链接目录,安装。
ln -s redis-2.8.17 redis cd redis make install
安装完成之后,在/usr/local/bin目录下会出现redis相关的脚本文件(不包含redis-sentinel.sh)。如下图所示:
配置
1、创建相关目录
redis配置需要指定日志文件、进程id文件、数据文件和数据文件目录,下面创建这些相关目录,以便在下一步进行配置。
mkdir /var/redis cd /var/redis mkdir log #存放日志 mkdir run #存放redis进程文件 mkdir data #存放备份数据
此外,还需要创建一个存放配置文件的目录,将redis链接目录中的redis.conf文件拷贝过来。
mkdir /etc/redis cp YOURPATH/redis/redis.conf /etc/redis/
2、配置文件
通常需要修改一下配置:
daemonize yes pidfile "/var/redis/run/redis.pid" logfile "/var/redis/log/redis.log" dir "/var/redis/data" #这个可以自己定义大小
测试
启动redis服务 redis-server /etc/redis/redis.conf
执行简单的存取操作,如果成功,则表示redis服务正常。如下图所示
复制安装
按照上述步骤,在slave机器上安装好redis服务,redis主备和高可用至少需要两台机器。
前提
master和slave两台机器均已完成Redis安装,且服务可以正常运转。
主备配置
redis的主备配置比较简单,只需要在从服务的配置文件中指明主服务地址和端口号即可。即修改slave上的redis配置文件:
slaveof 192.168.2.52 6379
测试
依次重启redis master,redis slave,在master和slave分别执行如下命令,可以查看主备信息。
#在master上执行 redis-cli -h 192.168.2.52 -p 6379 info Replication #在slave上执行 redis-cli -h 192.168.2.53 -p 6379 info Replication
此外还可以进行存取测试,在master上执行set操作,在slave上执行get操作,如果value相等,则证明主备功能正常。因为默认 slave是只读,所以当在slave上执行set操作时,将报错:(error) ERR wrong number of arguments for 'set' command
redis高可用的实现采用redis-sentinel,自Redis2.8版开始,正式提名为Sentinel主从切换方案。Sentinel用于管理多个Redis服务器实例,主要负责3个方面的任务:
监控(Monitoring):Sentinel会不断检测你的主服务器和从服务器是否正常运作
提醒(Notification):当被监控的某个Redis服务器出现问题时,Sentinel可以通过API向管理员或者其他应用程序发送通知
自动故障转移(Automatic Failover):当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作, 它会将失效主服务器的其中一个从服务器升级为新的主服务器, 并让失效主服务器的其他从服务器改为复制新的主服务器; 当客户端试图连接失效的主服务器时, 集群也会向客户端返回新主服务器的地址, 使得集群可以使用新主服务器代替失效服务器。
Redis Sentinel 是一个分布式系统, 你可以在一个架构中运行多个 Sentinel 进程(progress), 这些进程使用流言协议(gossip protocols)来接收关于主服务器是否下线的信息, 并使用投票协议(agreement protocols)来决定是否执行自动故障迁移, 以及选择哪个从服务器作为新的主服务器。
拷贝sentinel的脚本至/usr/local/bin目录 cp src/redis-sentinel /usr/local/bin;
拷贝配置文件sentinel.conf至/etc/redis目录cp sentinel.conf /etc/redis,修改配置文件:
port 26379 # master1 sentinel monitor master1 192.168.2.52 6379 1 sentinel down-after-milliseconds master1 5000 sentinel failover-timeout master1 900000 sentinel parallel-syncs master1 1
启动redis-sentinel服务redis-sentinel /etc/redis/sentinel.conf --sentinel;
执行检测命令redis-cli -h 192.168.2.52 -p 26379 info Sentinel,结果如下,master为192.168.2.52
现在停止52上redis服务redis-cli -h 192.168.2.52 -p 6379 shutdown,再执行检测命令如下,master变成了192.168.2.53
五、总结
本文主要介绍了如何使用redis-sentinel搭建redis高可用集群,理论结合实际演示了集群实现的效果,主备和故障转移。
转至:http://my.oschina.net/xiaohui249/blog/338517
参考文章
1.使用logstash+elasticsearch+kibana快速搭建日志平台