Memcached +keepalived 高可用集群

Memcached 主主复制这种架构，在程序连接时不知道应该连接哪个主服务器，所以需要在前端增加 VIP 地址，实现高可用架构。这里用 Keepalived 实现，因而 Keepalived 的作用就是用来检测 Memcached 服务器的状态是否正常。
　
Keepalived 不断检测 Memcached 主服务器的11211端口，如果检测到 Memcached 服务发生宕机或者死机等情况，就会将 VIP 从主服务器移至从服务器，从而实现 Memcached 的高可用性。
　

系统环境

主机名 操作系统 IP地址 软件包 VIP地址
Memcached1服务器 CentOS 7.4 x86_64 192.168.100.201 libevent-2.1.8-stable.tar.gz、memcached-1.5.9.tar.gz、magent-0.5.tar.gz、keepalived 192.168.100.200
Memcached2服务器 CentOS 7.4 x86_64 192.168.100.202 libevent-2.1.8-stable.tar.gz、memcached-1.5.9.tar.gz、keepalived 192.168.100.200
Client客户端 CentOS 7.4 x86_64 192.168.100.203 Telnet 　

部署服务

　

配置memcached主缓存节点和从缓存节点-----两台配置相同

　

# tar zxvf memcached-1.5.6.tar.gz -C /opt/
# tar zxvf libevent-2.1.8-stable.tar.gz -C /opt/
# yum install gcc gcc-c++ make -y
　
# cd /opt/libevent-2.1.8-stable
# ./configure --prefix=/usr/local/libevent
# make && make install
　
# cd /opt/memcached-1.5.6
# ./configure \
--prefix=/usr/local/memcached \
--with-libevent=/usr/local/libevent/
# make && make install
　
# ln -s /usr/local/memcached/bin/* /usr/local/bin/

　

  • 将安装的libevent-2.1.so.6模块建立软链接到/usr/lib64目录下，否则在启动Magent时会出错

    # ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/libevent-2.1.so.6

    　

    在主服务器上安装 Magent

    　

    Magent 是一款开源的 Memcached 代理软件，使用它可以搭建高可用性的集群应用的 Memcached 服务 ，备份 Memcached 数据，尽管 Memcached 服务挂掉，前端也能获取到数据，客户端先连到 Magent 代理服务器 ，然后Magent 代理服务器 在可以连接多台 Memcached 服务器，然后可以进行数据的保存和备份数据。这样数据就不会丢失，保存了数据完整性。
    　

  • 主服务器 
    # wget http://memagent.googlecode.com/files/magent-0.5.tar.gz
# mkdir /opt/magent
# tar zxvf magent-0.5.tar.gz -C /opt/magent
# cd /opt/magent
  • 编译安装前需要先修改文件，否则会报错 
    # vim ketama.h   //修改下面的行
#ifndef SSIZE_MAX
#define SSIZE_MAX 32767
#endif
　
# vim Makefile  //添加路径
LIBS = -levent -lm -L/usr/local/libevent/lib 
INCLUDE=-I/usr/local/libevent/include
　
# make
  • 编译后会生成一个可执行的文件，我们把生成的magent命令让系统识别，并发送到Memcached2服务器 
    # cp magent /usr/bin/      //把生成的magent命令让系统识别
# scp /opt/magent/magent [email protected]:/usr/bin    //把生成的magent命令复制到memcached2服务器

    　

在两台memcached服务器上安装配置Keepalived

  • memcached两台服务器的配置不同处已经标注 
    # yum install keepalived -y
# vim /etc/keepalived/keepalived.conf 
router_id MAGENT_HA               //主从不同 自定义
下面删除4行
}
　
//调用这个脚本每2秒检查一次magent状态
vrrp_script magent {
            script "/opt/shell/magent.sh"
            interval 2
}
vrrp_instance VI_1 {
    state MASTER                    // 另一台服务器这里是BACKUP
    interface ens33                  
    virtual_router_id 51             //虚拟路由ID ，两台相同
    priority 100                         //优先级  从要小于主
    advert_int 1
    authentication {
            auth_type PASS
            auth_pass 1111
    }
track_script {              //调用上面定义的脚本
            magent
}
　
virtual_ipaddress {                       //定义VIP地址
192.168.100.200
}
}
  • 在两台服务器上创建magent.sh脚本便于keepalived调用
  • memcached1服务器 
    # mkdir -p /opt/shell/
# cd /opt/shell/
# vi magent.sh
　
#!/bin/bash
K=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $K -gt 0 ]; then
    magent -u root -n 51200 -l 192.168.100.200 -p 12000 -s 192.168.100.201:11211 -b 192.168.100.202:11211
else
pkill -9 magent
fi

  • 脚本添加执行权限，并开启keepalived服务

    # chmod +x magent.sh
# systemctl start keepalived.service
# ip addr    //查看VIP的IP地址
  • 脚本选项解释 
    -n 51200 //定义用户最大连接数
-l    //指定虚拟IP
-p 12000  //指定端口号
-s //指定主缓存服务器
-b //指定从缓存服务器
  • memcached2服务器 
    # mkdir -p /opt/shell/
# cd /opt/shell/
# vi magent.sh
　
#!/bin/bash
K=`ip addr | grep 192.168.100.200 | grep -v grep | wc -l`
if [ $K -gt 0 ]; then
    magent -u root -n 51200 -l 192.168.100.200 -p 12000 -s 192.168.100.201:11211 -b 192.168.100.202:11211
else
pkill -9 magent
fi
  • 脚本添加执行权限，并开启keepalived服务 
    # chmod +x magent.sh
# systemctl start keepalived.service

    　
    　

    在客户端上测试

  • 测试主主复制

    我们在客户端上使用Telnet登录VIP地址并写入数据，在两台memcached缓存服务器上可以看到数据都已经同步

  • 测试高可用性

    将memcached1服务器宕机，登录memcached2服务器，查看IP地址，此时VIP已经漂移到memcached2服务器上