Zookeeper实现master-slave选举
一 场景描述
比如存在一个webservice服务 该服务用于提供 一个获取uuid的服务 这个服务调用的程序不多 但是需要考虑到单点故障 当其中一台挂掉后 另一台机器需要充当master提供服务
二 实线流程
图解：
1.zookeeper集群 （这里模拟 我只开启了一台主机 58.1）
2. web服务器（两台服务器用于 master-salve模式）
Web服务器就提供一个webservice服务 （jax-wx 必须jdk1.7支持） @WebService
public class UniqueString {
@WebMethod
public String get(){
return UUID.randomUUID().toString();
}
public static void main(String[] args) throws Exception {
//获取当前服务器的ip
String curIp=getIp();
//发布主应用 主webservice
Endpoint.publish("http://"+curIp+":8801/getId", new UniqueString());
}
}当web服务器（58.131,58.132都需要部署该程序）启动时 必须在zookeeper服务器上进行争抢注册/master节点
创建为 /master=【web服务器的ip】 该节点为临时节点
假设 192.168.58.131争抢到了zookeeper上通过zkCli命令连接get /master查看/master的值就为192.168.58.131如果131挂了
此时zookeeper和131的连接中断session超时后 自动删除临时节点/master此时132监听到/master的数据删除事件 就需要开始争抢
master权注册/master=192.168.58.132
两台服务 需要处理的动作为
启动服务器 开始争抢/master注册 监听/master的删除（又要开始争抢）
代码如下（这里使用zkclient）
package webserver;
import java.net.InetAddress;
import java.net.NetworkInterface;
import java.net.SocketException;
import java.util.Enumeration;
import org.I0Itec.zkclient.IZkDataListener;
import org.I0Itec.zkclient.ZkClient;
import org.I0Itec.zkclient.exception.ZkException;
import org.I0Itec.zkclient.exception.ZkInterruptedException;
import org.I0Itec.zkclient.exception.ZkNodeExistsException;
import org.apache.zookeeper.CreateMode;
/**
* 这里使用Master-Slave模式 使用一台主机（Master）作为对外提供服务的主机
* 其他服务器是备机（Slave ） 如果主机挂了 从机开始选举选择
* 服务器的选举
*
* /master -- master的ip地址
* @author jiaozi
*
*/
public class ServerSelector {
private String zookkerUrl="192.168.58.1:2181";//zookeeper的连接地址
private String masterNode="/master";//注册到zookeeper的节点名称 /master中存储的是服务器的ip地址
private String curIp; //当前的ip地址
private String masterIp; //master的ip地址
private ZkClient zk=null; //zookeeper客户端
private IZkDataListener dataListener;//监听/master节点的数据变化
public ServerSelector(String curIp){
this.curIp=curIp;
}
public void start() throws Exception{
//连接zookeeper 设置5秒连接超时
//session超时时间越长 假如服务器挂了 等待session超时时间 临时节点才删除
zk=new ZkClient(zookkerUrl,3000, 1000);
dataListener=new IZkDataListener() {
/**
* 如果数据被删除了 可能有master挂了 此时必须争抢master
*/
@Override
public void handleDataDeleted(String arg0) throws Exception {
fightMaster();
}
//数据被修改了
@Override
public void handleDataChange(String arg0, Object arg1) throws Exception {}
};
//订阅master节点的数据修改节点
zk.subscribeDataChanges(masterNode,dataListener);
fightMaster();
}
/**
* 当前主机争夺master
*/
public void fightMaster(){
//尝试去创建master节点 有可能别的服务器抢到了 可能会出现异常
try {
Object mastIp=zk.create(masterNode,curIp,CreateMode.EPHEMERAL);
} catch (Exception e) {
//节点已存在
if(e instanceof ZkNodeExistsException){
//由于不同的原因（处理过程 master挂了）导致没取到 重新争抢 直到找到master
Object masterIpObj=zk.readData(masterNode);
if(masterIpObj==null){
fightMaster();
}else{
masterIp=masterIpObj.toString();
}
}
}
}
}修改web服务器启动的代码 启动服务后 开始选举
package webserver;
import java.net.InetAddress;
import java.net.NetworkInterface;
import java.net.SocketException;
import java.util.Enumeration;
import java.util.UUID;
import javax.jws.WebMethod;
import javax.jws.WebService;
import javax.xml.ws.Endpoint;
@WebService
public class UniqueString {
@WebMethod
public String get(){
return UUID.randomUUID().toString();
}
//zookeeper选举类
static ServerSelector ss=null;
public static void main(String[] args) throws Exception {
//获取当前服务器的ip
String curIp=getIp();
//发布主应用 主webservice
Endpoint.publish("http://"+curIp+":8801/getId", new UniqueString());
//开始选举进程 传入当前ip
ss=new ServerSelector(curIp);
ss.start();
}
/**
* 获取当前主机ip地址
* 这里我挂的虚拟机 和window主机 ip都是58段
* @return
* @throws SocketException
*/
public static String getIp() throws SocketException{
Enumeration interfs = NetworkInterface.getNetworkInterfaces();
while (interfs.hasMoreElements())
{
NetworkInterface interf = interfs.nextElement();
Enumeration addres = interf.getInetAddresses();
while (addres.hasMoreElements())
{
InetAddress in = addres.nextElement();
if (in.getHostAddress().startsWith("192.168.58"))
{
return in.getHostAddress();
}
}
}
return null;
}
} 将需要用到的jar包 放在lib目录下
上传到 58.131和58.132后 使用命令
nohup java -Djava.ext.dirs=./lib -jar webserver.jar 查看目录下的nohup.out文件查看是否启动
也可以通过 ps-ef | grep java 查看启动的java程序 成功后 通过客户端
zkCli.sh -server 192.168.58.1 查看 /master节点的值
此时 看到 /master=58.132
登录 58.132 关闭 服务 ps -ef | grep java 找到进程 kill 进程编号
通过客户端查看是否 /master=58.131 如果是 则表示服务器master-slave实现成功
2. 客户端（客户端需要调用webservice ）
客户端调用之前 获取/master节点的服务器 通过服务器ip调用webservice
同时需要监听zookeeper节点的数据变化事件 需要重新替换新的服务器ip
这里调用webservice的代码（图中选中的）是通过eclipse上新建webservice client生成的代码
package webclient;
import java.rmi.RemoteException;
import javax.xml.rpc.ServiceException;
import org.I0Itec.zkclient.IZkDataListener;
import org.I0Itec.zkclient.ZkClient;
import org.I0Itec.zkclient.exception.ZkNoNodeException;
import org.apache.zookeeper.ZooKeeper;
/**
* 客户端模拟根据zookeeper获取到master
* 调用webservice获取id
* @author jiaozi
*
*/
public class Test {
static String masterNode="/master";//master节点
static String masterIp=null;// 获取master的ip地址
static ZkClient zk=null;
static String zookkerUrl="192.168.58.1:2181";//zookeeper的连接地址
/**
* 获取master的ip
* @return
* @throws InterruptedException
*/
public static String getMasterIp() throws InterruptedException{
Object ipObj;
try {
//读取master节点的ip值
ipObj = zk.readData(masterNode);
} catch (ZkNoNodeException e) {
//如果节点不存在 休眠10s 继续读取 直到读取到为止
Thread.sleep(10);
return getMasterIp();
}
//如果没有获取到ip 也继续去读取
if(ipObj==null){
Thread.sleep(10);
return getMasterIp();
}
return ipObj.toString();
}
public static void main(String[] args) throws Exception {
zk=new ZkClient(zookkerUrl,3000, 1000);
//客户端调用时获取一次master的ip 以后就使用该ip缓存 监听zookeeper的数据变化
System.out.println("尝试获取master");
masterIp=getMasterIp();
//监听master节点数据的变化
zk.subscribeDataChanges(masterNode, new IZkDataListener() {
@Override
public void handleDataDeleted(String arg0) throws Exception {
}
@Override
public void handleDataChange(String arg0, Object arg1) throws Exception {
masterIp=getMasterIp();
}
});
//每隔5s 循环调用webservice 看down掉其中任何一台服务器是否都可以获取到存在的服务器 并且连接webservice
while(true){
System.out.println("获取到的masterip是："+masterIp);
String wsdlUrl="http://"+masterIp+":8801/getId";
try {
UniqueStringServiceLocator u=new UniqueStringServiceLocator();
u.setUniqueStringPortEndpointAddress(wsdlUrl);
String id=u.getUniqueStringPort().get();
System.out.println(id);
} catch (Exception e) {
System.out.println("webservice无法连接");
}
Thread.sleep(5000);
}
}
}这里有时还需要考虑个问题 就是 服务器 58.131和58.132中的master和服务器之间出现了网络的不稳定 此时和服务器之间因为超时 导致 master节点从zookeeper服务干掉了 但是 master对应的服务器 并没有真正挂掉 有可能一些对象的初始化在新服务器需要重新 处理 需要消耗资源 所以 可以让之前的master优先去抢 让之前不是master的节点 过几秒后再去抢 红色的部分为修改代码
package webserver;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
import org.I0Itec.zkclient.IZkDataListener;
import org.I0Itec.zkclient.ZkClient;
import org.I0Itec.zkclient.exception.ZkNodeExistsException;
import org.apache.zookeeper.CreateMode;
/**
* 这里使用Master-Slave模式 使用一台主机（Master）作为对外提供服务的主机
* 其他服务器是备机（Slave ） 如果主机挂了 从机开始选举选择
* 服务器的选举
*
* /master -- master的ip地址
* @author jiaozi
*
*/
public class ServerSelector {
private String zookkerUrl="192.168.58.1:2181";//zookeeper的连接地址
private String masterNode="/master";//注册到zookeeper的节点名称 /master中存储的是服务器的ip地址
private String curIp; //当前的ip地址
private String masterIp; //master的ip地址
private ZkClient zk=null; //zookeeper客户端
private IZkDataListener dataListener;//监听/master节点的数据变化
public ServerSelector(String curIp){
this.curIp=curIp;
}
public void start() throws Exception{
//连接zookeeper 设置5秒连接超时
//session超时时间越长 假如服务器挂了 等待session超时时间 临时节点才删除
zk=new ZkClient(zookkerUrl,3000, 1000);
dataListener=new IZkDataListener() {
/**
* 如果数据被删除了 可能有master挂了 此时必须争抢master
*/
@Override
public void handleDataDeleted(String arg0) throws Exception {
ScheduledExecutorService ses=Executors.newScheduledThreadPool(1);//这里线程池建议定义在全局属性 我这里为了方便标色
//如果当前ip和之前的masterip是一样的直接开抢
if(curIp.equals(masterIp)){
fightMaster();
}else{
//ip和master不一样 等待5秒后开抢 让之前的ip先抢 因为master没挂
ses.schedule(new Runnable() {
@Override
public void run() {
fightMaster();
}
}, 5, TimeUnit.SECONDS);
}
}
//数据被修改了
@Override
public void handleDataChange(String arg0, Object arg1) throws Exception {}
};
//订阅master节点的数据修改节点
zk.subscribeDataChanges(masterNode,dataListener);
fightMaster();
}
/**
* 当前主机争夺master
*/
public void fightMaster(){
//尝试去创建master节点 有可能别的服务器抢到了 可能会出现异常
try {
Object mastIp=zk.create(masterNode,curIp,CreateMode.EPHEMERAL);
} catch (Exception e) {
//节点已存在
if(e instanceof ZkNodeExistsException){
//由于不同的原因（处理过程 master挂了）导致没取到 重新争抢 直到找到master
Object masterIpObj=zk.readData(masterNode);
if(masterIpObj==null){
fightMaster();
}else{
masterIp=masterIpObj.toString();
}
}
}
}
}
最终运行结果：
启动 58.131和58.132后 运行客户端 main 运行一会后停掉 master 58.132进程 发现自动开始调用 58.131的web服务了
获取到的masterip是：192.168.58.132
eb5743c3-d7f0-4265-97e4-05d21531b062
获取到的masterip是：192.168.58.132
843638ae-e7d1-43e3-ba3f-dab2916c7e77
获取到的masterip是：192.168.58.132
webservice无法连接
获取到的masterip是：192.168.58.131
7ee85b77-83f6-430e-8df3-cfd785e3bea1
获取到的masterip是：192.168.58.131
8fb278d1-0b6f-4b35-bbeb-1fa66e145c6c