1.安装 consul
官网下载地址:
https://www.consul.io/downloads.html
下载之后,解压只有一个唯一的 consul 文件 , cp consul /usr/local/bin 下面
安装完成
2. 安装 consul-template
官网下载,解压 cp consul-template /usr/local/bin 下面 和 consul 安装一样
3. 启动 consul
命令: consul agent -server -bootstrap-expect 1 -data-dir=/home/consul -bind 0.0.0.0 -cient 0.0.0.0 &
4.准备 配置模板
Consul-template
接下来我们需要在Consul-template机器上添加一份配置模板item.jd.tomcat.ctmpl。
upstream item_jd_tomcat {
#server 127.0.0.1:1111;
{{range service "dev.item_jd_tomcat@dc1"}}
server {{.Address}}:{{.Port}} weight=1;
{{end}}
}
service指定格式为：标签.服务@数据中心，然后通过循环输出Address和Port，从而生成Nginx upstream配置。
5. 往consul server 写入数据:
curl -X PUT http://127.0.0.1:8500/v1/catalog/register -d'{"Datacenter": "dc1", "Node":"tomcat", "Address":"192.168.1.1","Service": {"Id" :"127.0.0.1:8500", "Service": "item_jd_tomcat","tags": ["dev"], "Port": 8500}}'
curl -X PUT http://127.0.0.1:8015/v1/catalog/register -d'{"Datacenter": "dc1", "Node":"tomcat", "Address":"127.0.0.1","Service": {"Id" :"127.0.0.1:8015", "Service": "item_jd_tomcat","tags": ["dev"], "Port": 8015}}'
删除数据:
curl -X PUT http://127.0.0.1:8500/v1/catalog/deregister -d '{"Datacenter":"dc1", "Node": "tomcat", "ServiceID" :"127.0.0.1:8015"}'
查看数据:
curl http://127.0.0.1:8500/v1/catalog/service/item_jd_tomcat
6. 启动 consul-template
consul-template -consul 127.0.0.1:8500 -template ./item.jd.tomcat.ctmpl:/usr/local/nginx/conf/item.jd.tomcat:"./restart.sh" &
直接通过Nginx include指令将/usr/local/nginx/conf/item.jd.tomcat包含到nginx.conf配置文件即可，restart.sh脚本代码如下所示。
#!/bin/bash
ps -fe | grep nginx | grep -v grep
if [ $? -ne 0 ]
then
sudo /usr/local/nginx/sbin/nginx
echo "nginx start"
else
sudo /usr/local/nginx/sbin/nginx -s reload
echo "nginx reload"
fi
即如果Nginx没有启动，则启动，否则重启。
ava服务建议配合Spring Boot+Consul Java Client实现，我们使用的Consul Java Client如下。com.orbitz.consulconsul-client0.12.8如下代码是进行服务注册与摘除。public static void main(String[] args) { //启动嵌入容器（如Tomcat） SpringApplication.run(Bootstrap.class, args); //服务注册 Consul consul = Consul.builder().withHostAndPort(HostAndPort.fromString ("192.168.61.129:8500")).build(); final AgentClient agentClient = consul.agentClient(); String service = "item_jd_tomcat"; String address = "192.168.61.1"; String tag = "dev"; int port= 9080; final String serviceId = address + ":" + port; ImmutableRegistration.Builder builder = ImmutableRegistration.builder(); builder.id(serviceId).name(service).address(address).port(port).addTags(tag); agentClient.register(builder.build()); //JVM停止时摘除服务 Runtime.getRuntime().addShutdownHook(new Thread() { @Override publicvoid run() { agentClient.deregister(serviceId); } });}
在Spring Boot启动后进行服务注册，然后在JVM停止时进行服务摘除。
到此我们就实现了动态upstream负载均衡，upstream服务启动后自动注册到Nginx，upstream服务停止时，自动从Nginx上摘除。
通过Consul+Consul-template方式，每次发现配置变更都需要reload nginx，而reload是有一定损耗的。而且，如果你需要长连接支持的话，那么当reloadnginx时长连接所在worker进程会进行优雅退出，并当该worker进程上的所有连接都释放时，进程才真正退出（表现为worker进程处于worker process is shutting down）。因此，如果能做到不reload就能动态更改upstream，那么就完美了。对于社区版Nginx目前有三个选择：Tengine的Dyups模块、微博的Upsync和使用OpenResty的balancer_by_lua。微博使用Upsync+Consul实现动态负载均衡，而又拍云使用其开源的slardar（Consul + balancer_by_lua）实现动态负载均衡。
