etcd+confd+nginx实现配置动态upstream

需求

使用Nginx做七层负载均衡，后端是Tomcat。每次项目升级，都要停机发布或者手动先从Nginx下摘掉一组，然后再升级这组，这些操作显然会增加部署时间，于是就想实现动态管理Nginx配置文件。

架构图

image.png

软件

• etcd：分布式KV存储系统，一般用于共享配置和服务注册与发现。是CoreOS公司发起的一个开源项目。 ETCD存储格式类似于文件系统，以根"/"开始下面一级级目录，最后一个是Key，一个key对应一个Value。
• confd：管理本地应用配置文件，使用etcd或consul存储的数据渲染模板，还支持redis、zookeeper等。confd有一个watch功能，通过HTTP API定期监测对应的etcd中目录变化，获取最新的Value，然后渲染模板，更新配置文件。

配置etcd

# 安装etcd
yum install etcd 
# 启动
systemctl start etcd
# 设置key
etcdctl set /nginx/www/server_name backend
etcdctl set /nginx/www/upstream/server01 192.168.0.1
etcdctl set /nginx/www/upstream/server02 192.168.0.2

配置confd

# 下载confd并移到bin目录下
mv confd-0.11.0-linux-amd64 /usr/bin/confd
# 创建配置目录
# mkdir -p /etc/confd/{conf.d,templates}
conf.d    # 配置文件，里面的文件必须以toml后缀
templates # 模板，里面的文件必须以tmpl后缀

# 创建配置文件模板
# vi /etc/confd/templates/app01.conf.tmpl
upstream {{getv "/nginx/www/server_name"}} {
{{range getvs "/nginx/www/upstream/*"}}
     server {{.}};
{{end}}
}
 
server {
   server_name  localhost;
   location / {
       proxy_pass       http://{{getv  "/nginx/www/server_name"}};
       proxy_redirect off;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
# 创建confd配置文件
# vi /etc/confd/conf.d/app01.conf.toml
[template]
src = "app01.conf.tmpl"    # 默认在/etc/confd/templates目录下
dest = "/usr/local/nginx/conf/vhost/app01.conf"  # 渲染后的模板文件位置（要更新的配置文件）
keys = [
   "/nginx",            # 监测的key
]
reload_cmd ="/usr/local/nginx/sbin/nginx -s reload"   # key更新后执行的命令

测试

etcdctl set /nginx/www/upstream/server03 192.168.0.3 # 添加后端服务器
etcdctl rm /nginx/www/upstream/server01 192.168.0.1 #删除

restapi操作etcd

curl -X PUT http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01 -d value="789"  # 增改key
curl -X DELETE http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01     # 删除key 
curl http://127.0.0.1:2379/v2/keys/nginx/www/upstream/server01                 # 查询key的值 

一台主机tomcat

[root@web12 ~]# etcdctl get /app01/vacc/11
["server 192.168.140.11:7080","server 192.168.140.11:7081"]

# {{- }} 不换行输出
{{- range  getvs "/nginx/app01/*" }}
{{- range jsonArray . }}
{{if eq . "server 192.168.140.11:7080" }}#{{.}} weight=5 max_fails=3 fail_timeout=30s;{{else}}{{.}} weight=5 max_fails=3 fail_timeout=30s;{{end}}
{{- end}}
{{- end}}