etcd + confd 动态生成NGINX配置文件

说明

生产环境中平时会对NGINX配置文件做修改，添加或删除后端主机。如果只有一两台手动修改很轻松，如果有几十台，一台台修改是一个很麻烦的事情。也许有人会说可以用ansible或salt之类的管理，当然这样可以实现，而且这类工具也是做这些事情的。但是如果想集成到运维平台，只用这些还不足够。下面就可以通过etcd（单机）和confd来实现nginx的配置管理

安装

• etcd

 yum install etcd

• confd

confd只是一个二进制文件，下载下来即可

wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64
mv confd-0.16.0-linux-amd64 /usr/bin/confd
chmod +x /usr/bin/confd

配置

• confd配置

1. 创建confd配置目录

   mkdir /etc/confd/{conf.d, templates}
   

   • conf.d: 资源模板文件，必须以toml为后缀
   • templates： 配置文件模板，必须以tmpl为后缀

2. 创建资源模板文件

   # vi /etc/confd/conf.d/app01.conf.toml
   [template]
   src = "app01.conf.tmpl"
   dest = "/etc/nginx/conf.d/app01.conf"
   keys = [
       "/nginx/app01"
   ]
   check_cmd = "/usr/sbin/nginx -t"
   reload_cmd = "/usr/sbin/nginx -s reload"
   

   • src: nginx配置文件模板
   • dest: 生成的nginx配置文件，如果在运维平台在，这里可以指定一个临时路径，然后通过运维平台分发到所有nginx节点
   • check_cmd: 检测nginx配置文件命令
   • creload_cmd: 重新加载配置文件命令

3. 创建nginx配置文件模板

   # vim /etc/confd/templates/app01.conf.tmpl
   upstream www_{{ getv "/nginx/app01/server_name" }} {
    {{ range getvs "/nginx/app01/upstream/*" }}
    server {{.}};
    {{end}}
    }
    
    server {
        server_name  {{getv "/nginx/app01/server_name"}};
        listen 80;
    
        location / {
            proxy_pass http://www_{{ getv "/nginx/app01/server_name" }};
        }
    }
   

   • getv: confd从etcd中获取key对应的value
   • range getvs：从etcd中获取某个目录下所有key对应的value，然后遍历
   • {{ . }}: 占位符，range中遍历的值

• 配置etcd

1. 根据confd中nginx的模板文件在etcd中生成对应的key value

   etcdctl set /nginx/app01/server_name www.app01.com
   etcdctl set /nginx/app01/upstream/server1 192.168.100.10
   etcdctl set /nginx/app01/upstream/server2 192.168.100.11
   

2. 查看etcd中的结构

   # etcdctl ls /nginx/app01
   /nginx/app01/upstream
   /nginx/app01/server_name
   
   # etcdctl get /nginx/app01/server_name
   www.app01.com
   
   # etcdctl ls /nginx/app01/upstream
   /nginx/app01/upstream/server2
   /nginx/app01/upstream/server1
   

• 启动etcd和confd

service etcd start
confd -watch -backend etcd -node http://127.0.0.1:2379

服务启动后查看生成的配置文件：

upstream www_www.app01.com {

    server 192.168.100.10;

    server 192.168.100.11;

}

server {
    server_name  www.app01.com;
    listen 80;

    location / {
        proxy_pass http://www_www.app01.com;
    }
}

扩展思路（运维平台结合）

1. 如果有多个配置文件管理，可以在web界面编辑，然后保存文件到confd的模板目录
2. 操作etcd键值，可以通过etcd api操作，并将值保存到数据库，以供回滚
3. 生成的配置文件保存到临时目录（生产环境运维平台肯定和nginx服务器是分开的），然后通过ansible或salt调用服务器列表分发到有nginx标签的服务器