docker consul 容器的自动发现与注册

consul相关知识

什么是注册与发现

服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题：
●如果需要调用后端服务A-N，就需要配置N个服务的网络位置，配置很麻烦
●后端服务的网络位置变化，都需要改变每个调用者的配置
 

既然有这些问题，那么服务注册与发现就是解决这些问题的。后端服务A-N可以把当前自己的网络位置注册到服务发现模块，服务发现就以K-V的方式记录下来，K一般是服务名，V就是IP:PORT。服务发现模块定时的进行健康检查，轮询查看这些后端服务能不能访问的了。前端在调用后端服务A-N的时候，就跑去服务发现模块问下它们的网络位置，然后再调用它们的服务。这样的方式就可以解决上面的问题了，前端完全不需要记录这些后端服务的网络位置，前端和后端完全解耦！

什么是consul

consul是google开源的一个使用go语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用Raft算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行agent，他有两种运行模式server 和 client。 每个数据中心官方建议需要3或5个server节点以保证数据安全，同时保证server-leader的选举能够正确的进行。 
 

服务注册：当一个服务启动时，会把自己的元数据（IP端口 服务名称 健康状态）注册到服务注册表中。

这个注册表的服务（consul,zookeeper）。也可以在云平台部署。

服务发现：其他服务需要和这个服务通信时，只需要向注册查询服务位置信息（IP+端口），这样的话可以直接在服务注册表中，直接获取我要的信息，不需要到静态配置查看。

服务注册于发现的优点

• 1.动态性，可以在运行时动态添加和移除服务，不需要额外的人工操作和配置。
• 2.弹性，一旦某个服务不可用，这个服务注册表可以及时的更新，避免其他服务避免请求失败。
• 3.可扩展：适应不断变化的服务数量。
• 4.服务费调用时，透明性，前端和后端实现解耦。

服务注册和发现机制和其他工具配合使用的，负载均衡，健康检测，配置管理（一键同步）。

以上是微服务架构中非常重要的组件。

consul的主要特点

1.服务发现与自动注册，位置信息（ip+端口+服务名称）

2.健康检查，服务注册到consul，一并加入系统的还有健康状态，定期发送一个心跳检查，如果服务不存在，consul会自动把他移除。

3.分布式锁：consul提供了一个分布式锁的功能，协调多个节点之间的操作，防止竞争条件和数据冲突。

      1.每一个服务的发现和注册都是一个会话 session，

•        微服务1 在注册到consul的时候，consul会和这个服务的会话创建一个锁，锁用来标识具体的服务器。会话和锁之间关联
•       1获取锁：微服务2，建立会话，获取锁，如果申请的锁没有被使用，客户端成功获取，如果客户端已经存在，表示已有其他服务在占用，会给你分配一个新的锁（KV 存储）
•        释放锁：任务完成或者断开了连接，会把锁释放，删除会话和锁之间的关系。删除与锁关联的键

4.KV存储：key-value 分布式的键值对存储系统，存储配置信息，锁，特性。应用程序可以使用consul的键值对信息来动态的获取配置信息

5.多数据中心支持，consul可以在多个地域进行部署，可以数据中心之间的发现和注册功能。

6.DNS和http的API：consul可以支持DNS接口，通过域名解析定位服务的位置。http api：通过API应用接口，可以调用consul的信息。服务信息，健康检测等等。

7.事件通知，如有关键信息，可以随时获取通知

consul部署和服务发现

服务器	组件	IP
docker1	consul  consul-template	20.0.0.20
docker2	registrator	20.0.0.30
docker3	consul	20.0.0.40

docker1

systemctl stop firewalld.service
setenforce 0

1. 建立 Consul 服务
mkdir /opt/consul
cp consul_0.9.2_linux_amd64.zip /opt/consul
cd /opt/consul
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/local/bin/

//设置代理，在后台启动 consul 服务端
consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=20.0.0.20 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &



consul agent \
开启监听服务
-server \
指定集群当中服务器节点。consul的RAFT算法实现分布式结构中节点的一致性。集群当中的成员，直接成为集群的leader，后续加入的服务器都是follower。

-bootstrap \
表示该节点是引导节点，引导选举过程，以及为后续加入的server做引导程序，加入集群

-ui \
启动图形化界面

-data-dir=/var/lib/consul-data \
consul存储数据的路径

-bind=192.168.233.49 \
服务端绑定的IP地址，以便节点当中通信

-client=0.0.0.0 \
客户端地址，任意主机都可以和server建立通信（生产中是指定服务器）

-node=consul-server01 
指定consul节点的名称，在集群当中consul节点的名称都是唯一的，不可以重复。

&> /var/log/consul.log &
重定向输出到consul.log

查看服务是否启动

netstat -natp | grep consul

启动consul后默认会监听5个端口：

• 8300： 用于Raft协议的端口。Consul使用Raft算法进行分布式一致性，这个端口用于处理复制、领导者选举等。
• 8301： 用于LAN Gossip的端口。LAN Gossip是Consul中用于在局域网内进行节点间通信和信息传播的协议。
• 8302： 用于WAN Gossip的端口。WAN Gossip用于在广域网（WAN）中进行节点间的通信和信息传播。
• 8500： 用于Web UI的端口。Consul提供一个用户界面，可以通过这个端口访问，用于可视化地查看和管理Consul的集群状态。
• 8600： 用于DNS查询的端口。Consul提供DNS接口，可以通过这个端口进行DNS查询，以获取节点和服务的信息。
   

查看集群信息

#查看members状态

#查看members状态
consul members

查看集群状态

consul operator raft list-peers
查看集群状态

curl 127.0.0.1:8500/v1/status/peers
查看集群的server成员

curl 127.0.0.1:8500/v1/status/leader
查看集群的领导者

curl 127.0.0.1:8500/v1/catalog/services
查看已经被集群发现和注册的服务

curl 127.0.0.1:8500/v1/catalog/nodes
查看集群节点的详细信息

docker2

docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.20 \
consul://20.0.0.20:8500



docker run -d \
--name=registrator \
-v /var/run/docker.sock/tmp/docker.sock
docker.sock是docker守护进程的UNIX的套接字文件，把他映射到容器当中，registrator容器可以监听docker的所有事件，并且完成自动注册服务。

--restart=always
--gliderlabs/registrator:latest
--ip=20.0.0.30 \
注册在consul的IP地址。

consul://20.0.0.20:8500
所有发现的服务都会注册到指定的server节点。

创建容器

docker run -itd -p 81:80 --name test-1 -h test1 nginx

-h:指定创建好的主机名

docker run -itd -p 82:80 --name test-2 httpd

如何实现负载均衡

//容器服务自动加入 Nginx 集群
1. 安装 Gliderlabs/Registrator
Gliderlabs/Registrator 可检查容器运行状态自动注册，还可注销 docker 容器的服务到服务配置中心。
目前支持 Consul、Etcd 和 SkyDNS2。 

#客户端执行：
docker run -d \
--name=registrator \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
--ip=20.0.0.30 \
consul://20.0.0.20:8500

-d: 以后台模式（detached mode）运行容器。

--name=registrator: 为容器指定一个名称为 "registrator"。

-v /var/run/docker.sock:/tmp/docker.sock: 将 Docker 守护进程的 UNIX 套接字（socket）映射到容器内的 /tmp/docker.sock。
这样 registrator 可以监听 Docker 事件并自动注册服务。

--restart=always: 在容器退出时总是重新启动容器。

gliderlabs/registrator:latest: 使用的 Docker 镜像是 gliderlabs/registrator，该镜像包含了 registrator 工具。

--ip=20.0.0.30: 指定 registrator 的 IP 地址为 20.0.0.30。
这是 registrator 在服务发现工具（Consul）中注册服务时使用的 IP 地址。

consul://20.0.0.20:8500: 指定 registrator 使用 Consul 作为服务发现工具，Consul 服务的地址是 20.0.0.20:8500。

测试服务发现功能是否正常

docker run -itd -p:83:80 --name test-01 -h test01 nginx
docker run -itd -p:84:80 --name test-02 -h test02 nginx
docker run -itd -p:88:80 --name test-03 -h test03 httpd

 准备 template nginx 模板文件
//在consul服务器上操作
vim /opt/consul/nginx.ctmpl
#定义nginx upstream一个简单模板
upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
   {{end}}
}

在这个配置中，{{range service "nginx"}} 遍历了由 Consul 注册的所有服务名称为 "nginx" 的服务。
然后，对于每个服务实例，server {{.Address}}:{{.Port}}; 将服务的地址和端口添加到 http_backend 的 upstream 中。

这样的配置允许 Nginx 动态地发现和负载均衡由 Consul 注册的所有 "nginx" 服务的实例。
这对于构建基于微服务架构的应用程序的负载均衡是非常有用的。

#定义一个server，监听8000端口，反向代理到upstream
server {
    listen 8000;
    server_name localhost 20.0.0.20;
    access_log /var/log/nginx/kgc.com-access.log;							#修改日志路径
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

编译安装nginx 

编译安装nginx
yum -y install pcre-devel zlib-devel gcc gcc-c++ make
useradd -M -s /sbin/nologin nginx
tar zxvf nginx-1.22.0.tar.gz -C /opt/
cd /opt/nginx-1.22.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

3. 配置 nginx
vim /usr/local/nginx/conf/nginx.conf
......
http {
     include       mime.types;
     include  vhost/*.conf;       				#添加虚拟主机目录
     default_type  application/octet-stream;
......

//创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost

//创建日志文件目录
mkdir /var/log/nginx

//启动nginx
nginx

配置并启动 template

consul-template --consul-addr 192.168.233.10:8500 \
template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info



consul-template --consul-addr 192.168.233.10:8500 \
指定consul地址(从哪里获取数据)，告诉consul-template从server节点获取数据


template "/opt/consul/nginx.ctmpl:/usr/local/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload"

第一部分
/opt/consul/nginx.ctmpl
配置文件模板的位置

第二部分
/usr/local/vhost/test.conf
基于模板生成配置文件的位置

第三部分
/usr/local/nginx/sbin/nginx -s reload"
只要集群中服务发生变化，可以随时更新到配置文件当中

log-level=info
设置comsul-template的日志级别为info

另外打开一个终端查看生成配置文件

访问 template-nginx

访问浏览器   ip:8000不断刷新测试轮询

consul的多节点

docker3
cd /opt
拖入consul
unzip consul_0.9.2
...
consul agent \
-server \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.233.60 \
-client=0.0.0.0 \
-node=consul-server02 \
-enable-script-check=true
-datacenter=dc1 \
-join 192.168.233.40 &> /var/log/consul.log &

去浏览器访问

添加成功

脱离集群

consul leave