docker consul

docker consul 容器的自动发现与注册。

什么叫为微服务(容器)注册与发现

是一种分布式管理系统,定位服务的方法。

在传统的架构当中,应用之间直连到已知的服务,设备提供的网络:ip地址,基于tcp/ip:端口

由于现代微服务部署,服务的动态性,数量增加了,传统的基于ip+端口的形式已经不太适用了。

服务注册以及发现:微服务的位置信息(ip+端口+健康状况)统一注册到一个中心化的服务注册表。

可以允许其他服务动态的查询和发现这些服务。

docker consul_第1张图片

服务注册:当一个服务启动时,会把自己的元数据(ip 端口 服务名称 健康状态)注册到服务注册表中。

这个注册表的服务(comsul,zookeeper),也可以在云平台部署。

服务发现:其他服务需要和这个服务通信时,值需要向注册表查询服务位置信息(ip+端口),这样的化可以在服务注册表中直接获取我要的信息,不需要到静态配置查看了。

服务注册与发现的优点:

1,动态性,可以在运行时动态添加和移除服务,不需要额外的人工操作和配置。

2:弹性:一旦某个服务不可用,服务注册表可以及时更新,通知其他服务避免请求的失败。

3,可扩展:适应不到变化的服务数量。

4,服务方调用时,透明性,前端和后端执行解藕。

服务注册于发现机制和其他工具配合使用,复制均衡,健康检测,配置管理(一键同步)。

微服务架构中非常重要的组件。

consul:工具

consul是HashiCrop公司开发的一工具,用于实现服务发现与注册,配置管理,分布式的系统协调

consul的主要特点:

1,服务发现与自动注册,位置信息(ip+端口+服务名称)

2,健康检测,服务注册到consul,一并加入系统的还有他的健康状态,定期发送一个心跳检查,如果服务挂了,consul会自动移除。

3,分布式锁:consul提供一个分布式锁的功能,协调多个节点之间的操作,防止竞争条件和数据冲突。

每一个服务的发现和注册都是一个会话 session.

微服务在注册到consul的时候,consul会和这个服务的会话创建一个锁,锁用来表识静态的服务器。会话和锁之间关联。

获取锁:微服务2,建立会话,获取锁,如果申请的锁没有被使用,客户端成功获取,如果已经存在,表示已有其他服务在占用,会给你一个新的锁(KV 存储)

释放锁:任务完成或者服务端口了连接,会把锁释放,删除会话和锁之间的关系。删除与锁之间的关系的键。实现资源的释放。

4,KV存储:key-value分布式的键值对存储协调,存储配置信息,锁,特性。应用程序可以使用consul的键值对信息来动态的获取配置信息。

5,多数据中心支持,consul可以在多个地域部署,可以实现数据终止之间的发现和注册功能。

6,DNS和HTTP API:consul支持DNS接口,通过域名解析定位服务的位置。http api:通过API应用接口,可以调用consul的信息。服务信息,健康检查等等

7,事件通知,如有关键信息可以随时获取通知。

实验:consul部署和服务发现

systemctl stop firewalld.service

setenforce 0

consul服务器:docker1 consul docker-ce nginx二进制 consul-template(自动发现和自动配置)

registrator服务器:docker2 运行注册机制和微服务(容器)

consul服务器:多节点docker3 (加入到consul的集群中)

建立 Consul 服务

mkdir /opt/consul

cp consul_0.9.2_linux_amd64.zip /opt/consul

cd /opt/consul

unzip consul_0.9.2_linux_amd64.zip

mv consul /usr/local/bin/

设置代理,在后台启动 consul 服务端

consul agent \

-server \

-bootstrap \

-ui \

-data-dir=/var/lib/consul-data \

-bind=192.168.176.81 \

-client=0.0.0.0 \

-node=consul-server01 &> /var/log/consul.log &

consul agent: 开启监听服务

-server:指定集群当中的服务器节点,consul的RAFT算法实现分布式结构中节点的一致性。集群当中的成员,直接成为集群的leader,后续加入的服务器都是follower。

-bootstrap:表示该节点是引导节点,引导选举过程,以及为后续加入server做引导,加入集群。

-ui:启动图形化界面

-data-dir=/var/lib/consul-data consul存储数据的路径

-bind=192.168.233.40: 服务端绑定的ip地址,节点当中通信。

-client=0.0.0.0: 客户端的地址,所有主机都可以和sever建立通信。(生产中 是指定的服务器。)

-node=consul-server01:知道consul节点的名称,在集群当中consul节点的名称都是唯一的,不可以重复

&> /var/log/consul.log:混合重定向输出到consul.log

&:后台运行

查看端口:

netstat -natp | grep consul

8300:raft协议的端口,报错分布式集群的一致性,端口用于处理复制和领导者选举

8301:LAN Gossip的端口,局域网内部进行节点的通信和信息传播的协议

8302:WAN Gossip的端口,广域网内部进行节点的通信和信息传播的协议

8500:web ui的端口,用来访问访问consul的图形化界面

8600:DNS解析的端口。

查看集群信息

查看members状态

consul members

查看集群状态:

consul operator raft list-peers

curl 127.0.0.1:8500/v1/status/peers                 #查看集群server成员

curl 127.0.0.1:8500/v1/status/leader                 #集群 server-leader

curl 127.0.0.1:8500/v1/catalog/services                 #注册的所有服务

curl 127.0.0.1:8500/v1/catalog/nginx                 #查看 nginx 服务信息

curl 127.0.0.1:8500/v1/catalog/nodes                 #集群节点详细信息

在客户机部署registrator服务器

容器服务自动加入 Nginx 集群

安装 Gliderlabs/Registrator

docker run -d \

--net=host \

--name=registrator \

-v /var/run/docker.sock:/tmp/docker.sock \

--restart=always \

gliderlabs/registrator:latest \

--ip=192.168.176.82 \

consul://192.168.176.81:8500

-d: 以后台模式(detached mode)运行容器。

--name=registrator: 为容器指定一个名称为 "registrator"。

-v /var/run/docker.sock:/tmp/docker.sock: 将 Docker 守护进程的 UNIX 套接字(socket)映射到容器内的 /tmp/docker.sock。

这样 registrator 可以监听 Docker 事件并自动注册服务。

--restart=always: 在容器退出时总是重新启动容器。

gliderlabs/registrator:latest: 使用的 Docker 镜像是 gliderlabs/registrator,该镜像包含了 registrator 工具。

--ip=192.168.233.50: 指定 registrator 的 IP 地址为 192.168.233.50。

这是 registrator 在服务发现工具(Consul)中注册服务时使用的 IP 地址。

consul://192.168.233.40:8500: 指定 registrator 使用 Consul 作为服务发现工具,Consul 服务的地址是 192.168.233.40:8500。

创建三个容器:

docker run -itd -p:81:80 --name test-1 -h test1 nginx

docker run -itd -p:82:80 --name test-2 -h test2 httpd

docker run -itd -p:83:80 --name test-3 -h test3 nginx

docker consul_第2张图片

consul-template:

是hashicrop公司开发的一个工具,用于consul集成,自动更新配置文件,实现配置管理的自动化。

作用:

1,动态的配置更新。consul-template监控consul当中key-vlaue的存储键值对,键值对发生变化,会自动更新配置文件。无需重启服务。

2,支持多种后端的模板:nginx配置,ETCD等等

准备 template nginx 模板文件

//在consul服务器上操作

自动化更新配置文件:

在 /opt/consul/目录下

vim /opt/consul/nginx.ctmpl

#定义nginx upstream一个简单模板

upstream test1 {

{{range service "nginx"}}

server {{.Address}}:{{.Port}};

{{end}}

}

在这个配置中,{{range service "nginx"}} 遍历了由 Consul 注册的所有服务名称为 "nginx" 的服务。

然后,对于每个服务实例,server {{.Address}}:{{.Port}}; 将服务的地址和端口添加到 http_backend 的 upstream 中。

这样的配置允许 Nginx 动态地发现和负载均衡由 Consul 注册的所有 "nginx" 服务的实例。

这对于构建基于微服务架构的应用程序的负载均衡是非常有用的。

#定义一个server,监听8000端口,反向代理到upstream

server {

listen 8000;

server_name localhost 192.168.176.81;

access_log /var/log/nginx/kgc.com-access.log;

index index.html index.php;

location / {

proxy_set_header HOST $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header Client-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http://test1;

}

}

编译安装nginx

yum -y install pcre-devel zlib-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

tar zxvf nginx-1.22.0.tar.gz -C /opt/

cd /opt/nginx-1.22.0/

./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install

ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

配置 nginx

vim /usr/local/nginx/conf/nginx.conf

docker consul_第3张图片

创建目录

创建虚拟主机目录

mkdir /usr/local/nginx/conf/vhost

创建日志文件目录

mkdir /var/log/nginx

配置并启动 template

unzip consul-template_0.19.3_linux_amd64.zip -d /opt/

cd /opt/

mv consul-template /usr/local/bin/

consul-template --consul-addr 192.168.176.81:8500 \

--template "/opt/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \

--log-level=info

--consul-addr 192.168.233.40:8500: 指定 Consul 的地址,这是 consul-template 用于获取数据的 Consul 地址。

--template "/opt/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload": 模板的定义,

由三个部分组成。第一部分是模板文件的路径 (/opt/consul/nginx.ctmpl),

第二部分是生成的配置文件的目标路径 (/usr/local/nginx/conf/vhost/test.conf),

第三部分是在重新加载配置时执行的命令 (/usr/local/nginx/sbin/nginx -s reload)。

--log-level=info: 设置 consul-template 的日志级别为 "info"。

该命令的主要作用是监视 Consul 中的数据变化,当数据发生变化时,consul-template 将使用指定的模板生成配置文件,

并执行重新加载 Nginx 的命令,以使新的配置生效。

cat /usr/local/nginx/conf/vhost/test.conf

docker consul_第4张图片

浏览器访问:

docker consul_第5张图片

实现轮询

consul是一个中间件: nginx服务通过consul-template获取模版,反向代理,consu-templa-e--consul来获取注册服务的ip和端口然后nginx调用发现的服务来实现负载均衡。

consul的多节点:

建立 Consul 服务

mkdir /opt/consul

cp consul_0.9.2_linux_amd64.zip /opt/consul

cd /opt/consul

unzip consul_0.9.2_linux_amd64.zip

mv consul /usr/local/bin/

添加一台已有docker环境的服务器192.168.233.60加入已有的群集中

consul agent \

-server \

-ui \

-data-dir=/var/lib/consul-data \

-bind=192.168.176.83 \

-client=0.0.0.0 \

-node=consul-server02 \

-enable-script-checks=true \

-datacenter=dc1 \

-join 192.168.176.81 &> /var/log/consul.log &

-datacenter=dc1 :加入到40的数据中心

join 192.168.176.81加入到已有的集群当中去。

实现同步

在docker2上

docker run -d \

--net=host \

--name=registrator1 \

-v /var/run/docker.sock:/tmp/docker.sock \

--restart=always \

gliderlabs/registrator:latest \

--ip=192.168.176.82 \

consul://192.168.176.83:8500

注意名字不要一样

脱离集群

consul leave

docker-consul 的核心作用就是发现,微服务。可以动态的管理。

docker-consul:查,看,元数据:ip 端口 健康状态 服务名称

consul-template:自动化管理配置文件的工具,获取consul当中注册的服务信息,可以自动的添加到配置文件当中,及时生效,无需重启服务

consul的多节点:一旦选举处理leader,后续的服务器都是follower.senver的名称不能重复, 唯- .但是可以在一个数据中心。

你可能感兴趣的:(docker,consul,容器)