虽然说牛逼的公司都有那么几个牛逼的运维团队,牛逼的运维团队都有着神秘黑科技般敲代码的姿势;本人虽然不是一个运维工程师,但是有幸自己比较爱倒腾这些东西,也会那么一点点运维知识,虽然不算专业,但是还是可以在linux平台下敲一敲代码。去年由于自己业余时间搞了一个app项目,当时自己兼任后端开发,又同时兼任运维,经过多少个夜晚才把后端API网关 搭建起来,当时技术选型主要使用微服务架构,说到微服务架构,也就少不了分布式集群,那就更少不了Consul 。
今天搭建Consul 服务也是为了自己后面的学习和分享使用(之前在生产环境搭建过,本来可以直接拿来用,只是后面应用停掉了,服务器也就下掉了),故特意把前几天阿里云活动价买的服务器用起来,准备再次搭建Consul服务,以供后续方便拿来即用。
Consul
是HashiCorp公司推出的开源工具,Consul由Go语言开发,部署起来非常容易,只需要极少的可执行程序和配置文件,具有绿色、轻量级的特点。Consul
是分布式
的、高可用
的、 可横向扩展
的用于实现分布式系统的服务发现与配置。
Consul
提供了通过DNS或者HTTP接口的方式来注册服务和发现服务。一些外部的服务通过Consul很容易的找到它所依赖的服务。让我们把这幅图分解描述。首先,我们可以看到有两个数据中心,分别标记为“1”和“2”。Consul拥有对多个数据中心的一流支持,这是比较常见的情况。
在每个数据中心中,我们都有客户机和服务器。预计将有三到五台服务器。这在故障情况下的可用性和性能之间取得了平衡,因为随着添加更多的机器,一致性会逐渐变慢。但是,客户端的数量没有限制,可以很容易地扩展到数千或数万。
Consul 实现多个数据中心都依赖于gossip protocol协议。这样做有几个目的:首先,不需要使用服务器的地址来配置客户端;服务发现是自动完成的。其次,健康检查故障的工作不是放在服务器上,而是分布式的。这使得故障检测比单纯的心跳模式更具可伸缩性。为节点提供故障检测;如果无法访问代理,则节点可能经历了故障。
每个数据中心中的服务器都是一个筏对等集的一部分。这意味着它们一起工作来选举单个leader,一个被选中的服务器有额外的职责。领导负责处理所有的查询和事务。事务还必须作为协商一致协议的一部分复制到所有对等方。由于这个需求,当非leader服务器接收到RPC请求时,它会将其转发给集群leader。
Consul的应用场景包括服务发现、服务隔离、服务配置:
比如:docker实例的注册与配置共享、coreos实例的注册与配置共享、vitess集群、SaaS应用的配置共享、Consul与confd服务集成,动态生成nginx和haproxy配置文件或者Consul结合nginx构建高可用可扩展的Web服务。
我这里直接安装Consul 最新版本 1.7.2 官网地址:https://www.consul.io/
我这里进入我的用户目录 /home下面进行下载consul安装压缩包,命令如下:
wget https://releases.hashicorp.com/consul/1.7.2/consul_1.7.2_linux_amd64.zip
下载如下图:
下载完我们通过 ls -a 查看下目录,如下图:
unzip consul_1.7.2_linux_amd64.zip
我这里事先在usr目录中单独创建了service 文件,可以通过mkdir 命令来完成,不过不一定要安装在这个目录下面,我这里就选择安装在usr目录里
mv consul /usr/service
./consul
这是最关键的时候,安装就是为了启动
这里我整理了下启动的相关参数如下:
参数参考 可以访问 https://www.cnblogs.com/sunsky303/p/9209024.html 地址,我这里就简单的通过使用到的参数进行启动
-server 表示是server模式
-bootstrap-expect=3 表示是集群中有3台服务器 bootstrap该模式node可以指定自己作为leader ,如果是非leader可不加该参数
-data-dir=/tmp/consul 目录
-node=n2 该服务器节点名
-bind=127.0.0.1 节点绑定的ip
-ui 非必须 webui的路径 用web来管理consul
启动命令如下(默认是8500端口):
./consul agent -server -bootstrap-expect 1 -data-dir=/tmp/consul -node=n1 -bind=127.0.0.1 -client=0.0.0.0 -ui
启动后结果如下:
现在我再来访问Consul UI管理界面,如下图:
现在Consul 已经完整的启动成功了,启动成功是不是想要来试一试,我这里直接使用我之前写的一篇【.net core】电商平台升级之微服务架构应用实战(core-grpc) 文章中写的Demo 注册到Consul 中来,看看是否正常注册,如下图:
好了,正常的注册进来了,完美,现在已经搭建完成了
[Unit]
Description=consul-service
After=network.target
[Service]
Type=forking
PIDFile=/run/consul-service.pid
ExecStart=/usr/service/consul.start.sh
ExecReload=/bin/kill -SIGHUP $MAINPID
ExecStop=/bin/kill -SIGINT $MAINPID
[Install]
WantedBy=multi-user.target graphical.target
上面的ExecStart 是启动的脚本,我之前把consul 是安装在/user/service 下面,
我们再service 目录中创建Consul开机自启动的脚本文件consul.start.sh
#!/bin/bash
/usr/service/consul agent -server -bootstrap-expect 1 -node=127.0.0.1 -data-dir=/usr/service/data/ -log-file=/usr/service/log/consul_log-$(date +%Y-%m-%d--%H-%M) -bind=127.0.0.1
systemctl daemon-reload
systemctl enable consul.service
Consul 启动
systemctl start consul
Consul 停止
systemctl stop consul
上面创建开机自启动脚本实践的时候大家可能会发现 通过systemctl start consul 无法启动问题,这时候可以通过status 来查询状态,命令如下
systemctl status consul
查询创建的自启动脚本执行过程中出现code=exited, status=203/EXEC
异常错误信息,这个信息一般有如下几个原因造成:
根据上面三种情况去排查解决,基本上就可以完美解决自启动脚本无法启动问题
结束语:这里Consul 介绍及安装搭建已经完成,Consul也可以搭建集群,大家可以去尝试自己搭建,比较简单,后续我会陆续把使用到的各种工具服务搭建起来,以方便后续的文章实战分享和学习,不过大佬就可以直接跳过…
1.可以参考Consul的官方网站和其他网站上提供的信息。本文列举一些可用参考的资源如下:
2.Consul官方网站 https://www.consul.io/
3.Consul Github地址 https://github.com/hashicorp/consul
4.Consul-template Github地址 https://github.com/hashicorp/consul-template
5.Consul官方介绍 https://www.consul.io/intro/index.html
6.Consul 系统架构 https://www.consul.io/docs/internals/architecture.html
7.Consul与其他开源软件或解决方案的对比 https://www.consul.io/intro/vs/
8.Dubbo用户指南 http://dubbo.io/Home-zh.htm 通过此指南可以了解Dubbo是什么,能做什么
9.借助 Consul 和 Docker 支持即插即用的服务发现 (service discovery) http://www.ibm.com/developerworks/cn/cloud/library/cl-plug-and-play-service-discovery-with-consul-and-docker-bluemix/
10.使用Terraform与Consul自动化现代数据中心 http://www.infoq.com/cn/news/2015/05/hashimoto-modern-datacenter
11.基於swarm+consul+nginx達到HA和auto scaling的架構 http://genchilu-blog.logdown.com/posts/317095-based-on-swarm-and-consul-ha-and-dynamically-extensible-architectures
12.使用Docker、Registrator、Consul、Consul Template和Nginx实现高可扩展的Web框架 http://dockone.io/article/272
13.Consul多数据中心配置 https://www.consul.io/docs/guides/datacenters.html
欢迎微信扫码关注微信公众号【dotNET博士】