在云端搭建自己的代码仓库，本地Push代码，持续集成后自动发布。新版的Gitlab很好地支持这个需求，虽然只是自己使用，但目标还是利用三台云主机搭建一个高可用模式的Gitlab服务。
本文首先实现用Swarm管理集群，部署单主机模式的Gitlab。云主机是收集学生优惠卷1元买来的，单核，1G内存。一开始运行起gitlab，整个系统卡顿了，显然的资源不足。到官网上查看gitlab安装需求才知道现在的资源状况只能实现最不值得推荐的配置：
1 core supports up to 100 users but the application can be a bit slower due to having all workers and background jobs running on the same core
1GB RAM + 3GB of swap is the absolute minimum but we strongly advise against this amount of memory. See the unicorn worker section below for more advice.
查看主机交换区大小发现默认交换区大小为0，因此需要手动增加交换区大小。
增加交换区
生成4G大小的文件在/home目录下文件为swapflie：
$ sudo dd if=/dev/zero of=/home/swapflie bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 36.7799 s, 117 MB/s
把这个文件转换成swap分区
$ sudo /sbin/mkswap /home/swapflie
使分区生效
$ sudo /sbin/swapon /home/swapfile
查看分区是否分配成功,(省略了其他指标参数)
$ free -h
total used free
Swap: 4.0G 0B 4.0G
搭建Gitlab
准备Swarm集群
在资源有限的情况下管理容器集群，Swarm是一个比较好的选择，相比于之前生产环境用的Kubernetes，Swarm操作简单，资源开销小，适合内部环境使用。
如果已经安装了最新版本的docker（目前是1.12.5），docker engine 已经集成了swarm。
可以用下面的命令安装最新发布版本的docker，安装完需要将当前用户加入docker用户组，并重新登录生效。
curl -fsSL https://get.docker.com/ | sh
阅读官方文档，理想情况下用Swarm配合Docker Compose以及Docker Machine可以很方便地构建docker集群。但Docker Machine创建docker环境相当于在云主机上创建另外的虚拟机（如virtual box，默认单核，1G内存）,所以只能手动在云主机上安装相同docker环境，而不使用 Docker Machine。
另外Docker Compose配合Swarm，文档中有比较详细的使用方法，一开始根据这个文档部署环境，结果遇到很多坑，查错的过程中才知道目前这种模式仍在试验阶段，需要安装试验版本（docker 1.13）或者启动试验模式。使用Docker Compose + Swarm模式的方式需要其他方法，一种方式是将docker-compose.yml文件转换成swarm服务的启动方式，有个临时的实现方法，可以试用。
这里没有使用上面的方法，而是全部用命令行方式构建Swarm集群：
初始化集群
Swarm的思想主要是将多台主机抽象成一台manager服务器，通过Swarm来启动docker容器（service）,像直接运行容器一样，不同的是容器会被负载均衡到不同主机。而对于容器的管理则可只在manager机器上进行。Swarm的架构如图：
这里首先实现两台主机的service部署，managers上运行Swarm集群可视化工具，slave主机上运行gitlab.
登录manager主机,初始化Swarm manage
docker swarm init --advertise-addr 192.168.10.11
命令返回slave节点加入集群的命令，如：
To add a worker to this swarm, run the following command:
docker swarm join \
--token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
192.168.10.11:2377
该信息在集群创建成功后也可以在manage主机通过下面命令获得。
docker swarm join-token worker
登录到slave主机，加入集群
通过manage返回的token信息，加入集群
docker swarm join \
--token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
192.168.10.11:2377
注意我这里的两个主机都是云主机，而且两台主机不在同一个局域网网段，因此需要将manage的内网地址192.168.10.11换成对应的公网IP，才能成功注册。如果两台主机在同一局域网，则可直接添加到集群。
给slave主机添加标签，使manage可以通过标签限定具体slave node，后面可以看到：
docker node update --add-lable type=gitlab-node1
这里给slave机器添加type=gitlab-node1的标签。
启动Swarm可视化服务
返回到manage主机，通过docker node ls命令查看集群节点状态，一切正常后，启动Swarm可视化服务。官方并没有提供可视化服务，在这里(docker-swarm-visualizer)有一个很好的开源实现,可以直接使用该镜像构建服务。
$ docker service create --name=swarm_visual --publish=5001:8080/tcp --constraint=node.role==manager --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock manomarks/visualizer
服务启动通过 --constraint=node.role==manager 限定该服务在manage主机运行。并通过将web端口映射到云主机的5001端口。可以通过(公网IP:5001)的方式访问。
创建gitlab数据vloumes
为了方便容器数据的共享，以及后面数据的迁移，选择创建volumes来在本地持久化gitlab容器数据，而不是映射到本地路径。
登录到slave主机，为gitlab创建volumes，volumes的使用可以从后面看到：
$ docker volume create --name gitlab_config
$ docker volume create --name gitlab_logs
$ docker volume create --name gitlab_data
这里创建了三个volumes,分别存储gitlab的配置文件、日志和用户数据。
启动Gitlab服务
在manage主机上可以直接启动gitlab服务，并限定服务在slave主机运行。系统自动会到gitlub上pull相应镜像，并在本地运行。
sudo docker service create \
--name swarm_gitlab\
--publish 5002:443 --publish 5003:80 --publish 5004:22 \
--replicas 1 \
--mount type=volume,source=gitlab_config,destination=/etc/gitlab \
--mount type=volume,source=gitlab_logs,destination=/var/log/gitlab \
--mount type=volume,source=gitlab_data,destination=/var/opt/gitlab \
--constraint 'node.labels.type == gitlab-node1' \
gitlab/gitlab-ce:latest
命令中指定服务名为swarm_gitlab，以及http服务（443，80）和ssh服务（22）端口，分别映射到宿主机；指定备份服务数为1，映射本地路径到容器相应路径，这里使用volums的方式；限定在标签type= gitlab-node1的主机上启动服务。
测试
登录到manage主机，查看节点查看服务状态：
$ docker service ls
ID NAME REPLICAS IMAGE COMMAND
79c0rvct38j1 swarm_visual 1/1 manomarks/visualizer
dbygi9gx1318 swarm_gitlab 1/1 gitlab/gitlab-ce:latest
$ docker service ps swarm_gitlab
ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR
3haqups6rzf8ugobqzyescl21 swarm_gitlab.1 gitlab/gitlab-ce:latest VM** Running Running 9 hours ago
访问manage主机的5001端口，可以看到Swarm集群的状态：
通过docker node的相关命令同样也可以查看集群节点信息。
访问slave主机的5003端口，看到熟悉的Gitlab登录界面，创建初试用户和密码，创建用户组，和测试Project：
小结
本文主要实现在有限云主机资源下搭建gitlab服务，这里并没有涉及gitlab的具体配置。这里只是简单构建一个可用的服务，后面再去看gitlab的管理方法，以及服务的稳定性和数据的备份与恢复。此外，第一次使用Swarm，由于资源限制，并没有采用最佳的方式来部署服务。
原创文章，转载请注明出处，点击到我的博客。
更多关注公众号：
