持续集成与持续交付——jenkins + gitlab + docker + harbor

主机设定：
server1 172.25.254.51 gitlab主机
server2 172.25.254.52 jenkins+docker主机
server3 172.25.254.53 harbor仓库主机 docker
server7 172.25.254.57 docker主机
server8 172.25.254.58 远程ssh主机

一、jenkins调用本机docker

1、配置jenkins + gitlab自动触发更新

• 在jenkins安装gitlab插件：
  
  

• jenkins项目demo配置
  
  
  

• gitlab配置

默认情况下gitlab不允许在本地调用，因此我们需要设置本地调用：

• 再针对项目进行设置：
  
  

2、在server3上部署harbor仓库

安装部署方法见文章：持续集成与持续交付——Harbor私有仓库的安装部署，这里不再赘述。

3、在jenkins上安装docker的插件并连接harbor

• 添加插件
  
• 添加认证：
  
• 构建
  

4、在server2上安装daocker和git

修改docker.sock的权限（jenkins使用的是普通用户jenkins的身份，因此需要添加权限）：

[root@server2 ~]# chmod 777 /run/docker.sock

同时确保server2可以连接上server3部署的harbor仓库（证书，解析，daemon，json都需要做）

5、测试

• 在git仓库主机server1创建Dockerfile：

vim Dockerfile
##写入
FROM nginx
EXPOSE  80
COPY index.html /usr/share/nginx/html

git add Dockerfile
git commit -m "add dockerfile"
git push -u origin master

• 这个改变会触发jenkins的更新：
  
• 修改index.html文件并上传：
  
  可以看到gitlab上的内容改变了
  
  jenkins更新了
  
  harbor添加了新的镜像
  

6、整体流程

用户通过git将代码提交到gitlab，gitlab通过其配置的webhook方式触发jenkins，jenkins调用docker build 插件通过dockerfile创建镜像然后推送到harbor仓库上，之后触发jenkins 里的项目docker执行docker run命令，创建容器。

二、Jenkins调用远程docker主机

1、准备虚拟机 server7，并安装docker

开启docker后默认不会打开对外的接口，我们需要打开这个端口，打开时我们需要进行tls加密

• 生成key和ca证书：

[root@server7 ~]# openssl genrsa -aes256 -out ca-key.pem 4096
[root@server7 ~]# openssl req -new -x509 -days 365 -key ca-key.pem -sha256 -out ca.pem

• 生成server-key和csr文件（server7为dcker主机名）：

[root@server7 ~]# openssl genrsa -out server-key.pem 4096
[root@server7 ~]# openssl req -subj "/CN=server7" -sha256 -new -key server-key.pem -out server.csr
##可以使用ip地址方式进行tls连接：
[root@server7 ~]# openssl req -subj "/CN=server7" -sha256 -new -key server-key.pem -out server.csr
[root@server7 ~]# echo subjectAltName = DNS:server7,IP:172.25.254.57,IP:127.0.0.1 >> extfile.cnf
[root@server7 ~]# echo extendedKeyUsage = serverAuth >> extfile.cnf
[root@server7 ~]# openssl x509 -req -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem   -CAcreateserial -out server-cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=server7
Getting CA Private Key
Enter pass phrase for ca-key.pem:			#输入刚才的密码

• 安装docker证书：

[root@server7 ~]# cp ca.pem server-cert.pem server-key.pem /etc/docker/
[root@server7 ~]# cp /usr/lib/systemd/system/docker.service /etc/systemd/system/
[root@server7 ~]# vim /etc/systemd/system/docker.service 
##修改
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --tlsverify --tlscacert=/etc/docker/ca.pem --tlscert=/etc/docker/server-cert.pem --tlskey=/etc/docker/server-key.pem -H tcp://0.0.0.0:2376

可以看到2376端口已经打开，远程主机的docker可以使用了。

2、进行jenkins的配置

对项目demo进行配置：
修改为远程主机的ip及端口

其中server credentials中添加的信息需要客户端的认证：

[root@server7 ~]# openssl genrsa -out key.pem 4096
[root@server7 ~]# openssl req -subj '/CN=client' -new -key key.pem -out client.csr
[root@server7 ~]# echo extendedKeyUsage = clientAuth >> extfile.cnf
[root@server7 ~]# openssl x509 -req -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem   -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
Getting CA Private Key
Enter pass phrase for ca-key.pem:			#输入刚才的密码

此时就生成了客户端的证书（cert.pem）和key（key.pem）

• 在网页端修改：
  分别粘贴对应的文件内容
  
  
• 对server7做解析和复制证书
  
  在docker重启后将/var/run/docker.sock的权限设置为777

3、测试

修改index.html 会进行一系列触发

三、使用ssh插件远程控制主机

我们之前在docker项目中都是在docker主机的本地启动容器，现在我们尝试使用ssh的方式远程控制主机使用shell启动容器。

1、将server8设置为远程ssh主机，并在上面安装docker

• 安装ssh插件：
  

2、进行jenkins系统配置

• 构建触发器
  
• 构建
  
  可以看到jenkins有控制台输出，且server8可以被访问，说明在server8上成功部署了nginx
  
  

3、测试

修改index.html文件，会触发一系列的改变：

gitlab更新

jenkins控制台输出

harbor构建新镜像

server8上发布页面改变