docker与jenkins的自动化CI/CD流水线实战（git）

docker与jenkins的自动化CI/CD流水线实战

在互联网时代，对于每一家公司，软件开发和发布的重要性不言而喻，目前已经形成一套标准的流程，最重要的组成部分就是持续集成（CI）及持续部署、交付（CD）。本文基于Jenkins+Docker+Git实现一套CI自动化发布流程。

高效的CI/CD环境可以获得：

• • 及时发现问题
• • 大幅度减少故障率
• • 加快迭代速度
• • 减少时间成本

一、发布流程设计

总结：开发===》提交代码到Git/Svn===>推送到Jenkins====>通过代码编译、构建镜像、推送===》Docker Registry（harbor）===>docker环境拉去仓库信息==》发布

工作流程：

1. 开发人员提交代码到Git版本仓库；
2. Jenkins人工/定时触发项目构建；
3. Jenkins拉取代码、代码编码、打包镜像、推送到镜像仓库；
4. Jenkins在Docker主机创建容器并发布。

环境规划如下：
角色 IP
Jenkins/Docker 192.168.1.24
Docker 192.168.1.23
Git/Registry 192.168.1.25

二、部署Git仓库

1、登录192.168.1.25
[root@docker harbor]# yum install git -y

2、创建Git用户并设置密码
[root@docker harbor]# useradd git
[root@docker harbor]# passwd git

3、创建仓库
[git@docker ~]$ mkdir java-demo.git
初始化:
[git@docker ~]$ cd java-demo.git/
[git@docker java-demo.git]$ git --bare init

4、登录jenkins 虚拟机-192.168.1.24
[root@docker ~]# git clone [email protected]:/home/git/java-demo.git

5、拉去代码（试验）：
[root@docker ~]# git clone https://github.com/lizhenliang/tomcat-java-demo.git

6、更改git提交的地址

7、再提交到git仓库
[root@docker tomcat-java-demo]# git add .
[root@docker tomcat-java-demo]# git commit -m 'java-demo'
运行以下2个命令：
git config --global user.email "[email protected]"
git config --global user.name "Your Name"

[root@docker tomcat-java-demo]# git push origin master
origin：是名字--在.git/config配置文件中
master：是主分支

8、再拉去代码：
[root@docker tomcat-java-demo]# cd ../java-demo/
[root@docker java-demo]# git pull

三、准备Jenkins环境

官网下载地址：https://jenkins.io/download/
如图点击下载最后一个Generic Java package(war)：

免密拉取代码（从docker (192.168.1.23那台机，因为是docker那台机发布的) 免密ssh 登录到git那台机）
[root@docker ~]# ssh-keygen

[root@docker ~]# ssh-copy-id [email protected]

因为需要docker(192.168.1.23)发布，是获取192.168.1.25（harbor）上的镜像，需要在192.168.1.23上修改配置，才能拉取
[root@docker java-demo]# vi /etc/docker/daemon.json

{"registry-mirrors": ["http://f1361db2.m.daocloud.io"],"insecure-registries":["192.168.1.25"]}

重启docker

验证：
[root@docker ~]# ssh [email protected]

准备java环境
[root@docker tools]# tar xf jdk-8u65-linux-x64.gz -C /usr/local/
[root@docker local]# mv jdk1.8.0_65/ jdk1.8
[root@docker local]# vi /etc/profile --新增如下
JAVA_HOME=/usr/local/jdk1.8
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

[root@docker local]# source /etc/profile
[root@docker local]# java -version

jenkins部署：
[root@docker tools]# wget http://mirrors.jenkins.io/war-stable/latest/jenkins.war
[root@docker tools]# tar xf apache-tomcat-8.5.32.tar.gz -C /usr/local/
[root@docker tools]# cd /usr/local/
[root@docker local]# mv apache-tomcat-8.5.32/ tomcat-jenkins

删除网站根目录
[root@docker tomcat-jenkins]# cd webapps/
[root@docker webapps]# ls
docs examples host-manager manager ROOT
[root@docker webapps]# rm -rf *

将jenkins解压到网站根目录，就是ROOT目录下
[root@docker webapps]# unzip /data/tools/jenkins.war -d ROOT

启动：
[root@docker webapps]# sh ../bin/startup.sh

访问：
http://192.168.1.24:8080/

安装插件：

将https更改为http

更改完成后再重启tomcat

安装插件：
Pipeline：

SSH Slaves插件：

安装Git插件：

安装SCM API 插件

安装Git Parameter 插件 --》为了构建时显示git 提交信息

插件下载失败：
http://updates.jenkins-ci.org/download/plugins/ 这里下载
然后再上传插件
https://blog.csdn.net/KingBoyWorld/article/details/77923615

jenkins 安装docker slave节点

master 只是调度，slave运行，这样matser压力就小很多

1、安装jdk环境 ---192.168.1.23

1.1 安装git
yum install git -y

2、新建节点

3、

4、添加192.168.1.23 root账号

5、添加java路径

6、保存
7、保存就启动了：

8、在192.168.1.23-docker上安装maven
[root@docker tools]# tar xf apache-maven-3.5.0-bin.tar.gz -C /usr/local/
[root@docker local]# mv apache-maven-3.5.0/ maven-3.5.0

创建任务

1、创建pipeline项目

2、Branch 这个变量是在pipeline中定义的

推荐使用git版本号信息：

3、编辑pipeline

只保留正在使用一个镜像

node ("192.168.1.23-docker") {   // 指定Slave标签
   // 拉取代码
   stage('Git Checkout') { 
        checkout([$class: 'GitSCM', branches: [[name: '$Branch']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[url: '[email protected]:/home/git/java-demo.git']]])
   }
   // 代码编译
   stage('Maven Build') {
        sh '''
        export JAVA_HOME=/usr/local/jdk1.8
        /usr/local/maven-3.5.0/bin/mvn clean package -Dmaven.test.skip=true
        '''
   }
   // 项目打包到镜像并推送到镜像仓库
   stage('Build and Push Image') {
        sh '''
        REPOSITORY=192.168.1.25/java/java-demo:${Branch}
        echo '
        FROM 192.168.1.25/library/tomcat:v8.5.32
        COPY target/*.war /usr/local/tomcat/webapps/ROOT.war
        ' > Dockerfile
        docker build -t $REPOSITORY .
        docker login -u jack -p 123Abc456 192.168.1.25
        docker push $REPOSITORY
        '''
   }
   // 部署到Docker主机
   stage('Deploy to Docker') {
        sh '''
        REPOSITORY=192.168.1.25/java/java-demo:${Branch}
        docker rm -f java-demo |true
        docker image rm $(docker images| grep "192.168.1.25/java/java-demo"| grep 'none'|awk '{print $3}')|true
        docker image rm $REPOSITORY |true
        docker login -u jack -p 123Abc456 192.168.1.25
        docker run -d --name java-demo -p 88:8080 $REPOSITORY
          new_image=`docker images |grep "192.168.1.25/java/java-demo"| head -n 1|awk '{print $3}'`
          for i in `docker images|grep "192.168.1.25/java/java-demo"|awk '{print $3}'`;do [ "$i" != "${new_image}" ] && docker image rm -f $i;done|true
        '''
   }
}

验证：
1、构建：

以下是git 版本号信息：

2、如果有报错就解决

3、访问：http://192.168.1.23:88/

pipeline 总结:
1、无论发布多少的版本，在docker的主机中只有一个镜像，与其对应的一个容器。
2、在harbor中有很多个版本

harbor删除镜像

参考文档：https://blog.csdn.net/kong2030/article/details/81331142?tdsourcetag=s_pcqq_aiomsg

Harbor私有仓库运行一段时间后，仓库中存有大量镜像，会占用太多的存储空间。直接通过Harbor界面删除相关镜像，并不会自动删除存储中的文件和镜像。需要停止Harbor服务，执行垃圾回收命令，进行存储空间清理和回收。

1、首先，删除Harbor的UI中的存储库。这是软删除。您可以删除整个存储库或仅删除它的标签。软删除后，Harbour中不再管理存储库，但是存储库的文件仍然保留在Harbour的存储中。

2、接下来，使用注册表的垃圾回收（GC）删除存储库的实际文件。在执行GC之前，确保没有人推送图像或Harbour根本没有运行。如果有人在GC运行时推送镜像，则存在镜像层被错误删除的风险，从而导致镜像损坏。所以在运行GC之前，首选的方法是先停止Harbour。

cd /usr/local/harbor
docker-compose stop

3、在部署Harbour的主机上运行以下命令以预览会影响哪些文件/镜像
注：上述选项”–dry-run”将打印进度而不删除任何数据。
docker run -it --name gc --rm --volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0 garbage-collect --dry-run /etc/registry/config.yml

4、使用以下命令执行垃圾回收并重新启动Harbour。
docker run -it --name gc --rm --volumes-from registry vmware/registry-photon:v2.6.2-v1.5.0 garbage-collect /etc/registry/config.yml

5、docker-compose start

6、最后验证：
a：du -sh /data/registry/docker/registry/v2/blobs&repositories和之前该目录文件大小做对比
b：重新上传之前删除的镜像，如没成功删除会报镜像已存在，能成功上传则一切ok，恭喜