最全的项目部署+持续集成解决方案:Jenkins + git + docker

1、概述

1.1 什么是持续集成,持续交付

  • 持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干
  • 持续交付/持续部署(Continuous Delivery (CD) 、Continuous Deployment (CD))相当于更进一步的CI,可以在每次推送到仓库默认分支的同时将应用程序部署到生产环境。

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第1张图片
持续集成的组成要素

  • 一个自动构建过程, 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的, 无需人工干预。
  • 一个代码存储库,即需要版本控制软件来保障代码的可维护性,同时作为构建过程的素材库,一般使用SVN或Git。
  • 一个持续集成服务器, Jenkins 就是一个配置简单和使用方便的持续集成服务器。

3、Jenkins安装启动

3.1 Jenkins 介绍

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第2张图片
Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。官网: http://jenkins-ci.org/。
Jenkins的特征:

  • 开源的 Java语言开发持续集成工具,支持持续集成,持续部署。
  • 易于安装部署配置:可通过 yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
  • 消息通知及测试报告:集成 RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
  • 分布式构建:Jenkins支持能够让多台计算机一起构建/测试。
  • 文件识别: Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
  • 丰富的插件支持:支持扩展插件,可以开发适合自己团队使用的工具,如 git,svn,maven,docker等。

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第3张图片

  1. 首先,开发人员每天进行代码提交,提交到Git仓库
  2. 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
  3. 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。

3.2 Jenkins与gitlabCI/CD的区别

3.2.1 gitlabCI/CD介绍

gitlab-ci作为gitlab提供的一个持续集成的套件,完美和gitlab进行集成,gitlab-ci已经集成进gitlab服务器中,在使用的时候只需要安装配置gitlab-runner即可。gitlab-runner基本上提供了一个可以进行编译的环境,负责从gitlab中拉取代码,根据工程中配置的gitlab-ci.yml,执行相应的命令进行编译。

3.2.2 gitlabCI vs Jenkins

gitlab-runner配置简单,很容易与gitlab集成。当新建一个项目的时候,不需要配置webhook回调地址,也不需要同时在jenkins新建这个项目的编译配置,只需在工程中配置gitlab-ci.yml文件,就可以让这个工程可以进行编译。gitlab-runner没有web页面,但编译的过程直接就在gitlab中可以看到,不需要像jenkins进入web控制台查看编译过程。gitlab-runner仅仅是提供了一个编译的环境而已,全部的编译都通过shell脚本命令进行。当然,jenkins也可以是全部的编译都通过shell脚本命令进行。

jenkins的好处就是编译服务和代码仓库分离,而且编译配置文件不需要在工程中配置,如果团队有开发、测试、配置管理员、运维、实施等完整的人员配置,那就采用jenkins,这样职责分明。不仅仅如此,jenkins依靠它丰富的插件,可以配置很多gitlab-ci不存在的功能,比如说看编译状况统计等。如果团队是互联网类型,讲究的是敏捷开发,那么开发=devOps,肯定是采用最便捷的开发方式,推荐gitlab-ci。

如果有些敏感的配置文件不方便存放在工程中(例如nexus上传jar的账户和密码或者是其他配置的账户密码),都可以在服务器中配置即可。
gitlab-ci对于编译需要的环境,比如jdk,maven都需要自行配置。在jenkins中,对于编译需要的环境,比如jdk,maven都可以在Web控制台安装即可。当然,jenkins也是可以自行配置的(有时候通过控制台配置下载不下来)。

一句话总结就是gitlab-ci更简单易用,如果有gitlab-ci达不到的要求,可以考虑使用jenkins。

3.3 Jenkins环境搭建

3.3.1 Jenkins安装配置

  1. 采用YUM方式安装

加入jenkins安装源:

sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificate

sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key

执行yum命令安装

yum -y install jenkins
  1. 采用rpm安装包方式
wget https://pkg.jenkins.io/redhat-stable/jenkins-2.190.1-1.1.noarch.rpm

执行安装

rpm -ivh jenkins-2.190.1-1.1.noarch.rpm
  1. 配置

修改jenkins配置文件

vi /etc/sysconfig/jenkins

修改内容

# 修改为对应的目标用户, 这里使用的是root
$JENKINS_USER="root"
# 服务监听端口
JENKINS_PORT="16060"

修改目录权限

chown -R root:root /var/lib/jenkins
chown -R root:root /var/cache/jenkins
chown -R root:root /var/log/jenkins

重启Jenkins

systemctl restart jenkins

如果遇到启动失败, 出现如下错误信息

Starting Jenkins bash: /usr/bin/java: No such file or directory

这是由于Jenkins缺少java环境,可以通过ln指令建立一个软连接

ln -s /usr/local/jdk/bin/java /usr/bin/java

跑题插一下 ln指令介绍

1、命令格式
ln 参数 源文件或目录 目标文件或目录
2、命令功能
ln是linux中非常重要命令,它的功能是为某一个文件在另外一个位置建立一个同步的链接.当我们需要在不同的目录,用到相同的文件时,我们不需要在每一个需要的目录下都放一个必须相同的文件,我们只要在某个固定的目录,放上该文件,然后在 其它的目录下用ln命令链接(link)它就可以,不必重复的占用磁盘空间。
3、命令参数
-b 删除,覆盖以前建立的链接
-d 允许超级用户制作目录的硬链接
-f 强制执行
-i 交互模式,文件存在则提示用户是否覆盖
-n 把符号链接视为一般目录
-s 软链接(符号链接)
-v 显示详细的处理过程

或者通过

vi /etc/init.d/jenkins

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第4张图片
加上红色框选的jdk配置,然后

systemctl daemon-reload

重新加载一下配置即可。
设置好java环境之后,再重启Jenkins即可

  1. 管理后台初始化
    浏览器打开 http://IP:16060/
    弹出页面需要输入管理密码, 在以下位置查看:
cat /var/lib/jenkins/secrets/initialAdminPassword

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第5张图片
按默认设置,把建议的插件都安装上
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第6张图片
安装插件时,如果出现安装失败的情况,有几种情况,1、是网络不行,2、Jenkins版本过低,有些插件不支持,这时就需要卸载Jenkins重新安装新版的。
安装完成之后, 就可以创建管理员用户:
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第7张图片

配置访问地址:
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第8张图片
配置完成之后, 会进行重启, 之后可以看到管理后台:
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第9张图片

3.3.2 Jenkins插件安装

在实现持续集成之前, 需要确保以下插件安装成功。

  • Maven Integration plugin: Maven 集成管理插件。
  • Docker plugin: Docker集成插件。
  • GitLab Plugin: GitLab集成插件。
  • Publish Over SSH:远程文件发布插件。
  • SSH: 远程脚本执行插件。

安装方法:

  1. 进入【系统管理】-【插件管理】

  2. 点击标签页的【可选插件】
    在过滤框中搜索插件名称
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第10张图片
    勾选插件,点击安装即可
    注意:若是没有安装按钮,需要更改配置。在安装插件的高级配置中,修改升级站点的连接为:http://updates.jenkins.io/update-center.json 保存即可
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第11张图片

3.3.3 git安装配置

  1. yum 安装方式
yum -y install git
  1. 采用源码包方式安装
    安装依赖包
yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel
yum -y install gcc perl-ExtUtils-MakeMaker

如果之前有安装旧版本, 先做卸载, 没有安装则忽略

yum remove git

下载源码包

cd /usr/local
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gz
tar -xvf git-1.8.3.1.tar.gz

也可以安装其他版本, 下载地址:https://mirrors.edge.kernel.org/pub/software/scm/git/
编译安装:

cd git-1.8.3.1
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrc  # 将命令输出到bashrc文件中
source /etc/bashrc  # 按顺序执行bashrc中的命令
  1. 检查git版本
[root@localhost jenkins]# git version
git version 1.8.3.1

3.3.4 安装maven配置

  1. 下载安装包
下载地址: https://maven.apache.org/download.cgi
  1. 解压安装包
cd /usr/local
unzip -o apache-maven-3.6.1.zip 
  1. 上传本地仓库并解压

在这里插入图片描述pwd 指令可立刻得知目前所在的工作目录的绝对路径名称。

  1. 配置

配置环境变量

vi /etc/profile

添加配置内容

export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin

如果权限不够,则需要增加当前目录的权限

chmod 777 /usr/local/maven/apache-maven-3.6.1/bin/mvn

修改镜像仓库配置

vi /usr/local/maven/apache-maven-3.6.1/conf/settings.xml

配置内容

	<mirror>
     <id>alimaven</id>
     <mirrorOf>central</mirrorOf>
     <name>aliyun maven</name>
     <url>https://maven.aliyun.com/repository/central</url>
    </mirror>

修改本地仓库配置

  <localRepository>/path/to/local/repo</localRepository>

3.3.5 docker安装配置

  1. 更新软件包版本
yum -y update
  1. 卸载旧版本
yum -y remove docker  docker-common docker-selinux docker-engine
  1. 安装软件依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
  1. 设置yum源为阿里云
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  1. 安装docker及查看docker版本
yum install docker-ce -y

docker -v
  1. 设置开机启动
systemctl enable docker
  1. 启动docker
systemctl start docker

3.4 Jenkins工具配置

  1. 进入【系统管理】–> 【全局工具配置】
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第12张图片
  2. MAVEN配置设置
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第13张图片
    填写你的maven安装路径即可。
  3. JDK配置
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第14张图片
  4. 指定maven目录
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第15张图片
    填写你的maven安装目录。
  5. 指定docker目录
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第16张图片
    如果不清楚docker的安装的目录,可以使用whereis docker 命令查看docker的安装的目录。

以上就完成了Jenkins的环境搭建准备,可以尝试部署项目了。

4、项目部署

4.1 服务集成docker配置

目标:部署的每一个微服务都是先创建docker镜像后创建对应容器启动

方式一:本地微服务打包以后上传到服务器,编写Dockerfile文件完成。

方式二:使用dockerfile-maven-plugin插件,可以直接把微服务创建为镜像使用(更省事)
配置

插件的作用:

  1. pring-boot-maven-plugin
    将springboot应用打包为可执行的jar或者war包
  2. maven-compile-plugin
    用来编译项目代码
  3. dickerfile-maven-plugin
    使用该插件,必须提供dockerfile文件,而且要求放在与pom文件同级目录
    repositoty标签指定docker镜像仓库的名字
    buildArgs 标签可以指定一个或者多个变量,传递给Dockerfile,在dockerfile中通过ARG指令进行引用。
 <finalName>my-service</finalName>
 <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.7.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>dockerfile-maven-plugin</artifactId>
                <version>1.3.6</version>
                <configuration>
                    <repository>docker_storage/${project.artifactId}</repository>
                    <buildArgs>
                        <JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE>
                    </buildArgs>
                </configuration>
            </plugin>
        </plugins>

Dockerfile文件

# 设置JAVA版本
FROM java:8
# 指定存储卷, 任何向/tmp写入的信息都不会记录到容器存储层
VOLUME /tmp
# 拷贝运行JAR包
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
# 设置JVM运行参数, 这里限定下内存大小,减少开销
ENV JAVA_OPTS="\
-server \
-Xms256m \
-Xmx512m \
-XX:MetaspaceSize=256m \
-XX:MaxMetaspaceSize=512m"
# 空参数,方便创建容器时传参
ENV PARAMS=""
# 入口点, 执行JAVA运行命令
ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]

4.2 Jenkins基础依赖打包配置

在微服务运行之前需要在本地仓库中先去install所依赖的jar包,所以第一步应该是从git中拉取代码,并且把基础的依赖部分安装到仓库中。

  1. 以父工程的名称在Jenkins上创建一个构建软件项目
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第17张图片
  2. 找到自己指定的git仓库,credentials设置用户名和密码
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第18张图片
  3. 把基础依赖信息安装到集成服务器上的本地仓库
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第19张图片
  4. 执行构建,贴出部分构建日志
    拉取代码日志
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第20张图片
    构建成功日志
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第21张图片

4.3 Jenkins微服务打包配置

  1. 新建任务
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第22张图片
  2. 配置代码的giturl地址,设置用户名和密码,设置构建分支
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第23张图片
  3. 执行maven命令
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第24张图片
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第25张图片
    maven指令
clean install -Dmaven.test.skip=true  dockerfile:build -f 
***/***/pom.xml

命令拆解:
*** 代表要构建的模块名称
-Dmaven.test.skip=true 跳过测试

dockerfile:build 启动Dockerfile插件构建容器

-f ***/pom.xml 指定需要构建的文件(必须是pom)

  1. 执行shell脚本
    最全的项目部署+持续集成解决方案:Jenkins + git + docker_第26张图片
    shell命令内容
if [ -n  "$(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )" ]  
# 查看是否有正在运行的与即将要构建的服务一样名字的容器
 then
 #有的话,删除之前的容器
 docker rm -f $(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )
fi
 # 清理镜像
docker image prune -f 
 # 启动docker服务
docker run -d --net=host -e PARAMS="--spring.profiles.active=prod"  --name $JOB_NAME docker_storage/$JOB_NAME
  1. 开始执行,贴出执行日志

拉取代码最全的项目部署+持续集成解决方案:Jenkins + git + docker_第27张图片
编译打包,构建镜像
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第28张图片
清理容器,创建新的容器

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第29张图片

4.4 部署服务到远程服务器上

目标:使用jenkins(…100)把微服务打包部署到…260服务器上;过程示意图如下。
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第30张图片

4.4.1 安装配置docker镜像仓库

对于持续集成环境的配置,Jenkins会发布大量的微服务, 要与多台机器进行交互, 可以采用docker镜像的保存与导出功能结合SSH实现, 但这样交互繁琐,稳定性差, 而且不便管理, 这里我们通过搭建Docker的私有仓库来实现, 这个有点类似GIT仓库, 集中统一管理资源, 由客户端拉取或更新。
下面简单介绍docker官方提供的镜像仓库docker registry 的安装配置

4.4.1.1 下载最新Registry镜像
docker pull registry:latest
4.4.1.2 启动Registry容器
docker run -d -p 5000:5000 --name registry -v /usr/local/docker/registry:/var/lib/registry registry:latest

映射5000端口; -v是将Registry内的镜像数据卷与本地文件关联, 便于管理和维护Registry内的数据。

4.4.1.3 查看仓库资源

若是启动成功,访问地址:http://IP:5000/v2/_catalog;可以看到返回:

{"repositories":[]}

目前并没有上传镜像, 显示空数据;如果上传成功就可以看到数据。

4.4.1.4 配置Docker客户端

正常生产环境中使用, 要配置HTTPS服务, 确保安全,内部开发或测试集成的局域网环境,可以采用简便的方式, 不做安全控制。先确保持续集成环境的机器已安装好Docker客户端, 然后做以下修改:

vi /lib/systemd/system/docker.service

修改内容:

ExecStart=/usr/bin/dockerd --insecure-registry IP:5000

重启docker生效:

systemctl daemon-reolad
systemctl restart docker.service

4.4.2 Jenkins安装插件

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第31张图片

4.4.3 jenkins系统配置远程服务器链接

位置:Manage Jenkins–>Configure System
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第32张图片
需要添加凭证
位置:Manage Jenkins–>Manage CreDentials
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第33张图片
添加链接到远程服务器的用户名和密码:
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第34张图片
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第35张图片

4.4.4 Jenkins设置镜像仓库的参数

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第36张图片

4.4.5 构建执行Execute shell

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第37张图片
maven命令:

clean install -Dmaven.test.skip=true dockerfile:build -f ***/***/pom.xml

shell脚本,推送镜像至仓库

image_tag=$docker_registry/docker_storage/$JOB_NAME
echo '================docker镜像清理================'
if [ -n  "$(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )" ]
 then
 #删除之前的容器
 docker rm -f $(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )
fi
 # 清理镜像
docker image prune -f 

# 创建TAG
docker tag docker_storage/$JOB_NAME $image_tag
echo '================docker镜像推送================'
# 推送镜像
docker push $image_tag
# 删除TAG
docker rmi $image_tag
echo '================docker tag 清理 ================'

4.4.6 Jenkins配置在远程服务器上执行脚本

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第38张图片
shell脚本

echo '================拉取最新镜像================'
docker pull $docker_registry/docker_storage/$JOB_NAME

echo '================删除清理容器镜像================'
if [ -n  "$(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )" ]
 then
 #删除之前的容器
 docker rm -f $(docker ps -a -f  name=$JOB_NAME  --format '{{.ID}}' )
fi
 # 清理镜像
docker image prune -f 

echo '===============启动容器================'
docker run -d   --net=host -e PARAMS="--spring.profiles.active=prod" --name $JOB_NAME $docker_registry/docker_storage/$JOB_NAME

docker run创建Docker容器时,可以用 --net 选项指定容器的网络模式 :
host模式:使用 --net=host 指定。
none模式:使用 --net=none 指定。
bridge模式:使用 --net=bridge 指定,默认设置。
container模式:使用 --net=container:NAME_or_ID 指定
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第39张图片
docker -e的作用是指定容器内的环境变量。

4.4.7 登录远程服务器,查看是否有相关的镜像和容器和镜像

查看镜像

在这里插入图片描述
查看容器
在这里插入图片描述

5、自动触发构建配置

5.1 URL触发远程构建

触发远程构建,修改jenkins的配置,如下
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第40张图片
触发构建url: http://IP:16060/job/code/build?token=88888888

5.2 定时构建

定时构建( Build periodically)
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第41张图片
定时构建-定时表达式
定时字符串从左往右分别为: 分 时 日 月 周

最全的项目部署+持续集成解决方案:Jenkins + git + docker_第42张图片

  • 符号H 表示一个随机数
  • 符号* 取值范围的任意值

示例:

  • 每30分钟构建一次:H/30 * * * * 10:02 10:32
  • 每2个小时构建一次: H H/2 * * *
  • 每天的8点,12点,22点,一天构建3次: (多个时间点中间用逗号隔开) 0 8,12,22 * * *
  • 每天中午12点定时构建一次 H 12 * * *
  • 每天下午18点定时构建一次 H 18 * * *

5.3 轮询

轮询 SCM(Poll SCM)
轮询SCM,是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建。
最全的项目部署+持续集成解决方案:Jenkins + git + docker_第43张图片
Jenkins会定时扫描本地整个项目的代码,增大系统的开销,不建议使用。
以上就是git + Jenkins + docker 实现的持续集成,持续部署方案,欢迎点赞收藏。

你可能感兴趣的:(jenkins,ci,git,java,docker)