Jenkins持续集成入门到精通

Jenkins持续集成入门到精通

文章目录

    • Jenkins持续集成入门到精通
      • 1. 持续集成及Jenkins介绍
        • 1.1 软件开发生命周期
        • 1.2 软件开发瀑布模型
        • 1.3 软件的敏捷开发
          • 1.3.1 什么是敏捷开发
          • 1.3.2 敏捷开发如何迭代
          • 1.3.3 敏捷开发有什么好处
        • 1.4 什么是持续集成
        • 1.5 持续集成的组成要素
        • 1.6 持续集成的好处
        • 1.7 Jenkins介绍
          • 1.7.1 Jenkins的特征
      • 2. Jenkins安装和持续集成环境配置
        • 2.1 持续集成流程说明
        • 2.2 Gitlab代码托管服务器安装
          • 2.2.1 Gitlab简介
          • 2.2.2 Gitlab安装
          • 2.2.3 Gitlab添加组、创建用户、创建项目
        • 2.3 源码上传到Gitlab仓库
        • 2.4 持续集成环境(1)-Jenkins安装
        • 2.5 持续集成环境(2)-Jenkins插件管理
          • 2.5.1 修改Jenkins插件下载地址
          • 2.5.2 下载中文汉化插件
        • 2.6 持续集成环境(3)-Jenkins用户权限管理
          • 2.6.1 安装Role-based Authorization Strategy插件
          • 2.6.2 创建角色
          • 2.6.3 创建用户
          • 2.6.4 给用户分配角色
        • 2.7 持续集成环境(4)-Jenkins凭证管理
          • 2.7.1 安装Credentials Binding插件
          • 2.7.2 安装Git插件和Git工具
        • 2.8 持续集成环境(5)-Maven安装和配置
          • 2.8.1 安装Maven
          • 2.8.2 配置环境变量
          • 2.8.3 全局工具配置关联JDK和Maven
          • 2.8.4 添加Jenkins全局变量
          • 2.8.5 修改Maven的settings.xml
          • 2.8.6 测试Maven是否配置成功
        • 2.9 持续集成环境(6)-Tomcat安装和配置
          • 2.9.1 安装Tomcat8.5
          • 2.9.2 配置Tomcat用户角色权限
          • 2.9.3 重启Tomcat,访问测试
      • 3. Jenkins构建Maven项目
        • 3.1 Jenkins项目构建类型(1)-Jenkins构建的项目类型介绍
        • 3.2 Jenkins项目构建类型(2)-自由风格项目构建
          • 3.2.1 拉取代码
          • 3.2.2 编译打包
          • 3.2.3 部署
          • 3.2.4 演示改动代码后的持续集成
        • 3.3 Jenkins项目构建类型(3)-Maven项目构建
        • 3.4 Jenkins项目构建类型(4)-Pipeline流水线项目构建(*)
          • 3.4.1 Pipeline简介
          • 3.4.2 安装Pipeline插件
          • 3.4.3 Pipeline语法快速入门
          • 3.4.4 拉取代码
          • 3.4.5 编译打包
          • 3.4.6 部署
          • 3.4.7 Pipeline Script from SCM
        • 3.5 Jenkins项目构建细节(1)-常用的构建触发器
          • 3.5.1 触发远程构建
          • 3.5.2 其他工程构建后触发
          • 3.5.3 定时构建
          • 3.5.4 轮询SCM
        • 3.6 Jenkins项目构建细节(2)-Git hook自动触发构建(*)
          • 3.6.1 安装Gitlab Hook插件
          • 3.6.2 Jenkins设置自动构建
          • 3.6.3 Gitlab配置webhook
        • 3.7 Jenkins项目构建细节(3)-Jenkins的参数化构建
          • 3.7.1 项目创建分支,并推送到Gitlab上
          • 3.7.2 在Jenkins添加字符串类型参数
          • 3.7.3 改动pipeline流水线代码
          • 3.7.4 点击Build with Parameters
        • 3.8 Jenkins项目构建细节(4)-配置邮箱服务器发送构建结果
          • 3.8.1 安装Email Extension插件
          • 3.8.2 Jenkins设置邮箱相关参数
          • 3.8.3 准备邮件内容
          • 3.8.4 编写Jenkinsfile添加构建后发送邮件
          • 3.8.5 测试
        • 3.9 Jenkins+SonarQube代码审查(1) - 安装SonarQube
          • 3.9.1 SonaQube简介
          • 3.9.2 环境要求
          • 3.9.3 安装SonarQube
        • 3.10 Jenkins+SonarQube代码审查(2) - 实现代码审查
          • 3.10.1 安装SonarQube Scanner插件
          • 3.10.2 添加SonarQube凭证
          • 3.10.3 Jenkins进行SonarQube配置
          • 3.10.4 SonaQube关闭审查结果上传到SCM功能
          • 3.10.5 在项目添加SonaQube代码审查(非流水线项目)
          • 3.10.6 在项目添加SonaQube代码审查(流水线项目)
      • 4. Jenkins+Docker+SpringCloud微服务持续集成(上)
        • 4.1 Jenkins+Docker+SpringCloud持续集成流程说明
          • 4.1.1 服务列表(红色的软件为需要安装的软件,黑色代表已经安装)
        • 4.2 SpringCloud微服务源码概述
        • 4.3 本地部署(1)-SpringCloud微服务部署
          • 4.3.1 本地运行微服务
          • 4.3.2 本地部署微服务
        • 4.4 本地部署(2)-前端静态web网站
        • 4.5 环境准备(1)-Docker快速入门
          • 4.5.1 Docker简介
          • 4.5.2 Docker安装
          • 4.5.3 Docker基本命令快速入门
        • 4.6 环境准备(2)-Dockerfile镜像脚本快速入门
          • 4.6.1 Dockerfile简介
          • 4.6.2 Dockerfile常见命令
          • 4.6.3 使用Dockerfile制作微服务镜像
        • 4.7 环境准备(3)-Harbor镜像仓库安装及使用
          • 4.7.1 Harbor简介
          • 4.7.2 Harbor安装
          • 4.7.3 在Harbor创建用户和项目
          • 4.7.4 把镜像上传到Harbor
          • 4.7.5 从Harbor下载镜像
        • 4.8 微服务持续集成(1)-项目代码上传到Gitlab
        • 4.9 微服务持续集成(2)-从Gitlab拉取项目源码
          • 4.9.1 创建Jenkinsfile文件
          • 4.9.2 拉取Jenkinsfile文件
        • 4.10 微服务持续集成(3)-提交到SonarQube代码审查
          • 4.10.1 创建项目,并设置参数
          • 4.10.2 每个项目的根目录下添加sonar-project.properties
          • 4.10.3 修改Jenkinsfile构建脚本
        • 4.11 微服务持续集成(4)-使用Dockerfile编译、生成镜像
          • 4.11.1 在每个微服务项目的pom.xml加入dockerfile-maven-plugin插件
          • 4.11.2 在每个微服务项目根目录下建立Dockerfile文件
          • 4.11.3 修改Jenkinsfile构建脚本
        • 4.12 微服务持续集成(5)-上传到Harbor镜像仓库
          • 4.12.1 修改Jenkinsfile构建脚本
          • 4.12.2 使用凭证管理Harbor私服账户和密码
        • 4.13 微服务持续集成(6)-拉取镜像和发布应用
          • 4.13.1 安装 Publish Over SSH 插件
          • 4.13.2 配置远程部署服务器
          • 4.13.3 修改Jenkinsfile构建脚本
          • 4.13.4 编写deploy.sh部署脚本
          • 4.13.5 导入数据,测试微服务
        • 4.14 微服务持续集成(7)-部署前端静态web网站
          • 4.14.1 安装Nginx服务器
          • 4.14.2 安装NodeJS插件
          • 4.14.3 Jenkins配置Nginx服务器
          • 4.14.4 创建前端流水线项目
          • 4.14.5 建立Jenkinsfile构建脚本
      • 5. Jenkins+Docker+SpringCloud微服务持续集成(下)
        • 5.1 Jenkins+Docker+SpringCloud部署方案优化
        • 5.2 Jenkins+Docker+SpringCloud集群部署流程说明
        • 5.3 修改所有微服务配置
          • 5.3.1 注册中心配置
          • 5.3.2 其他微服务配置
        • 5.4 设计Jenkins集群项目的构建参数
          • 5.4.1 安装Extended Choice Parameter插件
          • 5.4.2 创建流水线项目
          • 5.4.3 添加参数
        • 5.5 完成微服务构建镜像,上传私服
        • 5.6 完成微服务多服务器远程发布
          • 5.6.1 配置远程部署服务
          • 5.6.2 修改Docker配置信任Harbor私服地址
          • 5.6.3 添加参数
          • 5.6.4 修改Jenkinsfile构建脚本
          • 5.6.5 编写deployCluster.sh部署脚本
          • 5.6.6 集群效果
        • 5.7 Nginx+Zuul集群实现高可用网关
      • 6. 基于Kubernetes/K8S构建Jenkins持续集成平台(上)
        • 6.1 Jenkins的Master-Slave分布式构建
          • 6.1.1 什么是Master-Slave分布式构建
          • 6.1.2 如何实现Master-Slave分布式构建
        • 6.2 Kubernetes实现Master-Slave分布式构建方案
          • 6.2.1 传统Jenkins的Master-Slave方案的缺陷
          • 6.2.2 Kubernates简介
          • 6.2.3 Kubernates+Docker+Jenkins持续集成架构图
          • 6.2.4 Kubernates+Docker+Jenkins持续集成方案好处
        • 6.3 Kubeadm安装Kubernetes
          • 6.3.1 Kubernetes的架构
          • 6.3.2 安装环境说明
          • 6.3.3 三台机器都需要完成
          • 6.3.4 Master节点需要完成
          • 6.3.5 Slave节点需要完成
          • 6.3.6 kubectl常用命令
      • 7. 基于Kubernetes/K8S构建Jenkins持续集成平台(下)
        • 7.1 安装和配置NFS
          • 7.1.1 NFS简介
          • 7.1.2 NFS安装
        • 7.2 在Kubernetes安装Jenkins-Master
          • 7.2.1 创建NFS client provisioner
          • 7.2.2 安装Jenkins-Master
        • 7.3 Jenkins与Kubernetes整合
          • 7.3.1 安装Kubernetes插件
          • 7.3.2 实现Jenkins与Kubernetes整合
        • 7.4 构建Jenkins-Slave自定义镜像
        • 7.5 测试Jenkins-Slave是否可以创建
        • 7.6 Jenkins+Kubernetes+Docker完成微服务持续集成
          • 7.6.1 拉取代码,构建镜像
          • 7.6.2 微服务部署到K8S

1、持续集成及Jenkins介绍

2、Jenkins安装和持续集成环境配置

3、Jenkins构建Maven项目

4、Jenkins+Docker+SpringCloud微服务持续集成

5、基于Kubernetes/K8S构建Jenkins微服务持续集成平台


1.6之前理论部分从略

1. 持续集成及Jenkins介绍

1.1 软件开发生命周期

1.2 软件开发瀑布模型

1.3 软件的敏捷开发

1.3.1 什么是敏捷开发
1.3.2 敏捷开发如何迭代
1.3.3 敏捷开发有什么好处

1.4 什么是持续集成

1.5 持续集成的组成要素

1.6 持续集成的好处

1.7 Jenkins介绍

Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动 化构建、测试和部署等功能。官网: http://jenkins-ci.org/。

1.7.1 Jenkins的特征
  • 开源的Java语言开发持续集成工具,支持持续集成,持续部署。
  • 易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署,可方便web界面配置管理。
  • 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知,生成JUnit/TestNG测试报告。
  • 分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
  • 文件识别:Jenkins能够跟踪哪次构建生成哪些jar,哪次构建使用哪个版本的jar等。
  • 丰富的插件支持:支持扩展插件,你可以开发适合自己团队使用的工具,如git,svn,maven, docker等。

2. Jenkins安装和持续集成环境配置

2.1 持续集成流程说明

  1. 首先,开发人员每天进行代码提交,提交到Git仓库
  2. 然后,Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK,Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都重新再执行一次整个流程。
  3. 最后,Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用

服务器列表

本课程虚拟机统一采用CentOS7。

名称 ip地址 安装的软件
代码托管服务器 192.168.139.139 Gitlab-v14.7.0
持续集成服务器 192.168.139.140 Jenkins 2.341,JDK1.8,Maven3.6.3,Git
应用测试服务器 192.168.139.141 JDK1.8,tomcat8.5

2.2 Gitlab代码托管服务器安装

2.2.1 Gitlab简介
2.2.2 Gitlab安装
  1. 安装相关依赖

    yum -y install policycoreutils openssh-server openssh-clients postfix
    
  2. 启动ssh服务&设置为开机启动

    systemctl enable sshd && sudo systemctl start sshd
    
  3. 设置postfix开机自启,并启动,postfix支持gitlab发信功能

    systemctl enable postfix && systemctl start postfix
    
  4. 开放ssh以及http服务,然后重新加载防火墙列表

    firewall-cmd --add-service=ssh --permanent
    firewall-cmd --add-service=http --permanent
    firewall-cmd --reload
    

    如果关闭防火墙就不需要做以上配置

  5. 下载gitlab包,并且安装
    在线下载安装包:

    wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-14.7.0-ce.0.el7.x86_64.rpm
    

    安装:

    sudo rpm -i gitlab-ce-14.7.0-ce.0.el7.x86_64.rpm
    
  6. 修改gitlab配置

    vi /etc/gitlab/gitlab.rb
    

    修改gitlab访问地址和端口,默认为80,我们改为82

    external_url 'http://192.168.66.100:82' 
    nginx['listen_port'] = 82
    
  7. 重载配置及启动gitlab

    gitlab-ctl reconfigure
    gitlab-ctl restart
    
  8. 把端口添加到防火墙

    firewall-cmd --zone=public --add-port=82/tcp --permanent
    firewall-cmd --reload
    

    启动成功后,看到以下修改管理员root密码的页面,修改密码后,然后登录即可.

2.2.3 Gitlab添加组、创建用户、创建项目

2.3 源码上传到Gitlab仓库

2.4 持续集成环境(1)-Jenkins安装

  1. 安装JDK

    Jenkins需要依赖JDK,所以先安装JDK1.8

    yum install java-1.8.0-openjdk* -y
    

    安装目录为:/usr/lib/jvm

  2. 获取jenkins安装包

    下载页面:https://jenkins.io/zh/download/

    wget http://mirrors.jenkins-ci.org/redhat/jenkins-2.341-1.1.noarch.rpm
    
  3. 安装文件:jenkins-2.341-1.1.noarch.rpm

    sudo rpm -ivh jenkins-2.341-1.1.noarch.rpm
    
  4. 修改Jenkins配置

    vi /etc/syscofig/jenkins
    

    修改内容如下:

    JENKINS_USER=“root”

    JENKINS_PORT=“8888”

  5. 启动Jenkins

    systemctl start jenkins
    
  6. 打开浏览器访问 http://192.168.139.140:8888

    注意:本服务器把防火墙关闭了,如果开启防火墙,需要在防火墙添加端口

  7. 获取并输入admin账户密码

    cat /var/lib/jenkins/secrets/initialAdminPassword
    
  8. 跳过插件安装

    因为Jenkins插件需要连接默认官网下载,速度非常慢,而且经过会失败,所以我们暂时先跳过插件安装

  9. 添加一个管理员账户,并进入Jenkins后台

2.5 持续集成环境(2)-Jenkins插件管理

Jenkins本身不提供很多功能,我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码,使用 Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。

2.5.1 修改Jenkins插件下载地址

Jenkins国外官方插件地址下载速度非常慢,所以可以修改为国内插件地址:

Jenkins->Manage Jenkins->Manage Plugins,点击Available

这样做是为了把Jenkins官方的插件列表下载到本地,接着修改地址文件,替换为国内插件地址

cd /var/lib/jenkins/updates
sed -i 's/http:\/\/updates.jenkinsci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i
's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json

最后,Manage Plugins点击Advanced,把Update Site改为国内插件下载地址

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

Sumbit后,在浏览器输入: http://192.168.66.101:8888/restart ,重启Jenkins。

2.5.2 下载中文汉化插件

Jenkins->Manage Jenkins->Manage Plugins,点击Available,搜索"Chinese"

重启Jenkins后,就看到Jenkins汉化了!(PS:但可能部分菜单汉化会失败)

2.6 持续集成环境(3)-Jenkins用户权限管理

我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限。

2.6.1 安装Role-based Authorization Strategy插件

开启权限全局安全配置,授权策略切换为"Role-Based Strategy",保存。

2.6.2 创建角色

在系统管理页面进入 Manage and Assign Roles

2.6.3 创建用户
2.6.4 给用户分配角色

创建项目测试权限

2.7 持续集成环境(4)-Jenkins凭证管理

凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便 Jenkins可以和这些第三方的应用进行交互。

2.7.1 安装Credentials Binding插件

要在Jenkins使用凭证管理功能,需要安装Credentials Binding插件

安装插件后,可以管理凭据

  • 可以添加的凭证有5种:

常用的凭证类型有:Username with password(用户密码)和SSH Username with private key(SSH 密钥).

接下来以使用Git工具到Gitlab拉取项目源码为例,演示Jenkins的如何管理Gitlab的凭证。

2.7.2 安装Git插件和Git工具

为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOS7上安装Git工具。

  • Git插件安装:

  • CentOS7上安装Git工具:

    yum install git -y
    git --version 
    

    用户密码类型

    1. Jenkins->凭证->系统->全局凭证->添加凭证

      选择"Username with password",输入Gitlab的用户名和密码,点击"确定"。

    2. 测试凭证是否可用

      • 创建一个FreeStyle项目:新建Item->FreeStyle Project->确定

      • 找到"源码管理"->“Git”,在Repository URL复制Gitlab中的项目URL

      • 保存配置后,点击构建”Build Now“ 开始构建项目

      • 查看/var/lib/jenkins/workspace/目录,发现已经从Gitlab成功拉取了代码到Jenkins中。

    SSH密钥类型

    1. SSH免密登录示意

      image-20220407173153571

      • 使用root用户生成公钥和私钥

        ssh-keygen -t rsa
        

        在/root/.ssh/目录保存了公钥和私钥

      • 把生成的公钥放在Gitlab中

        1. 以root账户登录->点击头像->Settings->SSH Keys

        2. 复制刚才id_rsa.pub文件的内容到这里,点击"Add Key"

      • 在Jenkins中添加凭证,配置私钥

        在Jenkins添加一个新的凭证,类型为"SSH Username with private key",把刚才生成私有文件内容复制过来

      • 测试凭证是否可用

        新建"test02"项目->源码管理->Git,这次要使用Gitlab的SSH连接,并且选择SSH凭证

        同样尝试构建项目,如果代码可以正常拉取,代表凭证配置成功。

2.8 持续集成环境(5)-Maven安装和配置

在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目。

2.8.1 安装Maven

上传或者下载maven安装包到jenkins服务器

tar -xzf apache-maven-3.6.3-bin.tar.gz #解压
mkdir -p /opt/maven #创建目录
mv apache-maven-3.6.3/* /opt/maven #移动文件
2.8.2 配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/opt/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
source /etc/profile #配置生效
mvn -v #查找Maven版本
2.8.3 全局工具配置关联JDK和Maven
  1. Jenkins->Global Tool Configuration->JDK->新增JDK,配置如下:
  1. Jenkins->Global Tool Configuration->Maven->新增Maven,配置如下:

2.8.4 添加Jenkins全局变量

Manage Jenkins->Configure System->Global Properties ,添加三个全局变量 JAVA_HOME、M2_HOME、PATH+EXTRA

2.8.5 修改Maven的settings.xml
mkdir /root/repo #创建本地仓库目录
vi /opt/maven/conf/settings.xml

本地仓库改为:/root/repo/

添加阿里云私服地址:

alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central

2.8.6 测试Maven是否配置成功

使用之前的gitlab密码测试项目,修改配置

image-20220407180031748

构建->增加构建步骤->Execute Shell

输入

mvn clean package

再次构建,如果可以把项目打成war包,代表maven环境配置成功啦!

2.9 持续集成环境(6)-Tomcat安装和配置

2.9.1 安装Tomcat8.5

把Tomcat压缩包上传到192.168.139.141服务器

yum install java-1.8.0-openjdk* -y #安装JDK(已完成)
tar -xzf apache-tomcat-8.5.47.tar.gz #解压
mkdir -p /opt/tomcat #创建目录
mv /root/apache-tomcat-8.5.47/* /opt/tomcat #移动文件
/opt/tomcat/bin/startup.sh #启动tomcat

注意:服务器已经关闭了防火墙,所以可以直接访问Tomcat。

地址为:http://192.168.139.141:8080

2.9.2 配置Tomcat用户角色权限

默认情况下Tomcat是没有配置用户角色权限的。但是,后续Jenkins部署项目到Tomcat服务器,需要用到Tomcat的用户,所以修改tomcat以下配置, 添加用户及权限

vi /opt/tomcat/conf/tomcat-users.xml
<tomcat-users>
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
tomcat-users>

用户和密码都是:tomcat

注意:为了能够让刚才配置的用户登录到Tomcat,还需要修改以下配置

vi /opt/tomcat/webapps/manager/META-INF/context.xml

把上面这行注释掉即可!

2.9.3 重启Tomcat,访问测试
/opt/tomcat/bin/shutdown.sh 停止
/opt/tomcat/bin/startup.sh 启动

访问: http://192.168.66.102:8080/manager/html ,输入tomcat和tomcat,看到以下页面代表成功.

3. Jenkins构建Maven项目

3.1 Jenkins项目构建类型(1)-Jenkins构建的项目类型介绍

Jenkins中自动构建项目的类型有很多,常用的有以下三种:

  • 自由风格软件项目(FreeStyle Project)
  • Maven项目(Maven Project)
  • 流水线项目(Pipeline Project)

每种类型的构建其实都可以完成一样的构建过程与结果,只是在操作方式、灵活度等方面有所区别,在 实际开发中可以根据自己的需求和习惯来选择。

PS:个人推荐使用流水线类型,因为灵活度非常高。

3.2 Jenkins项目构建类型(2)-自由风格项目构建

下面演示创建一个自由风格项目来完成项目的集成过程:

拉取代码->编译->打包->部署

3.2.1 拉取代码
  1. 创建一个自由风格的项目

  2. 配置源码管理,从gitlab拉取代码

3.2.2 编译打包

构建->添加构建步骤->Executor Shell

3.2.3 部署

把项目部署到远程的Tomcat里面

  1. 安装 Deploy to container插件

    Jenkins本身无法实现远程部署到Tomcat的功能,需要安装Deploy to container插件实现

  2. 添加Tomcat用户凭证

  3. 添加构建后操作

    点击"Build Now",开始构建过程

  4. 部署成功后

    访问项目 http://192.168.139.141:8080/web_demo-1.0-SNAPSHOT/

3.2.4 演示改动代码后的持续集成
  1. IDEA中源码修改并提交到gitlab
  2. 在Jenkins中项目重新构建
  3. 访问Tomcat

3.3 Jenkins项目构建类型(3)-Maven项目构建

  1. 安装Maven Integration插件

  2. 创建Maven项目

  3. 配置项目

    拉取代码和远程部署的过程和自由风格项目一样,只是"构建"部分不同。

3.4 Jenkins项目构建类型(4)-Pipeline流水线项目构建(*)

3.4.1 Pipeline简介
  1. 概念

    Pipeline,简单来说,就是一套运行在 Jenkins 上的工作流框架,将原来独立运行于单个或者多个节点 的任务连接起来,实现单个任务难以完成的复杂流程编排和可视化的工作。

  2. 使用Pipeline有以下好处(来自翻译自官方文档):

    代码:Pipeline以代码的形式实现,通常被检入源代码控制,使团队能够编辑,审查和迭代其传送流 程。 持久:无论是计划内的还是计划外的服务器重启,Pipeline都是可恢复的。 可停止:Pipeline可接 收交互式输入,以确定是否继续执行Pipeline。 多功能:Pipeline支持现实世界中复杂的持续交付要 求。它支持fork/join、循环执行,并行执行任务的功能。 可扩展:Pipeline插件支持其DSL的自定义扩 展 ,以及与其他插件集成的多个选项。

  3. 如何创建 Jenkins Pipeline呢?

    • Pipeline 脚本是由 Groovy 语言实现的,但是我们没必要单独去学习 Groovy
    • Pipeline 支持两种语法:Declarative(声明式)和 Scripted Pipeline(脚本式)语法
    • Pipeline 也有两种创建方法:可以直接在 Jenkins 的 Web UI 界面中输入脚本;也可以通过创建一 个 Jenkinsfile 脚本文件放入项目源码库中(一般我们都推荐在 Jenkins 中直接从源代码控制(SCM) 中直接载入 Jenkinsfile Pipeline 这种方法)。
3.4.2 安装Pipeline插件

Manage Jenkins->Manage Plugins->可选插件

安装插件后,创建项目的时候多了“流水线”类型

3.4.3 Pipeline语法快速入门
  1. Declarative声明式-Pipeline

    • 创建流水线项目

    • 流水线->选择HelloWorld模板

    生成内容如下:

    stages:代表整个流水线的所有执行阶段。通常stages只有1个,里面包含多个stage

    stage:代表流水线中的某个阶段,可能出现n个。一般分为拉取代码,编译构建,部署等阶段。

    steps:代表一个阶段内需要执行的逻辑。steps里面是shell脚本,git拉取代码,ssh远程发布等任意内容。

    编写一个简单声明式Pipeline:

    pipeline {
    	agent any
    	stages {
    		stage('拉取代码') {
    			steps {
    				echo '拉取代码'
    			}
    		}
    		stage('编译构建') {
    			steps {
    				echo '编译构建'
    			}
    		}
    		stage('项目部署') {
    			steps {
    				echo '项目部署'
    			}
    		}
    	}
    }
    

    点击构建,可以看到整个构建过程

  2. Scripted Pipeline脚本式-Pipeline

    创建项目

    这次选择"Scripted Pipeline"

    node {
    	def mvnHome
    	stage('Preparation') { // for display purposes
    	}
    	stage('Build') {
    	}
    	stage('Results') {
    	}
    }
    
    • Node:节点,一个Node就是一个Jenkins节点,Master或者Agent,是执行 Step 的具体运行环境,后续讲到Jenkins的Master-Slave架构的时候用到。
    • Stage:阶段,一个Pipeline 可以划分为若干个Stage,每个Stage代表一组操作,比如: Build、Test、Deploy,Stage是一个逻辑分组的概念。
    • Step:步骤,Step是最基本的操作单元,可以是打印一句话,也可以是构建一个Docker 镜像, 由各类Jenkins 插件提供,比如命令:sh ‘make’,就相当于我们平时shell终端中执行make命令一样。

    编写一个简单的脚本式Pipeline

    node {
    	def mvnHome
    	stage('拉取代码') { // for display purposes
    		echo '拉取代码'
    	}
    	stage('编译构建') {
    		echo '编译构建'
    	}
    	stage('项目部署') {
    		echo '项目部署'
    	}
    }
    

    构建结果和声明式一样!

3.4.4 拉取代码
pipeline {
	agent any
	stages {
		stage('拉取代码') {
			steps {
				checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '030197b4-3b90-4bba-afb4-beb12c7589c1', url: '[email protected]:itcast_group/web_demo2.git']]])
			}
		}
	}
}
3.4.5 编译打包
pipeline {
	agent any
	stages {
		stage('拉取代码') {
			steps {
				checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '030197b4-3b90-4bba-afb4-beb12c7589c1', url: '[email protected]:itcast_group/web_demo2.git']]])
			}
		}
		stage('编译构建') {
			steps {
				sh 'mvn clean package'
			}
		}
	}
}
3.4.6 部署
pipeline {
	agent any
	stages {
		stage('拉取代码') {
			steps {
				checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '030197b4-3b90-4bba-afb4-beb12c7589c1', url: '[email protected]:itcast_group/web_demo2.git']]])
			}
		}
		stage('编译构建') {
			steps {
				sh 'mvn clean package'
			}
		}
        stage('项目部署') {
			steps {
				deploy adapters: [tomcat8(credentialsId: 'f87f0ff5-62f8-4933-8ce9-fc5cb6ac47ae', path: '', url: 'http://192.168.139.141:8080/')], contextPath: null, war: 'target/*.war'
            }
        }
	}
}
3.4.7 Pipeline Script from SCM

刚才我们都是直接在Jenkins的UI界面编写Pipeline代码,这样不方便脚本维护,建议把Pipeline脚本放在项目中(一起进行版本控制)

  1. 在项目根目录建立Jenkinsfile文件,把内容复制到该文件中

    把Jenkinsfile上传到Gitlab

  2. 在项目中引用该文件

3.5 Jenkins项目构建细节(1)-常用的构建触发器

Jenkins内置4种构建触发器:

  • 触发远程构建
  • 其他工程构建后触发(Build after other projects are build)
  • 定时构建(Build periodically)
  • 轮询SCM(Poll SCM)
3.5.1 触发远程构建

触发构建url:http://192.168.139.140:8888/job/test03_pipeline02/build?token=66666

3.5.2 其他工程构建后触发
  1. 创建pre_job流水线工程
  2. 配置需要触发的工程
3.5.3 定时构建

定时字符串从左往右分别为: 分 时 日 月 周

一些定时表达式的例子:

每30分钟构建一次:H代表形参 H/30 * * * * 10:02 10:32
每2个小时构建一次: H H/2 * * *
每天的8点,12点,22点,一天构建3次: (多个时间点中间用逗号隔开) 0 8,12,22 * * *
每天中午12点定时构建一次 H 12 * * *
每天下午18点定时构建一次 H 18 * * *
在每个小时的前半个小时内的每10分钟 H(0-29)/10 * * * *
每两小时一次,每个工作日上午9点到下午5点(也许是上午10:38,下午12:38,下午2:38,下午
4:38) H H(9-16)/2 * * 1-5

3.5.4 轮询SCM

轮询SCM,是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建。

注意:这次构建触发器,Jenkins会定时扫描本地整个项目的代码,增大系统的开销,不建议使用。

3.6 Jenkins项目构建细节(2)-Git hook自动触发构建(*)

刚才我们看到在Jenkins的内置构建触发器中,轮询SCM可以实现Gitlab代码更新,项目自动构建,但是
该方案的性能不佳。那有没有更好的方案呢? 有的。就是利用Gitlab的webhook实现代码push到仓
库,立即触发项目自动构建。

3.6.1 安装Gitlab Hook插件

需要安装插件:

GitLab Plugin

3.6.2 Jenkins设置自动构建

等会需要把生成的webhook URL配置到Gitlab中。

3.6.3 Gitlab配置webhook
  1. 开启webhook功能

    使用root账户登录到后台,点击Admin Area -> Settings -> Network
    勾选"Allow requests to the local network from web hooks and services"

  2. 在项目添加webhook

    点击项目->Settings->Webhooks

    注意:以下设置必须完成,否则会报错!

    Manage Jenkins->Configure System

3.7 Jenkins项目构建细节(3)-Jenkins的参数化构建

有时在项目构建的过程中,我们需要根据用户的输入动态传入一些参数,从而影响整个构建结果,这时
我们可以使用参数化构建。

  1. Jenkins支持非常丰富的参数类型
  1. 接下来演示通过输入gitlab项目的分支名称来部署不同分支项目。
3.7.1 项目创建分支,并推送到Gitlab上

​ 新建分支:v1,代码稍微改动下,然后提交到gitlab上。

​ 这时看到gitlab上有一个两个分支:master和v1

3.7.2 在Jenkins添加字符串类型参数
3.7.3 改动pipeline流水线代码
3.7.4 点击Build with Parameters

输入分支名称,构建即可!构建完成后访问Tomcat查看结果。

3.8 Jenkins项目构建细节(4)-配置邮箱服务器发送构建结果

3.8.1 安装Email Extension插件
3.8.2 Jenkins设置邮箱相关参数
  1. Manage Jenkins->Configure System

  2. 设置邮件参数

    token: cxurcmxwpqkpbgia

  3. 设置Jenkins默认邮箱信息

3.8.3 准备邮件内容

在项目根目录编写email.html,并把文件推送到Gitlab,内容如下:

DOCTYPE html>
<html> 
  <head>
    <meta charset="UTF-8">
    <title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志title>
  head>
  
  <body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0">
    <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sansserif">
      <tr>
        <td>(本邮件是程序自动下发的,请勿回复!)td>
      tr>
      <tr>
        <td>
          <h2>
            <font color="#0000FF">构建结果 - ${BUILD_STATUS}font>
          h2>
        td>
      tr>
      <tr>
        <td>
          <br />
          <b>
            <font color="#0B610B">构建信息font>
          b>
          <hr size="2" width="100%" align="center" />
        td>
      tr>
      <tr>
        <td>
          <ul>
            <li>项目名称  ${PROJECT_NAME}li>
            <li>构建编号  第${BUILD_NUMBER}次构建li>
            <li>触发原因: ${CAUSE}li>
            <li>构建日志: 
              <a href="${BUILD_URL}console">${BUILD_URL}consolea>
            li>
            <li>构建  Url  
              <a href="${BUILD_URL}">${BUILD_URL}a>
            li>
            <li>工作目录  
              <a href="${PROJECT_URL}ws">${PROJECT_URL}wsa>
            li>
            <li>项目  Url  
              <a href="${PROJECT_URL}">${PROJECT_URL}a>
            li>
          ul>
        td>
      tr>
      <tr>
        <td>
          <b>
            <font color="#0B610B">Changes Since Last Successful Build:font>
          b>
          <hr size="2" width="100%" align="center" />
        td>
      tr>编写Jenkinsfile添加构建后发送邮件
      <tr>
        <td>
          <ul>
            <li>历史变更记录 :
              <a href="${PROJECT_URL}changes">${PROJECT_URL}changesa>
            li>
          ul>${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:
          <br />%c
          <br />",showPaths=true,changesFormat="
          <pre>[%a]
            <br />%mpre>",pathFormat="    %p"}td>
      tr>
      <tr>
        <td>
          <b>Failed Test Resultsb>
          <hr size="2" width="100%" align="center" />
        td>
      tr>
      <tr>
        <td>
          <pre style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica,
          sans-serif">$FAILED_TESTSpre>
          <br />
        td>
      tr>
      <tr>
        <td>
          <b>
            <font color="#0B610B">构建日志 (最后 100行):font>
          b>
          <hr size="2" width="100%" align="center" />
        td>
      tr>
      <tr>
        <td>
          <textarea cols="80" rows="30" readonly="readonly" style="font-family: Courier New">${BUILD_LOG, maxLines=100}textarea>
        td>
      tr>
    table>
  body>
html>
3.8.4 编写Jenkinsfile添加构建后发送邮件
pipeline {
	agent any
	stages {
		stage('拉取代码') {
			steps {
				checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: '030197b4-3b90-4bba-afb4-beb12c7589c1', url: '[email protected]:itcast_group/web_demo2.git']]])
			}
		}
		stage('编译构建') {
			steps {
				sh 'mvn clean package'
			}
		}
        stage('项目部署') {
			steps {
				deploy adapters: [tomcat8(credentialsId: 'f87f0ff5-62f8-4933-8ce9-fc5cb6ac47ae', path: '', url: 'http://192.168.139.141:8080/')], contextPath: null, war: 'target/*.war'
            }
        }
	}
    post {
        always {
            emailext(subject: '构建通知:${PROJECT_NAME} - Build # ${BUILD_NUMBER} - ${BUILD_STATUS}!', body: '${FILE,path="email.html"}', to: '[email protected]')
        }
    }
}
3.8.5 测试

PS:邮件相关全局参数参考列表:
系统设置->Extended E-mail Notification->Content Token Reference,点击旁边的?号

3.9 Jenkins+SonarQube代码审查(1) - 安装SonarQube

3.9.1 SonaQube简介

SonarQube是一个用于管理代码质量的开放平台,可以快速的定位代码中潜在的或者明显的错误。目前
支持java,C#,C/C++,Python,PL/SQL,Cobol,JavaScrip,Groovy等二十几种编程语言的代码质量管理与检
测。
官网:https://www.sonarqube.org/

3.9.2 环境要求
软件 服务器 版本
JDK 192.168.139.140 1.8
MYSQL 192.168.139.140 5.7
SonarQube 192.168.139.140 7.8
3.9.3 安装SonarQube
  1. 安装mysql

  2. 安装SonarQube

  3. 访问sonar

    http://192.168.139.140:9000

    Jenkins持续集成入门到精通_第1张图片

    默认账户:admin/admin
    创建token

    administrator->security->generate token

    itcast

    c9f4b660f937c9f404f1627bd4b8c5d887b604ef

3.10 Jenkins+SonarQube代码审查(2) - 实现代码审查

image-20220410005914858
3.10.1 安装SonarQube Scanner插件
3.10.2 添加SonarQube凭证
3.10.3 Jenkins进行SonarQube配置

Manage Jenkins->Configure System->SonarQube servers

Manage Jenkins->Global Tool Configuration

3.10.4 SonaQube关闭审查结果上传到SCM功能
3.10.5 在项目添加SonaQube代码审查(非流水线项目)

添加构建步骤:

# must be unique in a given SonarQube instance
sonar.projectKey=web_demo
# this is the name and version displayed in the SonarQube UI. Was mandatory
prior to SonarQube 6.1.
sonar.projectName=web_demo
sonar.projectVersion=1.0
# Path is relative to the sonar-project.properties file. Replace "\" by "/" on
Windows.
# This property is optional if sonar.modules is set.
sonar.sources=.
sonar.exclusions=**/test/**,**/target/**
sonar.java.source=1.8
sonar.java.target=1.8
# Encoding of the source code. Default is default system encoding
sonar.sourceEncoding=UTF-8
3.10.6 在项目添加SonaQube代码审查(流水线项目)
  1. 项目根目录下,创建sonar-project.properties文件

  2. 修改Jenkinsfile,加入SonarQube代码审查阶段

  3. 到SonarQube的UI界面查看审查结果

4. Jenkins+Docker+SpringCloud微服务持续集成(上)

4.1 Jenkins+Docker+SpringCloud持续集成流程说明

流程说明:

  1. 开发人员每天把代码提交到Gitlab代码仓库
  2. Jenkins从Gitlab中拉取项目源码,编译并打成jar包,然后构建成Docker镜像,将镜像上传到
    Harbor私有仓库。
  3. Jenkins发送SSH远程命令,让生产部署服务器到Harbor私有仓库拉取镜像到本地,然后创建容器。
  4. 最后,用户可以访问到容器
4.1.1 服务列表(红色的软件为需要安装的软件,黑色代表已经安装)
服务器名称 IP地址 安装软件
代码托管服务器 192.168.139.139 Gitlab
持续集成服务器 192.168.139.140 Jenkins+Maven+Docker
Docker仓库服务器 192.168.139.141 Docker+Harbor
生产部署服务器 192.168.139.142 Docker

4.2 SpringCloud微服务源码概述

项目架构:前后端分离
后端技术栈:SpringBoot+SpringCloud+SpringDataJpa(Spring全家桶)
微服务项目结构:

  • tensquare_parent:父工程,存放基础配置
  • tensquare_common:通用工程,存放工具类
  • tensquare_eureka_server:SpringCloud的Eureka注册中心
  • tensquare_zuul:SpringCloud的网关服务
  • tensquare_admin_service:基础权限认证中心,负责用户认证(使用JWT认证)
  • tensquare_gathering:一个简单的业务模块,活动微服务相关逻辑

数据库结构:

  • tensquare_user:用户认证数据库,存放用户账户数据。对应tensquare_admin_service微服务
  • tensquare_gathering:活动微服务数据库。对应tensquare_gathering微服务

微服务配置分析:

  • tensquare_eureka
  • tensquare_zuul
  • tensquare_admin_service
  • tensquare_gathering

4.3 本地部署(1)-SpringCloud微服务部署

4.3.1 本地运行微服务
4.3.2 本地部署微服务

4.4 本地部署(2)-前端静态web网站

4.5 环境准备(1)-Docker快速入门

4.5.1 Docker简介
4.5.2 Docker安装
4.5.3 Docker基本命令快速入门

4.6 环境准备(2)-Dockerfile镜像脚本快速入门

4.6.1 Dockerfile简介
4.6.2 Dockerfile常见命令
4.6.3 使用Dockerfile制作微服务镜像

我们利用Dockerfile制作一个Eureka注册中心的镜像

  1. 上传Eureka的微服务jar包到linux

  2. 编写Dockerfile

    FROM openjdk:8-jdk-alpine
    ARG JAR_FILE
    COPY ${JAR_FILE} app.jar
    EXPOSE 10086
    ENTRYPOINT ["java","-jar","/app.jar"]
    
  3. 构建镜像

    docker build --build-arg JAR_FILE=tensquare_eureka_server-1.0-SNAPSHOT.jar -t eureka:v1 .
    
  4. 查看镜像是否创建成功

    docker images
    
  5. 创建容器

    docker run -i --name=eureka -p 10086:10086 eureka:v1
    
  6. 访问容器

    http://192.168.139.140:10086/

4.7 环境准备(3)-Harbor镜像仓库安装及使用

4.7.1 Harbor简介

Harbor(港口,港湾)是一个用于存储和分发Docker镜像的企业级Registry服务器。
除了Harbor这个私有镜像仓库之外,还有Docker官方提供的Registry。相对Registry,Harbor具有很
多优势:

  1. 提供分层传输机制,优化网络传输 Docker镜像是是分层的,而如果每次传输都使用全量文件(所以
    用FTP的方式并不适合),显然不经济。必须提供识别分层传输的机制,以层的UUID为标识,确定
    传输的对象。
  2. 提供WEB界面,优化用户体验 只用镜像的名字来进行上传下载显然很不方便,需要有一个用户界
    面可以支持登陆、搜索功能,包括区分公有、私有镜像。
  3. 支持水平扩展集群 当有用户对镜像的上传下载操作集中在某服务器,需要对相应的访问压力作分
    解。
  4. 良好的安全机制 企业中的开发团队有很多不同的职位,对于不同的职位人员,分配不同的权限,
    具有更好的安全性。
4.7.2 Harbor安装

Harbor需要安装在192.168.139.141上面

  1. 先安装Docker并启动Docker(已完成)

  2. 先安装docker-compose

  3. 下载Harbor的压缩包

    https://github.com/goharbor/harbor/releases

  4. 上传压缩包到linux,并解压

    tar -xzf harbor-offline-installer-v1.9.2.tgz
    mkdir /opt/harbor
    mv harbor/* /opt/harbor
    cd /opt/harbor
    
  5. 修改harbor配置

    vi harbor.yml
    

    修改hostname和port

    hostname: 192.168.139.141
    port: 85
    
  6. 安装Harbor

    ./prepare
    ./install.sh
    
  7. 启动Harbor

  8. 访问Harbor

    http://192.168.139.141:85/

    默认账户密码:admin/Harbor12345

4.7.3 在Harbor创建用户和项目
  1. 创建项目

    Harbor的项目分为公开和私有的:

    公开项目:所有用户都可以访问,通常存放公共的镜像,默认有一个library公开项目。

    私有项目:只有授权用户才可以访问,通常存放项目本身的镜像。

    我们可以为微服务项目创建一个新的项目:

  2. 创建用户

    创建的用户为:

    freedom/[email protected]

  3. 给私有项目分配用户

    进入tensquare项目->成员

    角色 权限
    访客 对于指定项目拥有只读权限
    开发人员 对于指定项目拥有读写权限
    维护人员 对于指定项目拥有读写权限,创建 Webhooks
    项目管理员 除了读写权限,同时拥有用户管理/镜像扫描等管理权限
  4. 以新用户登录Harbor

4.7.4 把镜像上传到Harbor
  1. 给镜像打上标签

    docker tag eureka:v1 192.168.139.141:85/tensquare/eureka:v1
    
  2. 推送镜像

    docker push 192.168.139.141:85/tensquare/eureka:v1
    

    The push refers to repository [192.168.139.141:85/tensquare/eureka]
    Get https://192.168.139.141:85/v2/: http: server gave HTTP response to HTTPS
    client

    这时会出现以上报错,是因为Docker没有把Harbor加入信任列表中

  3. 把Harbor地址加入到Docker信任列表

    vi /etc/docker/daemon.json
    
    {
      "registry-mirrors": ["https://nw9lv2m9.mirror.aliyuncs.com"],
      "insecure-registries": ["192.168.139.141:85"]
    }
    

    需要重启Docker

  4. 再次执行推送命令,会提示权限不足

    denied: requested access to the resource is denied

    需要先登录Harbor,再推送镜像

  5. 登录Harbor

    docker login -u 用户名 -p 密码 192.168.139.141:85
    

    WARNING! Using --password via the CLI is insecure. Use --password-stdin.
    WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
    Configure a credential helper to remove this warning. See
    https://docs.docker.com/engine/reference/commandline/login/#credentials-store
    Login Succeeded

4.7.5 从Harbor下载镜像

需求:在192.168.66.103服务器完成从Harbor下载镜像

  1. 安装Docker,并启动Docker

  2. 修改Docker配置

    vi /etc/docker/daemon.json
    
    {
      "registry-mirrors": ["https://nw9lv2m9.mirror.aliyuncs.com"],
      "insecure-registries": ["192.168.139.141:85"]
    }
    

    重启docker

  3. 先登录,再从Harbor下载镜像

    docker login -u 用户名 -p 密码 192.168.139.141:85
    docker pull 192.168.139.141:85/tensquare/eureka:v1
    

4.8 微服务持续集成(1)-项目代码上传到Gitlab

在IDEA操作即可,参考之前的步骤。包括后台微服务和前端web网站代码

4.9 微服务持续集成(2)-从Gitlab拉取项目源码

4.9.1 创建Jenkinsfile文件
//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url:'[email protected]:itheima_group/tensquare_back.git']]])
	}
}
4.9.2 拉取Jenkinsfile文件
image-20220410163240188

4.10 微服务持续集成(3)-提交到SonarQube代码审查

4.10.1 创建项目,并设置参数

创建tensquare_back项目,添加两个参数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WG64ZbJN-1649818206970)(C:\Users\WenSh\AppData\Roaming\Typora\typora-user-images\image-20220410163429439.png)]

4.10.2 每个项目的根目录下添加sonar-project.properties
# must be unique in a given SonarQube instance
sonar.projectKey=tensquare_zuul
# this is the name and version displayed in the SonarQube UI. Was mandatory prior to SonarQube 6.1.
sonar.projectName=tensquare_zuul
sonar.projectVersion=1.0
# Path is relative to the sonar-project.properties file. Replace "\" by "/" on
Windows.
# This property is optional if sonar.modules is set.
sonar.sources=.
sonar.exclusions=**/test/**,**/target/**
sonar.java.binaries=.
sonar.java.source=1.8
sonar.java.target=1.8
sonar.java.libraries=**/target/classes/**
# Encoding of the source code. Default is default system encoding
sonar.sourceEncoding=UTF-8

注意:修改sonar.projectKey和sonar.projectName

4.10.3 修改Jenkinsfile构建脚本
//gitlab的凭证id
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
//构建版本的名称
def tag = "latest"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url:'[email protected]:itheima_group/tensquare_back.git']]])
	}
    stage('代码审查') {
		def scannerHome = tool 'sonarqube-scanner'
		withSonarQubeEnv('sonarqube') {
			sh """ 
				cd ${project_name}
				${scannerHome}/bin/sonar-scanner
			"""
		}
	}
}

4.11 微服务持续集成(4)-使用Dockerfile编译、生成镜像

利用dockerfile-maven-plugin插件构建Docker镜像

4.11.1 在每个微服务项目的pom.xml加入dockerfile-maven-plugin插件
<plugin>
	<groupId>com.spotifygroupId>
    <artifactId>dockerfile-maven-pluginartifactId>
    <version>1.3.6version>
    <configuration>
    <repository>${project.artifactId}repository>
        <buildArgs>
        	<JAR_FILE>target/${project.build.finalName}.jarJAR_FILE>
        buildArgs>
    configuration>
plugin>
4.11.2 在每个微服务项目根目录下建立Dockerfile文件
#FROM java:8
FROM openjdk:8-jdk-alpine
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
EXPOSE 10086
ENTRYPOINT ["java","-jar","/app.jar"]

注意:每个项目公开的端口不一样

4.11.3 修改Jenkinsfile构建脚本
//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.xxx.xxx:85/tensquare/"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url:'[email protected]:itheima_group/tensquare_back.git']]])
} 
    stage('代码审查') {
		def scannerHome = tool 'sonarqube-scanner'
		withSonarQubeEnv('sonarqube') {
			sh """
				cd ${project_name}
				${scannerHome}/bin/sonar-scanner
			"""
        }
	} 
    stage('编译,构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        //编译,安装公共工程注意:如果出现找不到父工程依赖,需要手动把父工程的依赖上传到仓库中
        sh "mvn -f tensquare_common clean install"
        //编译,构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"
    }
}

4.12 微服务持续集成(5)-上传到Harbor镜像仓库

4.12.1 修改Jenkinsfile构建脚本
//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.xxx.xxx:85/tensquare/"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url:'[email protected]:itheima_group/tensquare_back.git']]])
	} 
    stage('代码审查') {
		def scannerHome = tool 'sonarqube-scanner'
		withSonarQubeEnv('sonarqube6.7.4') {
			sh """
				cd ${project_name}
				${scannerHome}/bin/sonar-scanner
			"""
        }
	} 
    stage('编译,构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        //编译,安装公共工程注意:如果出现找不到父工程依赖,需要手动把父工程的依赖上传到仓库中
        sh "mvn -f tensquare_common clean install"
        //编译,构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"
        //给镜像打标签
        sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"
        //登录Harbor,并上传镜像
        withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
            //登录
            sh "docker login -u ${username} -p ${password} ${harbor_url}"
            //上传镜像
            sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
		}
        //删除本地镜像
        sh "docker rmi -f ${imageName}"
        sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
    }
}
4.12.2 使用凭证管理Harbor私服账户和密码

先在凭证建立Harbor的凭证,在生成凭证脚本代码

4.13 微服务持续集成(6)-拉取镜像和发布应用

4.13.1 安装 Publish Over SSH 插件

安装以下插件,可以实现远程发送Shell命令

4.13.2 配置远程部署服务器
  1. 拷贝公钥到远程服务器

    ssh-copy-id 192.168.139.xxx
    
  2. 系统配置->添加远程服务器

    image-20220410165722754
4.13.3 修改Jenkinsfile构建脚本

生成远程调用模板代码

添加一个port参数

//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.xxx.xxx:85/tensquare/"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url:'[email protected]:itheima_group/tensquare_back.git']]])
	} 
    stage('代码审查') {
        // 定义当前Jenkins的sonarqubeScanner工具
		def scannerHome = tool 'sonarqube-scanner'
        // 引用当前JenkinsSonarqube环境
		withSonarQubeEnv('sonarqube') {
			sh """
				cd ${project_name}
				${scannerHome}/bin/sonar-scanner
			"""
        }
	} 
    stage('编译,构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        //编译,安装公共工程注意:如果出现找不到父工程依赖,需要手动把父工程的依赖上传到仓库中
        sh "mvn -f tensquare_common clean install"
        //编译,构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"
        //给镜像打标签
        sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"
        //登录Harbor,并上传镜像
        withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
            //登录
            sh "docker login -u ${username} -p ${password} ${harbor_url}"
            //上传镜像
            sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
		}
        //删除本地镜像
        sh "docker rmi -f ${imageName}"
        sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
        //=====以下为远程调用进行项目部署========
        sshPublisher(publishers: [sshPublisherDesc(configName: 'master_server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "  , execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    }
}
4.13.4 编写deploy.sh部署脚本
#! /bin/sh
#接收外部参数
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5
imageName=$harbor_url/$harbor_project_name/$project_name:$tag
echo "$imageName"
#查询容器是否存在,存在则删除
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
#停掉容器
docker stop $containerId
#删除容器
docker rm $containerId
echo "成功删除容器"
fi
#查询镜像是否存在,存在则删除
imageId=`docker images | grep -w $project_name | awk '{print $3}'`
if [ "$imageId" != "" ] ; then
#删除镜像
docker rmi -f $imageId
echo "成功删除镜像"
fi
# 登录Harbor私服
docker login -u 用户名 -p 密码 $harbor_url
# 下载镜像
docker pull $imageName
# 启动容器
docker run -di -p $port:$port $imageName
echo "容器启动成功"

上传deploy.sh文件到/opt/jenkins_shell目录下,且文件至少有执行权限!

chmod +x deploy.sh #添加执行权限
4.13.5 导入数据,测试微服务

注意:jenkins构建发现未拉取镜像、启动容器。修改sshPublisher中verbose属性为true,显示连接harbor_url为https。

Docker自从1.3.X之后docker registry交互默认使用的是HTTPS,但是搭建私有镜像默认使用的是HTTP服务,所以与私有镜像交时出现以上错误。所以需要修改daemon.json

vim /etc/docker/daemon.json
{
  "registry-mirrors": ["https://nw9lv2m9.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.139.141:85"]
}

4.14 微服务持续集成(7)-部署前端静态web网站

4.14.1 安装Nginx服务器

修改nginx的端口,默认80,改为9090

还需要关闭selinux,将SELINUX=disabled \

setenforce 0 #先临时关闭
vi /etc/selinux/config #编辑文件,永久关闭 SELINUX=disabled

启动Nginx

4.14.2 安装NodeJS插件
4.14.3 Jenkins配置Nginx服务器

Manage Jenkins->Global Tool Configuration

4.14.4 创建前端流水线项目
4.14.5 建立Jenkinsfile构建脚本
//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"
node {
	stage('拉取代码') {
		checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: '[email protected]:itheima_group/tensquare_front.git']]])
	} 
    stage('打包,部署网站') {
        //使用NodeJS的npm进行打包
        nodejs('nodejs12'){
            sh '''
                npm install
                npm run build
            '''
    	} 
        //=====以下为远程调用进行项目部署========
    	sshPublisher(publishers: [sshPublisherDesc(configName: 'master_server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '/usr/share/nginx/html', remoteDirectorySDF: false, removePrefix: 'dist', sourceFiles: 'dist/**')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    }
}

完成后,访问:http://nginxIp:9090 进行测试。

5. Jenkins+Docker+SpringCloud微服务持续集成(下)

5.1 Jenkins+Docker+SpringCloud部署方案优化

上面部署方案存在的问题:

  1. 一次只能选择一个微服务部署
  2. 只有一台生产者部署服务器
  3. 每个微服务只有一个实例,容错率低

优化方案:

  1. 在一个Jenkins工程中可以选择多个微服务同时发布
  2. 在一个Jenkins工程中可以选择多台生产服务器同时部署
  3. 每个微服务都是以集群高可用形式部署

5.2 Jenkins+Docker+SpringCloud集群部署流程说明

5.3 修改所有微服务配置

5.3.1 注册中心配置
# 集群版
spring:
  application:
    name: EUREKA-HA

---
server:
  port: 10086
spring:
  # 指定profile=eureka-server1
  profiles: eureka-server1
eureka:
  instance:
    # 指定当profile=eureka-server1时,主机名是eureka-server1
    hostname: 192.168.139.141
  client:
    service-url:
     # 将自己注册到eureka-server1、eureka-server2这个Eureka上面去
      defaultZone: http://192.168.139.141:10086/eureka/,http://192.168.139.142:10086/eureka/

---
server:
  port: 10086
spring:
  profiles: eureka-server2
eureka:
  instance:
    hostname: 192.168.139.142
  client:
    service-url:
      defaultZone: http://192.168.139.141:10086/eureka/,http://192.168.139.142:10086/eureka/

在启动微服务的时候,加入参数: spring.profiles.active 来读取对应的配置

5.3.2 其他微服务配置

除了Eureka注册中心以外,其他微服务配置都需要加入所有Eureka服务

 # Eureka配置
eureka:
  client:
    service-url:  
      defaultZone: http://192.168.139.141:10086/eureka,http://192.168.139.142:10086/eureka # Eureka访问地址
  instance:
    prefer-ip-address: true

把代码提交到Gitlab中

5.4 设计Jenkins集群项目的构建参数

5.4.1 安装Extended Choice Parameter插件

支持多选框

5.4.2 创建流水线项目
5.4.3 添加参数
  • 字符串参数:分支名称

  • 多选框:项目名称

  • 最后效果

5.5 完成微服务构建镜像,上传私服

// git凭证ID
def git_auth="030197b4-3b90-4bba-afb4-beb12c7589c1"
//git的url地址
def git_url="[email protected]:itcast_group/tensquare_back.git"

def tag="latest"

def harbor_url = "192.168.139.141:85"

def harbor_auth = "15d9596d-1c51-4f5e-ba09-35f332fa2dab"

def harbor_project="tensquare"
node {
    stage("拉取代码") {
        checkout([$class: 'GitSCM', branches: [[name: "*/${branch}"]], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])
    }
    stage("代码审查") {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube') {
            sh """
                cd ${project_name}
                ${scannerHome}/bin/sonar-scanner
            """
        }
    }

    stage('编译,安装子工程') {
        //编译,安装公共工程注意:如果出现找不到父工程依赖,需要手动把父工程的依赖上传到仓库中
        sh "mvn -f tensquare_common clean install"
    }
    stage('编译、打包微服务工程'){
        sh "mvn -f ${project_name} clean package dockerfile:build"
        // 定义镜像名称
        def imageName = "${project_name}:${tag}"
        // 对镜像打标签tag
        sh "docker tag ${imageName} ${harbor_url}/${harbor_project}/${imageName}"
        // 镜像推送到harbor
        withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
            // 登录harbor
            sh "docker login -u ${username} -p ${password} ${harbor_url}"
            // 镜像上传
            sh "docker push ${harbor_url}/${harbor_project}/${imageName}"

            sh "echo 镜像上传成功!"
        }
        sh "echo 开始调用部署应用脚本!"
        // 部署应用
        sshPublisher(publishers: [sshPublisherDesc(configName: 'master_server', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "/opt/jenkins_shell/deploy.sh $harbor_url $harbor_project ${project_name} $tag ${port}", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: true)])
    }
}

5.6 完成微服务多服务器远程发布

5.6.1 配置远程部署服务
  • 拷贝公钥到远程服务器

    ssh-copy-id 192.168.139.142
    
  • 系统配置->添加远程服务器

5.6.2 修改Docker配置信任Harbor私服地址
{
  "registry-mirrors": ["https://nw9lv2m9.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.139.141:85"]
}
sudo systemctl daemon-reload
sudo systemctl restart docker
5.6.3 添加参数

多选框:部署服务器

最终效果:

5.6.4 修改Jenkinsfile构建脚本
// git凭证ID
def git_auth = "030197b4-3b90-4bba-afb4-beb12c7589c1"
//git的url地址
def git_url = "[email protected]:itcast_group/tensquare_back.git"

def tag = "latest"

def harbor_url = "192.168.139.141:85"

def harbor_auth = "15d9596d-1c51-4f5e-ba09-35f332fa2dab"

def harbor_project = "tensquare"
node {
    // 获取当前选择的项目
    def selectedProjectNames = "${project_name}".split(",")
    // 获取需要部署的服务器
    def selectedServers = "${publish_server}".split(",")

    stage("拉取代码") {
        checkout([$class: 'GitSCM', branches: [[name: "*/${branch}"]], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_url}"]]])
    }
    stage("代码审查") {
        def scannerHome = tool 'sonarqube-scanner'

        for (int i = 0; i < selectedProjectNames.length; i++) {
            def projectInfo = selectedProjectNames[i]
            def currentProjectName = "${projectInfo}".split("@")[0]
//            def currentProjectPort="${projectInfo}".split("@")[1]
            withSonarQubeEnv('sonarqube') {
                sh """
                    cd ${currentProjectName}
                    ${scannerHome}/bin/sonar-scanner
                """
            }
        }
    }

    stage('编译,安装子工程') {
        //编译,安装公共工程注意:如果出现找不到父工程依赖,需要手动把父工程的依赖上传到仓库中
        sh "mvn -f tensquare_common clean install"
    }
    stage('编译、打包微服务工程') {
        for (int i = 0; i < selectedProjectNames.length; i++) {
            def projectInfo = selectedProjectNames[i]
            def currentProjectName = "${projectInfo}".split("@")[0]
            def currentProjectPort = "${projectInfo}".split("@")[1]
            sh "mvn -f ${currentProjectName} clean package dockerfile:build"
            // 定义镜像名称
            def imageName = "${currentProjectName}:${tag}"
            // 对镜像打标签tag
            sh "docker tag ${imageName} ${harbor_url}/${harbor_project}/${imageName}"
            // 镜像推送到harbor
            withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
                // 登录harbor
                sh "docker login -u ${username} -p ${password} ${harbor_url}"
                // 镜像上传
                sh "docker push ${harbor_url}/${harbor_project}/${imageName}"

                sh "echo 镜像上传成功!"
            }
            for (int j = 0; j < selectedServers.length; j++) {
                def currentServerName = selectedServers[j]
                def activeProfile = "--spring.profiles.active="
                // 加上的参数格式 --spring.profiles.active=eureka-server1/eureka-server2
                if (currentServerName == "master_server") {
                    activeProfile = activeProfile + "eureka-server1"
                } else if (currentServerName == "slave_server1") {
                    activeProfile = activeProfile + "eureka-server2"
                }
                // 部署应用
                sshPublisher(publishers: [sshPublisherDesc(configName: "$currentServerName", transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "/opt/jenkins_shell/deployCluster.sh $harbor_url $harbor_project ${project_name} $tag $currentProjectPort $activeProfile", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: true)])
            }
        }
    }
}

注意:需要部署的服务器都需要有部署脚本deployCluster.sh

5.6.5 编写deployCluster.sh部署脚本
#! /bin/sh
#接收外部参数
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5
profile=$6
imageName=$harbor_url/$harbor_project_name/$project_name:$tag
echo "$imageName"
#查询容器是否存在,存在则删除
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
#停掉容器
docker stop $containerId
#删除容器
docker rm $containerId
echo "成功删除容器"
fi

#查询镜像是否存在,存在则删除
imageId=`docker images | grep -w $project_name | awk '{print $3}'`
if [ "$imageId" != "" ] ; then
#删除镜像
docker rmi -f $imageId
echo "成功删除镜像"
fi
# 登录Harbor私服
docker login -u freedom -p [email protected] $harbor_url
# 下载镜像
docker pull $imageName
# 启动容器
docker run -di -p $port:$port $imageName $profile
echo "容器启动成功"
5.6.6 集群效果

5.7 Nginx+Zuul集群实现高可用网关

1)安装Nginx(已完成)

2)修改Nginx配置

vi /etc/nginx/nginx.conf
upstream zuulServer{
	server 192.168.66.103:10020 weight=1;
	server 192.168.66.104:10020 weight=1;
} 
server {
	listen 85 default_server;
	listen [::]:85 default_server;
	server_name _;
	root /usr/share/nginx/html;
	include /etc/nginx/conf.d/*.conf;
	location / {
		#指定服务器负载均衡服务器
		proxy_pass http://zuulServer/;
	}
}

3)重启Nginx:

systemctl restart nginx

4)修改前端Nginx的访问地址

config.json

6. 基于Kubernetes/K8S构建Jenkins持续集成平台(上)

6.1 Jenkins的Master-Slave分布式构建

6.1.1 什么是Master-Slave分布式构建

Jenkins的Master-Slave分布式构建,就是通过将构建过程分配到从属Slave节点上,从而减轻Master节

点的压力,而且可以同时构建多个,有点类似负载均衡的概念。

6.1.2 如何实现Master-Slave分布式构建

1、开启代理程序的TCP端口

Manage Jenkins -> Configure Global Security

2、新建节点

Manage Jenkins—Manage Nodes—新建节点

有两种在Slave节点连接Master节点的方法

我们选择第二种:

3、安装和配置节点

下载agent.jar,并上传到Slave节点,然后执行页面提示的命令

java -jar agent.jar -jnlpUrl http://192.168.139.141:8888/computer/slave1/slaveagent.jnlp -secret
f2ecbb99e0c81331e8b7a7917a94d478f39cb9763fc6c66d9a9741c61f9ae6d6 -workDir
"/root/jenkins"

刷新页面

4、测试节点是否可用

自由风格和Maven风格的项目:

流水线风格的项目:

node('slave1') {
	stage('check out') {
		checkout([$class: 'GitSCM', branches: [[name: '*/master']],doGenerateSubmoduleConfigurations: false, extensions:[], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '68f2087f-a034-4d39-a9ff-1f776dd3dfa8', url:'[email protected]:itheima_group/tensquare_back_cluster.git']]])
	}
}

6.2 Kubernetes实现Master-Slave分布式构建方案

6.2.1 传统Jenkins的Master-Slave方案的缺陷
  • Master节点发生单点故障时,整个流程都不可用了
  • 每个 Slave节点的配置环境不一样,来完成不同语言的编译打包等操作,但是这些差异化的配置导致管理起来非常不方便,维护起来也是比较费劲
  • 资源分配不均衡,有的 Slave节点要运行的job出现排队等待,而有的Slave节点处于空闲状态
  • 资源浪费,每台 Slave节点可能是实体机或者VM,当Slave节点处于空闲状态时,也不会完全释放
    掉资源

以上种种问题,我们可以引入Kubernates来解决!

6.2.2 Kubernates简介

Kubernetes(简称,K8S)是Google开源的容器集群管理系统,在Docker技术的基础上,为容器化的

应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的

便捷性。 其主要功能如下:

  • 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。
  • 以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器。
  • 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题。
  • Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态
6.2.3 Kubernates+Docker+Jenkins持续集成架构图

大致工作流程:手动/自动构建 -> Jenkins 调度 K8S API ->动态生成 Jenkins Slave pod -> Slave pod

拉取 Git 代码/编译/打包镜像 ->推送到镜像仓库 Harbor -> Slave 工作完成,Pod 自动销毁 ->部署

到测试或生产 Kubernetes平台。(完全自动化,无需人工干预)

6.2.4 Kubernates+Docker+Jenkins持续集成方案好处
  • 服务高可用:当 Jenkins Master 出现故障时,Kubernetes 会自动创建一个新的 Jenkins Master

  • 容器,并且将 Volume 分配给新创建的容器,保证数据不丢失,从而达到集群服务高可用。

  • 动态伸缩,合理使用资源:每次运行 Job 时,会自动创建一个 Jenkins Slave,Job 完成后,Slave

    自动注销并删除容器,资源自动释放,而且 Kubernetes 会根据每个资源的使用情况,动态分配

    Slave 到空闲的节点上创建,降低出现因某节点资源利用率高,还排队等待在该节点的情况。

  • 扩展性好:当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时,可以很容易的添加一个

    Kubernetes Node 到集群中,从而实现扩展。

6.3 Kubeadm安装Kubernetes

6.3.1 Kubernetes的架构
6.3.2 安装环境说明
6.3.3 三台机器都需要完成
  1. 修改三台机器的hostname及hosts文件

    hostnamectl set-hostname k8s-master
    hostnamectl set-hostname k8s-node1
    hostnamectl set-hostname k8s-node2
    
    cat >>/etc/hosts<
  2. 关闭防火墙和关闭SELinux

    systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0 临时关闭
    vi /etc/sysconfig/selinux #永久关闭, 改为SELINUX=disabled
    
  3. 设置系统参数

    设置允许路由转发,不对bridge的数据进行处理

    1. 创建文件

      vi /etc/sysctl.d/k8s.conf
      

      内容如下:

      net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1
      net.ipv4.ip_forward = 1 vm.swappiness = 0
      
    2. 执行文件

      sysctl -p /etc/sysctl.d/k8s.conf 
      
  4. kube-proxy开启ipvs的前置条件

    cat > /etc/sysconfig/modules/ipvs.modules <
  5. 所有节点关闭swap

    swapoff -a 临时关闭
    vi /etc/fstab 永久关闭
    注释掉以下字段
    /dev/mapper/cl-swap swap swap defaults 0 0
    
  6. 安装kubelet、kubeadm、kubectl

    • kubeadm: 用来初始化集群的指令。
    • kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
    • kubectl: 用来与集群通信的命令行工具。

    清空yum缓存

    yum clean all
    

    设置yum安装源

    cat < /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
    https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF
    

    安装:

    yum install -y kubelet kubeadm kubectl
    

    kubelet设置开机启动(注意:先不启动,现在启动的话会报错)

    systemctl enable kubelet
    

    查看版本

    kubelet --version
    

    安装的是最新版本:Kubernetes v1.16.3(可能会变化)

6.3.4 Master节点需要完成

1、运行初始化命令

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.66.101 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意:apiserver-advertise-address这个地址必须是master机器的IP

常用错误:

错误一:[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver

作为Docker cgroup驱动程序。,Kubernetes推荐的Docker驱动程序是“systemd”

解决方案:修改Docker的配置: vi /etc/docker/daemon.json,加入

{
	"exec-opts":["native.cgroupdriver=systemd"]
}

然后重启Docker

错误二:[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

解决方案:修改虚拟机的CPU的个数,至少为2个

安装过程日志:

最后,会提示节点安装的命令,必须记下来

kubeadm join 192.168.66.101:6443 --token 754snw.9xq9cotze1ybwnti \
--discovery-token-ca-cert-hash
sha256:3372ff6717ea5997121213e2c9d63fa7c8cdfb031527e17f2e20254f382ea03a

2、启动kubelet

systemctl restart kubelet

3、配置kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

4、安装Calico

mkdir k8s
cd k8s
wget https://docs.projectcalico.org/v3.10/gettingstarted/kubernetes/installation/hosted/kubernetes-datastore/caliconetworking/1.7/calico.yaml
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
kubectl apply -f calico.yaml

5、等待几分钟,查看所有Pod的状态,确保所有Pod都是Running状态

kubectl get pod --all-namespaces -o wide

image-20220412220130334

6.3.5 Slave节点需要完成

1、让所有节点加入集群环境

使用之前Master节点产生的命令加入集群

kubeadm join 192.168.66.101:6443 --token 754snw.9xq9cotze1ybwnti \
--discovery-token-ca-cert-hash
sha256:3372ff6717ea5997121213e2c9d63fa7c8cdfb031527e17f2e20254f382ea03a

2、启动kubelet

systemctl start docker

3、回到Master节点查看,如果Status全部为Ready,代表集群环境搭建成功!!

kubectl get nodes
6.3.6 kubectl常用命令
kubectl get nodes 查看所有主从节点的状态
kubectl get ns 获取所有namespace资源
kubectl get pods -n {$nameSpace} 获取指定namespace的pod
kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
kubectl logs --tail=1000 pod的名称 | less 查看日志
kubectl create -f xxx.yml 通过配置文件创建一个集群资源对象
kubectl delete -f xxx.yml 通过配置文件删除一个集群资源对象
kubectl delete pod名称 -n {$nameSpace} 通过pod删除集群资源
kubectl get service -n {$nameSpace} 查看pod的service情况

7. 基于Kubernetes/K8S构建Jenkins持续集成平台(下)

Jenkins-Master-Slave架构图回顾:

7.1 安装和配置NFS

7.1.1 NFS简介

NFS(Network File System),它最大的功能就是可以通过网络,让不同的机器、不同的操作系统可以
共享彼此的文件。我们可以利用NFS共享Jenkins运行的配置文件、Maven的仓库依赖文件等

7.1.2 NFS安装

我们把NFS服务器安装在192.168.66.101机器上

  1. 安装NFS服务(在所有K8S的节点都需要安装)

    yum install -y nfs-utils
    
  2. 创建共享目录

    mkdir -p /opt/nfs/jenkins
    vi /etc/exports 编写NFS的共享配置
    内容如下:
    /opt/nfs/jenkins *(rw,no_root_squash) *代表对所有IP都开放此目录,rw是读写
    
  3. 启动服务

    systemctl enable nfs 开机启动
    systemctl start nfs 启动
    
  4. 查看NFS共享目录

    showmount -e 192.168.66.101
    

7.2 在Kubernetes安装Jenkins-Master

7.2.1 创建NFS client provisioner

nfs-client-provisioner 是一个Kubernetes的简易NFS的外部provisioner,本身不提供NFS,需要现有的NFS服务器提供存储。

  1. 上传nfs-client-provisioner构建文件

    其中注意修改deployment.yaml,使用之前配置NFS服务器和目录

  2. 构建nfs-client-provisioner的pod资源

    cd nfs-client
    kubectl create -f .
    
  3. 查看pod是否创建成功

    kubectl get nodes
    
7.2.2 安装Jenkins-Master
  1. 上传Jenkins-Master构建文件

    其中有两点注意:

    ​ 第一、在StatefulSet.yaml文件,声明了利用nfs-client-provisioner进行Jenkins-Master文件存储

    ​ 第二、Service发布方法采用NodePort,会随机产生节点访问端口

  2. 创建kube-ops的namespace

    因为我们把Jenkins-Master的pod放到kube-ops下

    kubectl create namespace kube-ops
    
  3. 构建Jenkins-Master的pod资源

    cd jenkins-master
    kubectl create -f .
    
  4. 查看pod是否创建成功

    kubectl get pods -n kube-ops
    
  5. 查看信息,并访问

    查看Pod运行在那个Node上

    kubectl describe pods -n kube-ops
    

    查看分配的端口

    kubectl get service -n kube-ops
    

    最终访问地址为:http://192.168.66.103:30136 (192.168.66.103为k8s-node1的IP)

    安装过程跟之前是一样的!

  6. 先安装基本的插件

    • Localization:Chinese
    • Git
    • Pipeline
    • Extended Choice Parameter

7.3 Jenkins与Kubernetes整合

7.3.1 安装Kubernetes插件

系统管理->插件管理->可选插件

7.3.2 实现Jenkins与Kubernetes整合

系统管理->系统配置->云->新建云->Kubernetes

  • kubernetes地址采用了kube的服务器发现:https://kubernetes.default.svc.cluster.local
  • namespace填kube-ops,然后点击Test Connection,如果出现 Connection test successful 的提示信息证明 Jenkins 已经可以和 Kubernetes 系统正常通信
  • Jenkins URL 地址:http://jenkins.kube-ops.svc.cluster.local:8080

7.4 构建Jenkins-Slave自定义镜像

Jenkins-Master在构建Job的时候,Kubernetes会创建Jenkins-Slave的Pod来完成Job的构建。我们选择运行Jenkins-Slave的镜像为官方推荐镜像:jenkins/jnlp-slave:latest,但是这个镜像里面并没有Maven环境,为了方便使用,我们需要自定义一个新的镜像:

准备材料:

Dockerfile文件内容如下:

FROM jenkins/jnlp-slave:latest
MAINTAINER itcast
# 切换到 root 账户进行操作
USER root
# 安装 maven
COPY apache-maven-3.6.2-bin.tar.gz .
RUN tar -zxf apache-maven-3.6.2-bin.tar.gz && \
	mv apache-maven-3.6.2 /usr/local && \
	rm -f apache-maven-3.6.2-bin.tar.gz && \
	ln -s /usr/local/apache-maven-3.6.2/bin/mvn /usr/bin/mvn && \构建出一个新镜像:jenkins-slave-maven:latest
	ln -s /usr/local/apache-maven-3.6.2 /usr/local/apache-maven && \
	mkdir -p /usr/local/apache-maven/repo

COPY settings.xml /usr/local/apache-maven/conf/settings.xml
USER jenkins

构建出一个新镜像:jenkins-slave-maven:latest

然把镜像上传到Harbor的公共库library中

docker tag jenkins-slave-maven:latest 192.168.66.102:85/library/jenkins-slavemaven:latest
docker push 192.168.66.102:85/library/jenkins-slave-maven:latest

7.5 测试Jenkins-Slave是否可以创建

  1. 创建一个Jenkins流水线项目

  2. 编写Pipeline,从GItlab拉取代码

    def git_address = "http://192.168.66.100:82/itheima_group/tensquare_back_cluster.git"
    def git_auth = "9d9a2707-eab7-4dc9-b106-e52f329cbc95"
    //创建一个Pod的模板,label为jenkins-slave
    podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers:[containerTemplate(name: 'jnlp', image:"192.168.66.102:85/library/jenkins-slave-maven:latest")]) {
        //引用jenkins-slave的pod模块来构建Jenkins-Slave的pod
        node("jenkins-slave"){
            // 第一步
            stage('拉取代码'){
                checkout([$class: 'GitSCM', branches: [[name: 'master']], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
            }
        }
    }
    
  3. 查看构建日志

7.6 Jenkins+Kubernetes+Docker完成微服务持续集成

7.6.1 拉取代码,构建镜像
  1. 创建NFS共享目录

    让所有Jenkins-Slave构建指向NFS的Maven的共享仓库目录

    vi /etc/exports
    #添加内容:
    /opt/nfs/jenkins *(rw,no_root_squash)
    /opt/nfs/maven *(rw,no_root_squash)
    systemctl restart nfs #重启NFS
    
  2. 创建项目,编写构建Pipeline

    def git_address = "http://192.168.66.100:82/itheima_group/tensquare_back_cluster.git"
    def git_auth = "9d9a2707-eab7-4dc9-b106-e52f329cbc95"
    //构建版本的名称
    def tag = "latest"
    //Harbor私服地址
    def harbor_url = "192.168.66.102:85"
    //Harbor的项目名称
    def harbor_project_name = "tensquare"
    //Harbor的凭证
    def harbor_auth = "71eff071-ec17-4219-bae1-5d0093e3d060"
    podTemplate(label: 'jenkins-slave', cloud: 'kubernetes', containers: [containerTemplate( name: 'jnlp', image: "192.168.66.102:85/library/jenkins-slave-maven:latest"), containerTemplate(name: 'docker', image: "docker:stable",
    ttyEnabled: true, command: 'cat'),],volumes: [ hostPathVolume(mountPath: '/var/run/docker.sock', hostPath:
    '/var/run/docker.sock'), nfsVolume(mountPath: '/usr/local/apache-maven/repo', serverAddress: '192.168.66.101' , serverPath: '/opt/nfs/maven'),]) {
        node("jenkins-slave"){
            // 第一步
            stage('拉取代码'){
            	checkout([$class: 'GitSCM', branches: [[name: '${branch}']], userRemoteConfigs: [[credentialsId: "${git_auth}", url: "${git_address}"]]])
            } 
            // 第二步
            stage('代码编译'){
                //编译并安装公共工程
                sh "mvn -f tensquare_common clean install"
            } 
            // 第三步
        	stage('构建镜像,部署项目'){
        		//把选择的项目信息转为数组
                def selectedProjects = "${project_name}".split(',')
                for(int i=0;i<selectedProjects.size();i++){
                //取出每个项目的名称和端口
                def currentProject = selectedProjects[i];
                //项目名称
                def currentProjectName = currentProject.split('@')[0]
                //项目启动端口
                def currentProjectPort = currentProject.split('@')[1]
                //定义镜像名称注意:在构建过程会发现无法创建仓库目录,是因为NFS共享目录权限不足,需更改权限
                def imageName = "${currentProjectName}:${tag}"
                //编译,构建本地镜像
                sh "mvn -f ${currentProjectName} clean package dockerfile:build"
                container('docker') {
                    //给镜像打标签
                    sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"
                    //登录Harbor,并上传镜像
                    withCredentials([usernamePassword(credentialsId: "${harbor_auth}", passwordVariable: 'password', usernameVariable: 'username')]) {
                        //登录
                        sh "docker login -u ${username} -p ${password} ${harbor_url}"
                        //上传镜像
                        sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
                    } 
                    //删除本地镜像
                    sh "docker rmi -f ${imageName}"
                    sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
        		}
        	}
        }
    }
    

    注意:在构建过程会发现无法创建仓库目录,是因为NFS共享目录权限不足,需更改权限

    chown -R jenkins:jenkins /opt/nfs/maven
    chmod -R 777 /opt/nfs/maven
    

    还有Docker命令执行权限问题

    chmod 777 /var/run/docker.sock
    

    需要手动上传父工程依赖到NFS的Maven共享仓库目录中

7.6.2 微服务部署到K8S

修改每个微服务的application.yml

  • Eureka

    server:
      port: ${PORT:10086}
    spring:
      application:
        name: eureka
    eureka:
      server:
        # 续期时间,即扫描失效服务的间隔时间(缺省为60*1000ms)
        eviction-interval-timer-in-ms: 5000
        enable-self-preservation: false
        use-read-only-response-cache: false
      client:
        # eureka client间隔多久去拉取服务注册信息 默认30s
        registry-fetch-interval-seconds: 5
        serviceUrl:
          defaultZone: ${EUREKA_SERVER:http://127.0.0.1:${server.port}/eureka/}
      instance:
        # 心跳间隔时间,即发送一次心跳之后,多久在发起下一次(缺省为30s)
        lease-renewal-interval-in-seconds: 5
        # 在收到一次心跳之后,等待下一次心跳的空档时间,大于心跳间隔即可,即服务续约到期时间(缺省为90s)
        lease-expiration-duration-in-seconds: 10
        instance-id: ${EUREKA_INSTANCE_HOSTNAME:${spring.application.name}}:${server.port}@${random.long(1000000,9999999)}
        hostname: ${EUREKA_INSTANCE_HOSTNAME:${spring.application.name}}
    
  • 其他微服务需要注册到所有Eureka中

    # Eureka配置
    eureka:
      client:
        serviceUrl:
          defaultZone: http://eureka-0.eureka:10086/eureka/,http://eureka-1.eureka:10086/eureka/ # Eureka访问地址
      instance:
        preferIpAddress: true
    
    1. 安装Kubernetes Continuous Deploy插件

    2. 修改后的流水线脚本

      def deploy_image_name = "${harbor_url}/${harbor_project_name}/${imageName}"
          //部署到K8S
          sh """
          sed -i 's#\$IMAGE_NAME#${deploy_image_name}#'
          ${currentProjectName}/deploy.yml
          sed -i 's#\$SECRET_NAME#${secret_name}#'
          ${currentProjectName}/deploy.yml
          """
      	kubernetesDeploy configs: "${currentProjectName}/deploy.yml", kubeconfigId: "${k8s_auth}"
      
    3. 建立k8s认证凭证

    4. kubeconfig到k8s的Master节点复制

      cat /root/.kube/config
      
    5. 生成Docker凭证

      Docker凭证,用于Kubernetes到Docker私服拉取镜像

      docker login -u itcast -p Itcast123 192.168.66.102:85 #登录Harbor
      kubectl create secret docker-registry registry-auth-secret --dockerserver=192.168.66.102:85 --docker-username=itcast --docker-password=Itcast123 [email protected] #生成
      kubectl get secret #查看密钥
      
    6. 在每个项目下建立deploy.xml

      Eureka的deply.yml

      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: eureka
        labels:
          app: eureka
      spec:
        type: NodePort
        ports:
          - port: 10086
            name: eureka
            targetPort: 10086
        selector:
          app: eureka
      ---
      apiVersion: apps/v1
      kind: StatefulSet
      metadata:
        name: eureka
      spec:
        serviceName: "eureka"
        replicas: 2
        selector:
          matchLabels:
            app: eureka
        template:
          metadata:
            labels:
              app: eureka
          spec:
            imagePullSecrets:
              - name: $SECRET_NAME
            containers:
              - name: eureka
                image: $IMAGE_NAME
                ports:
                  - containerPort: 10086
                env:
                  - name: MY_POD_NAME
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.name
                  - name: EUREKA_SERVER
                    value: "http://eureka-0.eureka:10086/eureka/,http://eureka-1.eureka:10086/eureka/"
                  - name: EUREKA_INSTANCE_HOSTNAME
                    value: ${MY_POD_NAME}.eureka
        podManagementPolicy: "Parallel"
      

      其他项目的deploy.yml主要把名字和端口修改:

      ---
      apiVersion: v1
      kind: Service
        name: zuul
        labels:
          app: zuul
      spec:
        type: NodePort
        ports:
          - port: 10020
            name: zuul
            targetPort: 10020
        selector:
          app: zuul
      ---
      apiVersion: apps/v1
      kind: StatefulSet
      metadata:
        name: zuul
      spec:
        serviceName: "zuul"
        replicas: 2
        selector:
          matchLabels:
            app: zuul
        template:
          metadata:
            labels:
              app: zuul
          spec:
            imagePullSecrets:
              - name: $SECRET_NAME
            containers:
              - name: zuul
                image: $IMAGE_NAME
                ports:
                  - containerPort: 10020
        podManagementPolicy: "Parallel"
      
    7. 项目构建后,查看服务创建情况

      kubectl get pods -owide
      kubectl get service
      

      效果如下:

你可能感兴趣的:(学习笔记,jenkins,docker,linux)