中文意思是持续集成 (Continuous Integration, CI) 是一种软件开发流程,核心思想是在代码库中的每个提交都通过自动化的构建和测试流程进行验证。这种方法可以帮助团队更加频繁地交付软件,并尽早发现和修复潜在的问题,从而提高软件质量和开发效率。
持续交付(Continuous Delivery,简称CD)是一种软件开发和交付的方法论,旨在通过自动化流程,实现软件的频繁交付和部署。CD的目标是使软件交付过程更加高效、可预测和可靠。
在传统的软件开发模式中,软件交付通常是一个周期较长的过程,包括各种手动的测试和部署步骤。而CD则通过自动化来减少这些手动步骤,从而加快软件的交付速度,降低错误率,并提高整体的质量。
CI 的基本原理是将代码库中的每个变更都自动构建和测试,如果构建和测试成功,则可以将代码合并到主干分支上。这样可以确保代码库始终处于可编译、可测试和可部署的状态,避免因为代码冲突、依赖问题等导致的不稳定和错误。
总:持续集成是一种关键的软件开发流程,它可以帮助团队更好地管理代码变更的质量和稳定性,提高软件质量和开发效率。
①Build:构建阶段,通过自动化构建工具将代码编译成可执行文件。
②Test:测试阶段,运行各种类型的自动化测试以验证代码质量。
③Review:检视阶段,通过人工审核和自动代码审查来检查代码变更是否符合标准。
④Staging:预发布阶段,在部署到生产环境之前,在生产相似的环境中部署和测试应用程序。
⑤Production:生产环境阶段,部署和运行在生产环境中运行应用程序。
在Gitlab CI/CD的每个阶段中,都可以设置自动化策略和规则来触发构建、测试和部署过程,并且可以灵活配置流水线来适应不同的开发和部署需求。
(1)一体化平台:GitLab提供了一体化的开发平台,包括版本控制、问题追踪、代码审查和CI/CD等功能。这样可以方便团队在一个平台上管理和协作,减少了不同工具之间的集成和配置复杂性。
(2)简单易用:GitLab的CI/CD配置使用基于YAML的声明式语法,非常易于阅读和理解。通过简单的配置文件,可以定义构建、测试和部署流程,快速实现自动化。
(3)强大的持续集成能力:GitLab的CI/CD集成了强大的持续集成功能,可与各种构建工具(如Maven、Gradle、npm等)和测试框架(如JUnit、Selenium等)无缝集成。它支持并行构建、缓存依赖项、报告生成等功能,可以快速发现和解决代码问题。
(4)高度可定制:GitLab的CI/CD提供了丰富的可定制选项,可以根据团队的需求进行灵活配置。可以自定义构建阶段、测试策略、部署目标等,并根据需要添加自定义脚本或命令。
(5)容器技术支持:GitLab的CI/CD天然集成了容器技术,如Docker和Kubernetes,它们提供了更高效、可移植和可扩展的部署方式。可以使用预定义的Docker镜像或自定义的容器来执行构建、测试和部署任务。
(6)集成DevOps工作流:GitLab的CI/CD紧密集成了DevOps工作流。通过自动化构建、测试和部署,团队可以更好地实现快速交付、频繁部署和持续改进。这可以大大提高开发团队的效率和产品质量。
(7)自动化部署和环境管理:GitLab的CI/CD提供了易于配置和管理的自动化部署功能。可以定义不同的部署策略(如蓝绿部署、灰度发布等)并针对不同的环境(如开发、测试、生产等)进行部署。
总:GitLab的CI/CD提供了开箱即用的持续集成和持续交付解决方案,帮助团队更快捷、高效地构建、测试和部署软件。其简单易用、可定制性强、与DevOps工作流的紧密集成等特点,使得它成为许多开发团队首选的CI/CD工具。
(1)支持各种语言和工具:Jenkins 可以集成多种编程语言和工具,包括 Java、Python、JavaScript 等,还可以与 Git、SVN 等常见代码管理工具一起使用。
(2)大量插件:Jenkins 具有丰富的插件生态系统,以支持各种用例和场景。可以从 Jenkins 插件中心轻松地安装和配置插件,以扩展 Jenkins 的功能。
(3)易于配置:Jenkins 非常灵活且易于配置。它可以通过 Web 界面或 Groovy 脚本进行配置,使得开发者能够轻松自定义和优化构建过程。
(4)支持分布式构建:Jenkins 可以将任务分配到多个节点上进行并行构建,提高构建效率。除此之外,还有一些辅助工具可帮助开发者优化构建过程,例如 Jenkins Pipeline 和 Jenkins Blue Ocean 等。
Gitlab CI/CD是Gitlab的一部分,Gitlab是一个web应用程序,是将状态存储在数据库中的API。
除Gitlab的所有功能外,还可以管理项目、构建并提供一个不错的用户界面。
Gitbal Runner是一个处理构建的应用程序。
它可以单独部署,并通过API 与 Gitlab CI/CD 一起使用。
为了运行测试,至少需要一个Gitlab实例和一个Gitlab Runner。
(1)把代码托管到git存储库中;
(2)在项目根创建ci文件 .gitlab-ci.yml,在文件中指定构建,测试和部署脚本;
(3)gitlab将检测到它并使用名为gitlab runner的工具运行脚本;
(4)脚本被分组为作业,它们共同组成了一个管道。
(1)Jenkins 是一个流行的自动化开源 CI/CD (Continuous Integration/Continuous Delivery) 工具,可帮助开发者实现自动化部署、构建和测试。
(2)在软件开发过程中,Jenkins 可以通过不断地集成和检查代码库来帮助团队快速构建和发布软件。Jenkins 会根据指定的时间间隔或触发器自动运行构建任务,然后将构建后的包部署到预设的环境中。与传统的手动构建和部署相比,Jenkins 可以减少错误、提高效率,并最大程度地减少让开发人员进行重复性、机械化的工作。
官网:https://www.jenkins.io/
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具。
主要做的事有以下几个方面:
(1)从git中拉取代码,根据配置信息打包;、
(2)把打好的包传输到目标服务器,并可以执行一些shell脚本,使项目打包发布一键完成。
(1)可扩展性:Jenkins 提供了大量的插件来扩展其功能,可以满足不同项目的需求,如构建、测试、部署等。
(2)自动化:Jenkins 可以自动执行各种任务,如代码编译、单元测试、代码分析、打包、部署等,提高开发效率。
(3)分布式构建:Jenkins 支持将构建任务分布到多个节点上进行并行处理,加快构建速度。
(4)触发器:Jenkins 可以通过时间触发、代码提交触发、远程触发等方式启动构建任务。
(5)构建历史和报告:Jenkins 提供了详细的构建历史记录和生成的报告,方便开发团队进行回溯和分析。
(6)可配置性:Jenkins 提供了灵活的配置选项,可以根据项目需求进行定制,如构建环境、参数设置等。
(7)可视化界面:Jenkins 提供了直观的用户界面,方便用户管理和监控构建任务。
(8)社区支持:Jenkins 拥有活跃的社区,提供了丰富的文档、插件和支持资源,便于用户学习和解决问题。
服务器 | IP地址 |
---|---|
Gitlab仓库服务器 | 192.168.198.11 |
Jenkins服务器(JDK、Git、Maven) | 192.168.198.12 |
Tomcat测试服务器 | 192.168.198.13 |
①开发人员每天进行代码提交,提交到Git仓库
②Jenkins作为持续集成工具,使用Git工具到Git仓库拉取代码到集成服务器,再配合JDK、Maven等软件完成代码编译,代码测试与审查,测试,打包等工作,在这个过程中每一步出错,都需要重新再执行一次整个流程。
③Jenkins把生成的jar或war包分发到测试服务器或者生产服务器,测试人员或用户就可以访问应用。
GitLab是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务。
官网:https://about.gitlab.com/
总:如果需要托管私有项目并需要更多的功能特性和团队协作支持,可以选择 GitLab;如果是一个开源项目或个人开发者,需要简单易用、社区友好的平台,可以选择 GitHub。
①环境基础安装
#安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix
#启动ssh服务&设置为开机启动
systemctl enable sshd && systemctl start sshd
#设置postfix开机自启,并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
#开放ssh以及http服务,然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
如果关闭防火墙就不需要做以上配置
关闭防火墙和增强机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
#使用命令行模式在线下载
cd /opt
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/gitlabce/yum/el7/gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
#在线下载下不下来可以在官网上先下载安装包再进行安装
下载地址:https://packages.gitlab.com/gitlab。本文下载的是社区版(CE) gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm 下载完成后上传到服务器上进行备用。
#--no-check-certificate 不进行证书验证
rpm -ivh gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
widows下载安装包:https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
vim /etc/gitlab/gitlab.rb
external_url 'http://xxxxxxx' #29行,ip地址:端口;外部访问的地址
unicorn['worker_processes'] = 2 #798行,取消注释,设置gitlab占用内存大小
nginx['listen_port'] = 82 #1197默认注释。修改为82端口
#保存退出,重新加载配置
gitlab-ctl reconfigure #重新加载配置
gitlab-ctl restart #重启服务
#开机自启
systemctl enable gitlab-runsvdir.service
浏览器用IP 直接访问 IP:http://192.168.198.11:88
修改管理员密码后,即可登录
组权限的等级分类:
Private 私有的,只有你自己或者组内的成员能访问
Internal 所有登录的用户
Public 公开的,所有人都可以访问
git config --global user.name "root" #全局声明
git clone http://192.168.198.11:88/root/web-test.git #将项目克隆到服务器
输入密码:000000,此密码是登录Gitlab设置的密码
cd web-test #切换目录并上传到此目录下
ls
git add . #将代码上传到工作区
git commit -m "Initial commit" #提交代码申明
git push -u origin master #将代码推送到Gitlab
Gitlab用户在组里面有5种不同权限:
Guest:可以创建issue、发表评论,不能读写版本库
Reporter:可以克隆代码,不能提交,QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push,普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目,核心开发可以赋予这个权限
Owner:可以设置项目访问权限·Visibility Level、删除项目、迁移项目、管理组成员,开发组组长可以赋予这个权限
#关闭防火墙和安全机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
官网:https://www.jenkins.io/
新版的Jenkins需要安装jdk11的JAVA环境,所以要配置JDK
下载完之后拖到opt目录下
下载jdk网站:https://www.oracle.com/africa/java/technologies/javase/jdk11-archive-downloads.html
下载jenkins安装包:https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat-stable/
cd /opt/
ls
#安装JDK11
rpm -ivh jdk-11.0.15.1_linux-x64_bin.rpm
#安装Jenkins
rpm -ivh jenkins-2.361.3-1.1.noarch.rpm
#查看jdk
java -version
vim /etc/sysconfig/jenkins
JENKINS_PORT="8080" #58行修改默认端口,根据所需修改
systemctl start jenkins.service
http://192.168.198.12:8080
cat /var/lib/jenkins/secrets/initialAdminPassword
Jenkins->Manage Jenkins->Manage Plugins,点击Available,搜索Chinese、Locale插件
在Manage Jenkins–>Configure System中设置
解决插件安装完,中文简体部分不翻译在Locale中,将语言设置为en_US,重启,再设置为zh_CN;注:zh_TW为中文繁体
Role-based Authorization Strategy:主要用于用户权限管理
全局角色:管理员等高级用户可以创建基于全局的角色
项目角色︰针对菜个或者某些项目的角色
节点角色︰节点相关的权限
我们添加以下三个角色:
TEST: 该角色为全局角色。这个角色需要绑定Dverall下面的Read权限,是为了给所有用户绑定最基本的jenkins访问权限。
注意:如果不给后续用户绑定这个角色,会报错误:用户名is missing the Overall/Read permission
test1:该角色为项目角色。使用正则表达式绑定zjf.*,意思是只能操作zjf开头的项目。
test2:该角色也为项目角色。绑定whd.*,意思是只能操作whd开头的项目。
点击下面的保存,应用
路径:系统管理–>管理用户–>新建用户
新建两个用户008与088
系统管理–>Manage and Assign Roles–>Assign Rples
点击下面的保存,应用
点击右上角的注销——登录到008用户上
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等,以便Jenkins可以和这些第三方的应用进行交互。
安装完插件后在系统管理,多了两个功能菜单
系统管理–> Credentials
Username with password:用户名和密码 比如使用Gitlab拉取代码
SSH Username with private key:使用SSH用户和密钥 SSH免密登录
Secret file:需要保密的文本文件,使用时Jenkins会将文件复制到一个临时目录中,再将文件路径设置到
一个变量中,等构建结束后,所复制的Secret file就会被删除。
Secret text:需要偃存的一个加密的文本串,如钉钉机器人或Github的api token
Certificate:通过上传证书文件的方式
常用的凭证类型有: Username with password(用户密码)和SSH Username with private key (SSH密
钥)
接下来以使用Git工具到Gitlab拉取项目源码为例,演示Jenkins的如何管理Gitlab的凭证。
为了让Jenkins支持从Gitlab拉取源码,需要安装Git插件以及在CentOs7上安装Git工具Git插件安装
安装Git工具
#安装git工具
yum install -y git
#查看git版本
git --version
SSH免密登录
路径:系统管理-->Manage Credentials
#在Gitlab服务器上,使用root用户生成钥匙对
ssh-keygen
#/root/.ssh/目录保存公钥和使用
ls /root/.ssh/
id_rsa:私钥文件
id_rsa.pub:公钥文件
把生成的公钥放在Gitlab中,使用root用户登录Gitlab
#查看服务器上的公钥内容,复制粘贴到gitlab网页上
cat /root/.ssh/id_rsa.pub
#将私钥内容复制到Jenkins
cat /root/.ssh/id_rsa
打开gitlab,选择仓库,复制仓库ssh克隆地址
测试,选择red的任务,选择立即构建进行拉取gitlab代码
在Jenkins集成服务器上,我们需要安装Maven来编译和打包项目。
Maven官网:https://maven.apache.org/download.cgi
#解压安装包
tar -xf apache-maven-3.9.5-bin.tar.gz
#移动文件到系统本地
mv apache-maven-3.9.5 /usr/local/maven
#查看jdk版本
java -version
#配置相关环境变量,G到最后一行,o输入
vim/etc/profile
export JAVA_HOME=/usr/java/jdk-11.0.15.1
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
#刷新配置
source /etc/profile
#查看Maven版本
mvn -v
拓展:如何卸载当前jdk版本安装需要的jdk
#卸载当前
sudo rpm -e jdk-11-2000:11.0.20-9.x86_64
#安装
sudo rpm -ivh jdk-11.0.15.1_linux-x64_bin.rpm
示例:
打开全局工具设置
新增jdk
添加maven
新增maven——添加名称——取消掉自动安装然后添加环境变量里设置的路径
点击应用——保存
打开系统设置——全局属性中添加键值对
#创建本地仓库目录
mkdir /opt/repo
vim /usr/local/maven/conf/settings.xml
保存退出
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#上传安装包
apache-tomcat-8.5.16.tar.gz
jdk-8u371-linux-x64.rpm
#解压,安装JDK
rpm -ivh jdk-8u371-linux-x64.rpm
#解压
tar zxvf apache-tomcat-8.5.16.tar.gz
#新建文件
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_371-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#刷新变量
source /etc/profile.d/java.sh
mvn help:system
#出现以下现象,则说明mvn配置正确
#移动解压包到指定目录
mv apache-tomcat-8.5.16 /usr/local/tomcat
#创建用户,便于管理服务
useradd -M -s /sbin/nologin tomcat
chown -R tomcat:tomcat /usr/local/tomcat
#添加启动脚本:
cd /usr/local/tomcat/
vim /etc/init.d/tomcat
#!/bin/bash
#chkconfig: 35 80 25
#description:Tomcat Service Control Script
start="/usr/local/tomcat/bin/startup.sh"
stop="/usr/local/tomcat/bin/shutdown.sh"
case "$1" in
start)
$start
;;
stop)
$stop
;;
restart)
$0 stop
$0 start
;;
*)
echo "$0 {start|stop|restart}"
esac
#设置:
#添加执行权限
chmod +x /etc/init.d/tomcat
#添加到系统服务
chkconfig --add tomcat
systemctl start tomcat
#查看服务是否启动
lsof -i:8080
#添加tomcat用户密码用于终端登录
vim /usr/local/tomcat/conf/tomcat-users.xml
#开启终端访问,修改以下配置,默认不许允许远程访问,现在需要注释掉
vim /usr/local/tomcat/webapps/manager/META-INF/context.xml
#重启服务
systemctl start tomcat
systemctl status tomcat.service
http://192.168.198.13:8080/
点击输入用户和密码
本文是用户名:tomcat
密码:123456
Jenkins Pipeline 是一种强大的工具,可以以可维护和可复用的方式定义和执行持续交付或持续集成流水线。Pipeline 是基于代码的方式来描述整个持续交付过程,它将整个软件交付流程划分为多个阶段和步骤,并提供了强大的编排和控制能力。
Jenkinsfile 基于代码方式:
声明式 Pipeline:
脚本式 Pipeline:
Pipeline 脚本是由 Groovy 语言实现的,但是我们没必要单独去学习 Groovy
Pipeline 支持两种语法:Declarative(声明式)和 Scripted Pipeline(脚本式)语法
Pipeline 也有两种创建方法:可以直接在 Jenkins 的 Web UI 界面中输入脚本;也可以通过创建一个 Jenkinsfile 脚本文件放入项源码库中(一般我们都推荐在 Jenkins 中直接从源代码控制(SCM)中直接载入 Jenkinsfile Pipeline 这种方法)
安装完成创建流水线项目,相关操作等请参考其他
以通过编写自定义的脚本来满足特定的需求,并且可以扩展为支持多个环境和平台。
Jenkinsfile 基于代码方式:
声明式 Pipeline:
脚本式 Pipeline:
Pipeline 脚本是由 Groovy 语言实现的,但是我们没必要单独去学习 Groovy
Pipeline 支持两种语法:Declarative(声明式)和 Scripted Pipeline(脚本式)语法
Pipeline 也有两种创建方法:可以直接在 Jenkins 的 Web UI 界面中输入脚本;也可以通过创建一个 Jenkinsfile 脚本文件放入项源码库中(一般我们都推荐在 Jenkins 中直接从源代码控制(SCM)中直接载入 Jenkinsfile Pipeline 这种方法)
安装完成创建流水线项目,相关操作等请参考其他