大致流程说明:
1.开发人员每天把代码提交到Gitlab代码仓库
2.Jenkins从Gitlab中拉取项目源码,编译并打成jar包,然后构建成Docker镜像,将镜像上传到Harbor私有仓库。
3.Jenkins发送SSH远程命令,让生产部署服务器到Harbor私有仓库拉取镜像到本地,然后创建容器。
4.最后,用户可以访问到容器
这里不讲述Docker的安装及基础命令的使用,学dockers可以看 Docker 概念、命令、DockerFile等看这篇就够了 这篇文章
Harbor 镜像仓库安装及使用
Harbor(港口,港湾)是一个用于存储和分发Docker镜像的企业级Registry服务器。除了Harbor这个私有镜像仓库之外,还有Docker官方提供的Registry。相对Registry,Harbor具有很多优势:
- 提供分层传输机制,优化网络传输 Docker镜像是是分层的,而如果每次传输都使用全量文件(所以
用FTP的方式并不适合),显然不经济。必须提供识别分层传输的机制,以层的UUID为标识,确定
传输的对象。 - 提供WEB界面,优化用户体验 只用镜像的名字来进行上传下载显然很不方便,需要有一个用户界
面可以支持登陆、搜索功能,包括区分公有、私有镜像。 - 支持水平扩展集群 当有用户对镜像的上传下载操作集中在某服务器,需要对相应的访问压力作分
解。 - 良好的安全机制 企业中的开发团队有很多不同的职位,对于不同的职位人员,分配不同的权限,
具有更好的安全性。
Harbor 安装
- 除了docker以外,还要安装dockers-compose,Docker Compose 命令及使用 你可以看这篇博客
- 下载Harbor的压缩包,地址,需要科式上网,下载完成开始解压
tar -xzf harbor-offline-installer-v1.9.2.tgz
mv harbor /opt/software/
# 修改配置文件内容
vim /opt/software/harbor/harbor.yml
# 修改hostname
hostname: 你自己机器的IP
# 修改端口
port: 85
- 安装Harbor
cd /opt/software/harbor
./prepare
./install.sh
- 启动Harbor
docker-compose up -d 启动
docker-compose stop 停止
docker-compose restart 重新启动
- 访问Harbor http://IP:85,默认账户密码:admin/Harbor12345
Harbor 使用
1.创建项目
Harbor的项目分为公开和私有的:
- 公开项目:所有用户都可以访问,通常存放公共的镜像,默认有一个library公开项目。
- 私有项目:只有授权用户才可以访问,通常存放项目本身的镜像。
我们可以为微服务项目创建一个新的项目:
2.用户创建
3.为用户分配项目
推送到镜像仓库
# 打标签,命令 docker tag nginx:1.17.1 Harbor的IP:端口/Harbor项目的名称/镜像名字
docker tag nginx:1.17.1 192.168.81.102:85/test/nginx:1.17.1
# 查看
docker images
# 会多一条镜像数据
192.168.81.102:85/test/nginx 1.17.1 98ebf73aba75 2 years ago 109MB
把Harbor地址加入到Docker信任列表
# 编辑docker文件
vim /etc/docker/daemon.json
# 加入这句话
"insecure-registries":["192.168.81.102:85"],
# 重启配置和docker
systemctl restart docker
# Harbor 的 test 项目是私有的,需要登录
docker login -u admin -p Harbor12345 192.168.81.102:85
# 推送到Harbor仓库里
docker push 192.168.81.102:85/test/nginx
其他服务下载镜像也需要把地址添加到docker的配置文件中,并且也需要使用 docker login 进行登录。复制以下的命令,到其他服务器下执行即可。
微服务构建到docker镜像
1.把微服务提交到 SVN
2.在jenkins上创建一个 Pipelin 类型的 item(项目)
3.配置Pipelin item的构建时参数
这里讲一点,项目中很多的 jar 是有依赖关系的,如果单独打某个服务可能会包找不到依赖,所以建议第一次对根目录进行打包,会把依赖全部加载到maven库中,后期单个服务打包即可。
4.在每个服务的pom文件中添加 plugin
com.spotify
dockerfile-maven-plugin
1.3.6
${project.artifactId}
target/${project.build.finalName}.jar
5.在每个服务的根目录下编写 Dockerfile 文件
FROM openjdk:8-jdk-alpine
# 这个会读取在pom中声明的变量
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
# 对外端口
EXPOSE 10086
ENTRYPOINT ["java","-jar","/app.jar"]
6.设置构建后镜像推至镜像仓库
7.在项目的根目录中编写 Jenkinsfile
node {
// 版本
def tag = "1.0"
// 镜像仓库的地址
def harbor_url = "192.168.81.102:85"
// 镜像仓库的项目,这里建议项目名称和jenkins的item项目名称、以及harbor的项目名称保持一致,否则用一下脚本会出问题
def harbor_project = "demo"
// 拉取代码
stage('pull code') {
checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: '80dfe5c5-1684-47b1-a410-6f53ceb3c543', url: 'http://192.168.81.15:3000/biguncle/test.git']]])
}
// 编译并推送镜像仓库
stage('build project') {
if ("${project_name}" == 'demo' ) {
echo '打包根目录'
sh 'mvn clean package dockerfile:build'
} else {
echo "打包子目录 ${project_name}"
sh "mvn -f ${project_name} clean package dockerfile:build"
}
echo "把jar上传镜像仓库"
def oldImageName = "${project_name}:latest"
def newImageName = "${harbor_url}/${harbor_project}/${project_name}:${tag}"
// 改名称 做规范
sh "docker tag ${oldImageName} ${newImageName}"
// 删除之前的 镜像
sh "docker rmi ${oldImageName}"
// 推送到 dockers仓库
withCredentials([usernamePassword(credentialsId: '8a3d7ab1-4cd6-482c-86c9-a12aa6404d98', passwordVariable: 'harbor_password', usernameVariable: 'harbor_account')]) {
// 登录
sh "docker login -u ${harbor_account} -p ${harbor_password} ${harbor_url}"
// 上传
sh "docker push ${newImageName}"
echo "镜像推送成功"
}
}
// 发送邮件
stage('send email') {
emailext body: '''
${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志
(本邮件是程序自动下发的,请勿回复!)
构建结果 - ${BUILD_STATUS}
构建信息
- 项目名称 : ${PROJECT_NAME}
- 构建编号 : 第${BUILD_NUMBER}次构建
- 触发原因: ${CAUSE}
- 构建日志:
${BUILD_URL}console
- 构建 Url :
${BUILD_URL}
- 工作目录 :
${PROJECT_URL}ws
- 项目 Url :
${PROJECT_URL}
Changes Since Last Successful Build:
- 历史变更记录 : ${PROJECT_URL}changes
${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:
%c
",showPaths=true,changesFormat="[%a]
%m
",pathFormat=" %p"}
Failed Test Results
$FAILED_TESTS
构建日志 (最后 100行):
''', mimeType: 'text/html', subject: '43243214321', to: '[email protected]'
}
}
jenkins自动化服务拉取镜像并启动
这部操作需要安装一个 Publish Over SSH 插件,安装好后在Manager Jenkins -> Configure System 进行配置
更改 Jenkinsfile 脚本,添加远程机器拉取镜像并启动容器,具体语法怎么使用,可以到 流水线语法中查看
node {
// 版本
def tag = "1.0"
// 镜像仓库的地址
def harbor_url = "192.168.81.102:85"
// 镜像仓库的项目,这里建议项目名称和jenkins的item项目名称、以及harbor的项目名称保持一致,否则用一下脚本会出问题
def harbor_project = "demo"
// 拉取代码
stage('pull code') {
checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: '80dfe5c5-1684-47b1-a410-6f53ceb3c543', url: 'http://192.168.81.15:3000/biguncle/test.git']]])
}
// 编译并推送镜像仓库
stage('build project') {
if ("${project_name}" == 'demo' ) {
echo '打包根目录'
sh 'mvn clean package dockerfile:build'
} else {
echo "打包子目录 ${project_name}"
sh "mvn -f ${project_name} clean package dockerfile:build"
}
echo "把jar上传镜像仓库"
def oldImageName = "${project_name}:latest"
def newImageName = "${harbor_url}/${harbor_project}/${project_name}:${tag}"
// 改名称 做规范
sh "docker tag ${oldImageName} ${newImageName}"
// 删除之前的 镜像
sh "docker rmi ${oldImageName}"
// 推送到 dockers仓库
withCredentials([usernamePassword(credentialsId: '8a3d7ab1-4cd6-482c-86c9-a12aa6404d98', passwordVariable: 'harbor_password', usernameVariable: 'harbor_account')]) {
// 登录
sh "docker login -u ${harbor_account} -p ${harbor_password} ${harbor_url}"
// 上传
sh "docker push ${newImageName}"
echo "镜像推送成功"
}
// 远程调用脚本,port 最好也添加 jenkins项目配置里的参数配置,作为参数传进来
echo "执行远程命令 /home/server/deploy.sh ${harbor_url} ${harbor_project} ${project_name} ${tag} ${port}"
sshPublisher(publishers: [sshPublisherDesc(configName: 'test_103', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "/home/server/deploy.sh ${harbor_url} ${harbor_project} ${project_name} ${tag} ${port}", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
}
// 发送邮件
stage('send email') {
emailext body: '''
${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志
(本邮件是程序自动下发的,请勿回复!)
构建结果 - ${BUILD_STATUS}
构建信息
- 项目名称 : ${PROJECT_NAME}
- 构建编号 : 第${BUILD_NUMBER}次构建
- 触发原因: ${CAUSE}
- 构建日志:
${BUILD_URL}console
- 构建 Url :
${BUILD_URL}
- 工作目录 :
${PROJECT_URL}ws
- 项目 Url :
${PROJECT_URL}
Changes Since Last Successful Build:
- 历史变更记录 : ${PROJECT_URL}changes
${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:
%c
",showPaths=true,changesFormat="[%a]
%m
",pathFormat=" %p"}
Failed Test Results
$FAILED_TESTS
构建日志 (最后 100行):
''', mimeType: 'text/html', subject: '43243214321', to: '[email protected]'
}
}
重新构建,其他服务器就会自动拉取了。
其他服务器一定要有 jenkins 服务器的公钥,构建过程 SSH 不会输出任何信息只会告诉你 EXEC 执行了多久,需要自己去测一下。
vue 前端使用Jenkins部署
1.首先需要安装 NodeJS 插件
2.到Manager Jenkins->Global Tool Configuration->NodeJS
3.创建一个流水线的前端项目,根据脚本把配置补全
node {
stage('拉取代码') {
checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: '80dfe5c5-1684-47b1-a410-6f53ceb3c543', url: 'http://192.168.81.15:3000/biguncle/test_vue.git']]])
}
stage('打包,部署网站') {
//使用NodeJS的npm进行打包,这个和 以上的 name 保持一致
nodejs('nodejs12'){
sh '''
npm install
npm run build
'''
}
//=====以下为远程调用进行项目部署========
sshPublisher(publishers: [sshPublisherDesc(configName: 'master_server',transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '',execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes:false, patternSeparator: '[, ]+', remoteDirectory: '/usr/share/nginx/html',remoteDirectorySDF: false, removePrefix: 'dist', sourceFiles: 'dist/**')],usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
}
}
从脚本中可以看出,我们需要一个 branch 参数,还要配置 前端项目的 远程 server 地址
这里没有使用execCommand的命令,而是通过 sourceFiles、removePrefix、remoteDirectory,sourceFiles 代表我们copy哪个文件,remoteDirectory 远程目录,特就是copy到nginx所在目录
57-62