linux12Devops -->11Jenkins+Docker+SpringCloud微服务持续集成

文章目录

  • Jenkins+Docker+SpringCloud微服务持续集成
      • 大致流程说明:
  • 一、SpringCloud微服务源码概述
    • 微服务项目结构:
    • 数据库结构
    • 微服务配置分析:
    • 本地部署(1)-SpringCloud微服务部署
      • 本地部署微服务
    • 本地部署(2)-前端静态web网站
  • 二、环境准备(1)-Docker快速入门
    • Docker安装
    • Docker基本命令快速入门
  • 环境准备(2)-Dockerfile镜像脚本快速入门
      • Dockerfile简介
      • Dockerfile常见命令
      • 镜像构建示意图:
    • 使用Dockerfile制作微服务镜像
  • 三、环境准备(3)-Harbor镜像仓库安装及使用
    • Harbor简介
    • Harbor安装
      • 注意安装docker harbor报错:
    • 在Harbor创建用户和项目
        • 1)创建项目
        • 2)创建用户
        • 3)给私有项目分配用户
      • 角色说明:
      • 4 )以新用户登录Harbor
    • 把镜像上传到Harbor
    • 从Harbor下载镜像
    • 微服务持续集成(2)-从Gitlab拉取项目源码
    • 微服务持续集成(3)-使用Dockerfile编译、生成镜像
    • 微服务持续集成(4)-上传到Harbor镜像仓库
    • 微服务持续集成(5)-拉取镜像和发布应用

Jenkins+Docker+SpringCloud微服务持续集成

在这里插入图片描述

大致流程说明:

  • 1)开发人员每天把代码提交到Gitlab代码仓库
  • 2)Jenkins从Gitlab中拉取项目源码,编译并打成jar包,然后构建成Docker镜像,将镜像上传到Harbor私有仓库。
  • 3)Jenkins发送SSH远程命令,让生产部署服务器到Harbor私有仓库拉取镜像到本地,然后创建容器。
  • 4)最后,用户可以访问到容器

服务列表(红色的软件为需要安装的软件,黑色代表已经安装)

在这里插入图片描述

一、SpringCloud微服务源码概述

项目架构:前后端分离
后端技术栈:SpringBoot+SpringCloud+SpringDataJpa(Spring全家桶)

微服务项目结构:

在这里插入图片描述

数据库结构

在这里插入图片描述

微服务配置分析:

  • tensquare_eureka
  • tensquare_zuul
  • tensquare_admin_service
  • tensquare_gathering

本地部署(1)-SpringCloud微服务部署

本地运行微服务
1)逐一启动微服务
2)使用postman测试功能是否可用

本地部署微服务

1)SpringBoot微服务项目打包
必须导入该插件

<plugin>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-maven-plugin</artifactId>
</plugin>

打包后在 target下产生jar包
2)本地运行微服务的jar包

java -jar xxx.jar

3)查看效果
在这里插入图片描述
在这里插入图片描述

本地部署(2)-前端静态web网站

前端技术栈:NodeJS+VueJS+ElementUI
使用Visual Studio Code打开源码
1)本地运行
npm run dev
2)打包静态web网站
npm run build
打包后,产生dist目录的静态文件
3)部署到nginx服务器
把dist目录的静态文件拷贝到nginx的html目录,启动nginx
4)启动nginx,并访问
http://localhost:82

二、环境准备(1)-Docker快速入门

Docker 是一个开源的应用容器引擎,基于 Go 语言 Docker容器技术 vs 传统虚拟机技术行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销
极低。
Docker容器技术 vs 传统虚拟机技术
在这里插入图片描述
在这里插入图片描述
简单一句话总结:Docker技术就是让我们更加高效轻松地将任何应用在Linux服务器部署和使用

Docker安装

1)卸载旧版本
yum list installed | grep docker 列出当前所有docker的包
yum -y remove docker的包名称 卸载docker包
rm -rf /var/lib/docker 删除docker的所有镜像和容器
2)安装必要的软件包
sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2
3)设置下载的镜像仓库
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
4)列出需要安装的版本列表
yum list docker-ce --showduplicates | sort -r
5 )安装指定版本(这里使用18.0.1版本)
sudo yum install docker-ce-18.06.1.ce
6)查看版本
docker -v
7)启动Docker
sudo systemctl start docker 启动
sudo systemctl enable docker 设置开机启动
8)添加阿里云镜像下载地址
vi /etc/docker/daemon.json
内容如下:
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://vf52ltmx.mirror.aliyuncs.com"]
}
EOF
9 )重启Docker
sudo systemctl restart docker

Docker基本命令快速入门

1)镜像命令
镜像:相当于应用的安装包,在Docker部署的任何应用都需要先构建成为镜像
docker search 镜像名称 搜索镜像
docker pull 镜像名称 拉取镜像
docker images 查看本地所有镜像
docker rmi -f 镜像名称 删除镜像
docker pull openjdk:8-jdk-alpine
2)容器命令
容器:容器是由镜像创建而来。容器是Docker运行应用的载体,每个应用都分别运行在Docker的每个
容器中。
docker run -i 镜像名称:标签 运行容器(默认是前台运行)
docker ps 查看运行的容器
docker ps -a 查询所有容器
常用的参数:
-i:运行容器
-d:后台守方式运行(守护式)
--name:给容器添加名称
-p:公开容器端口给当前宿主机
-v:挂载目录
docker exec -it 容器ID/容器名称 /bin/bash 进入容器内部
docker start/stop/restart 容器名称/ID 启动/停止/重启容器
docker rm -f 容器名称/ID 删除容器

环境准备(2)-Dockerfile镜像脚本快速入门

Dockerfile简介

Dockerfile其实就是我们用来构建Docker镜像的源码,当然这不是所谓的编程源码,而是一些命令的组合,只要理解它的逻辑和语法格式,就可以编写Dockerfile了。简单点说,Dockerfile的作用:它可以让用户个性化定制Docker镜像。因为工作环境中的需求各式各样,网络上的镜像很难满足实际的需求。

Dockerfile常见命令

在这里插入图片描述

镜像构建示意图:

在这里插入图片描述
可以看到,新镜像是从基础镜像一层一层叠加生成的。每安装一个软件,就在现有镜像的基础上增加一层

  • RUN 、CMD、ENTRYPOINT的区别?
    RUN:用于指定 docker build 过程中要运行的命令,即是创建 Docker 镜像(image)的步骤
    CMD:设置容器的启动命令, Dockerfile 中只能有一条 CMD 命令,如果写了多条则最后一条生效,
    CMD不支持接收docker run的参数。
    ENTRYPOINT:入口程序是容器启动时执行的程序, docker run 中最后的命令将作为参数传递给入口程序 ,ENTRYPOINY类似于 CMD 指令,但可以接收docker run的参数 。

使用Dockerfile制作微服务镜像

我们利用Dockerfile制作一个Eureka注册中心的镜像
1)上传Eureka的微服务jar包到linux
2)编写Dockerfile

FROM openjdk:8-jdk-alpine
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
EXPOSE 10086
ENTRYPOINT ["java","-jar","/app.jar"]
3 )构建镜像
docker build --build-arg JAR_FILE=tensquare_eureka_server-1.0-SNAPSHOT.jar -t eureka:v1 .
4)查看镜像是否创建成功
docker images
5)创建容器
docker run -id --name=eureka -p 10086:10086 eureka:v1
查询容器的log:docker logs -f 容器id
6)访问容器
[root@docker ~]# curl localhost:10086




  
  
    
    
    
    Eureka
    
    

    

  

在这里插入图片描述

三、环境准备(3)-Harbor镜像仓库安装及使用

Harbor简介

在这里插入图片描述
Harbor (港口,港湾)是一个用于存储和分发Docker镜像的企业级Registry服务器。
除了Harbor这个私有镜像仓库之外,还有Docker官方提供的Registry。相对Registry,Harbor具有很
多优势:

  1. 提供分层传输机制,优化网络传输 Docker镜像是是分层的,而如果每次传输都使用全量文件(所以
    用FTP的方式并不适合),显然不经济。必须提供识别分层传输的机制,以层的UUID为标识,确定
    传输的对象。
  2. 提供WEB界面,优化用户体验 只用镜像的名字来进行上传下载显然很不方便,需要有一个用户界
    面可以支持登陆、搜索功能,包括区分公有、私有镜像。
  3. 支持水平扩展集群 当有用户对镜像的上传下载操作集中在某服务器,需要对相应的访问压力作分
    解。
  4. 良好的安全机制 企业中的开发团队有很多不同的职位,对于不同的职位人员,分配不同的权限,
    具有更好的安全性。

Harbor安装

Harbor需要安装在192.168.66.102上面(docker服务器)

1)先安装Docker并启动Docker(已完成)
参考之前的安装过程

2)先安装docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

3 )给docker-compose添加执行权限
sudo chmod +x /usr/local/bin/docker-compose

4)查看docker-compose是否安装成功
docker-compose -version

5)下载Harbor的压缩包(本课程版本为:v2.1.6)
https://github.com/goharbor/harbor/releases
https://github.com/goharbor/harbor/releases/download/v1.10.8-rc1/harbor-offline-installer-v1.10.8-rc1.tgz

6)上传压缩包到linux,并解压
tar xf harbor-offline-installer-v2.1.6-rc1.tgz 
mkdir /opt/harbor
mv harbor/* /opt/harbor
cd /opt/harbor
[root@docker harbor]# ll
总用量 575952
-rw-r--r-- 1 root root      3398 6月  27 19:54 common.sh
-rw-r--r-- 1 root root 589739559 6月  27 19:54 harbor.v1.10.8.tar.gz
-rw-r--r-- 1 root root      5882 6月  27 19:54 harbor.yml
-rwxr-xr-x 1 root root      2284 6月  27 19:54 install.sh
-rw-r--r-- 1 root root     11347 6月  27 19:54 LICENSE
-rwxr-xr-x 1 root root      1749 6月  27 19:54 prepare


7)修改Harbor的配置
hostname: 192.168.66.102
port: 85     默认监听的是80端口,这里我们修改85端口。

8)安装Harbor    
./prepare    准备命令
./install.sh     启动harbor软件

9)启动Harbor
docker-compose up -d 启动
docker-compose stop 停止
docker-compose restart 重新启动

10)访问Harbor
http://192.168.66.102:85
默认账户密码:admin/Harbor12345

在这里插入图片描述

注意安装docker harbor报错:

安装docker harbor 报错:ERROR:root:Error: The protocol is https but attribute ssl_cert is not set
解决方法:打开vim harbor.yml文件注释掉htpps协议
在这里插入图片描述

在Harbor创建用户和项目

1)创建项目

Harbor的项目分为公开和私有的:

  • 公开项目:所有用户都可以访问,通常存放公共的镜像,默认有一个library公开项目。
  • 私有项目:只有授权用户才可以访问,通常存放项目本身的镜像。
    我们可以为微服务项目创建一个新的项目:

在这里插入图片描述
在这里插入图片描述

2)创建用户

在这里插入图片描述
在这里插入图片描述
创建的用户为:eric/Eeric123456

3)给私有项目分配用户

进入tensquare项目->成员
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

角色说明:

访客: 对于指定项目拥有只读权限
开发人员: 对于指定项目拥有读写权限
维护人员 :对于指定项目拥有读写权限,创建Webhooks
项目管理员 :除了读写权限,同时拥有用户管理/镜像扫描等管理权限

4 )以新用户登录Harbor

在这里插入图片描述

把镜像上传到Harbor

1)给镜像打上标签
docker tag eureka:v1 192.168.66.102:85/tensquare/eureka:v1

2)推送镜像
docker push 192.168.66.102:85/tensquare/eureka:v1

报错:The push refers to repository [192.168.66.102:85/tensquare/eureka]
Get https://192.168.66.102:85/v2/: http: server gave HTTP response to HTTPS client
这时会出现以上报错,是因为 Docker没有把Harbor加入信任列表中

3)把Harbor地址加入到Docker信任列表
vi /etc/docker/daemon.json
{
  "registry-mirrors": ["https://vf52ltmx.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.66.102:85"]
}


注意:一定严格按照json格式书写,中间用‘,’分隔
需要重启 Docker
systemctl restart docker

4)再次执行推送命令,会提示权限不足
需要先登录 Harbor,再推送镜像
denied: requested access to the resource is denied

5)登录Harbor
docker login -u 用户名 -p 密码 192.168.66.102:85
docker push 192.168.66.102:85/tensquare/eureka:v1

在这里插入图片描述

在这里插入图片描述

从Harbor下载镜像

需求:在192.168.66.103服务器完成从Harbor下载镜像
1)安装Docker,并启动Docker(已经完成)
2)修改Docker配置
vi /etc/docker/daemon.json
{
 "registry-mirrors": ["https://vf52ltmx.mirror.aliyuncs.com"],
"insecure-registries": ["192.168.66.102:85"]
}

重启 docker
systemctl restart docker

3)先登录,再从Harbor下载镜像
docker login -u 用户名 -p 密码 192.168.66.102:85
docker pull 10.0.0.30:85/tensquare/eureka:v1

在这里插入图片描述

微服务持续集成(2)-从Gitlab拉取项目源码

1)创建pipeline流水线脚本

如图所示:用片段声明器帮助生成脚本
在这里插入图片描述
可以通过标签控制代码的版本
在这里插入图片描述
在这里插入图片描述

pipeline {
   agent any
       environment {
	    GIT_URL = "[email protected]:technology-department/tensquare_back.git" 
	    GIT_AUTH = "4a1ab058-6e6f-4afa-807f-932818642c5a"
       }
 stages {
    stage('拉取代码') {
       steps {
          checkout([$class: 'GitSCM', branches: [[name: "./*${GIT_TAG}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${GIT_AUTH}", url: "${GIT_URL}"]]])
    }
  }
 }
}
pipeline {
   agent any
       environment {
	    GIT_URL = "[email protected]:technology-department/tensquare_back.git" 
	    GIT_AUTH = "4a1ab058-6e6f-4afa-807f-932818642c5a"
       }
 stages {
    stage('拉取代码') {
       steps {
          checkout([$class: 'GitSCM', branches: [[name: "${GIT_TAG}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${GIT_AUTH}", url: "${GIT_URL}"]]])
    }
  }
     stage('编译构建、安装子工程') {
       steps {
          sh "mvn -f tensquare_common clean install"
    }
  }
   stage('编译构建、安装') {
       steps {
          sh "mvn -f ${project_name} clean package"
    }
  }
 }
}

在这里插入图片描述

[root@jenkins tensquare]# mv ../tensquare_parent/ .
[root@jenkins tensquare]# ll
drwxr-xr-x 3 jenkins jenkins 58 8月   1 00:58 tensquare_common
drwxr-xr-x 3 root    root    58 8月   1 05:56 tensquare_parent
这是我本地的maven仓库
[root@jenkins tensquare]# pwd
/data/software/repository/com/tensquare

微服务持续集成(3)-使用Dockerfile编译、生成镜像

利用dockerfile-maven-plugin插件构建Docker镜像
1)在每个微服务项目的pom.xml加入dockerfile-maven-plugin插件


  com.spotify
  dockerfile-maven-plugin
  1.3.6
  
     ${project.artifactId}
     
       target/${project.build.finalName}.jar
     
  

2)在每个微服务项目根目录下建立Dockerfile文件创建镜像

#FROM java:8
FROM openjdk:8-jdk-alpine
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
EXPOSE 10086
ENTRYPOINT ["java","-jar","/app.jar"]

注意:每个项目公开的端口不一样
3)修改pipeline构建脚本

pipeline {
   agent any
       environment {
	    GIT_URL = "[email protected]:technology-department/tensquare_back.git" 
	    GIT_AUTH = "4a1ab058-6e6f-4afa-807f-932818642c5a"
       }
 stages {
    stage('拉取代码') {
       steps {
          checkout([$class: 'GitSCM', branches: [[name: "${GIT_TAG}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${GIT_AUTH}", url: "${GIT_URL}"]]])
    }
  }
     stage('编译构建、安装公共子工程') {
       steps {
          sh "mvn -f tensquare_common clean install"
    }
  }
  stage('编译构建、安装微服务,构建镜像') {
       steps {
          sh "mvn -f ${project_name} clean package dockerfile:build"
    }
  }
 }
}

微服务持续集成(4)-上传到Harbor镜像仓库

1)修改Jenkinsfile构建脚本

pipeline {
   agent any
       environment {
	    GIT_URL = "[email protected]:technology-department/tensquare_back.git" 
	    GIT_AUTH = "4a1ab058-6e6f-4afa-807f-932818642c5a"
	    HARBOR_URL = "192.168.66.102:85"
	    HARBOR_PROJECT_NAME = "tensquare"
	  HARBOR_AUTH = "ef499f29-f138-44dd-975e-ff1ca1d8c933"
	  TAG = "latest"
       }
 stages {
    stage('拉取代码') {
       steps {
          checkout([$class: 'GitSCM', branches: [[name: "${GIT_TAG}"]], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${GIT_AUTH}", url: "${GIT_URL}"]]])
    }
  }
     stage('编译构建、安装公共子工程') {
       steps {
          sh "mvn -f tensquare_common clean install"
    }
  }
  stage('编译构建、安装微服务,构建镜像') {
       steps {
          sh "mvn -f ${project_name} clean package dockerfile:build"
    }
  }
   stage('编译、构建镜像') {
      steps {
       enviroment {imageName = "${project_name}:${tag}"
   }
         sh "docker tag ${imageName}
${harbor_url}/${harbor_project_name}/${imageName}"
 }
}
stage('登录Harbor,并上传镜像') {
      steps {
       withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
passwordVariable: 'password', usernameVariable: 'username')]) 
   }        
    }
   stage('登录') {
      steps {
       sh "docker login -u ${username} -p ${password} ${harbor_url}"
       }
       }
    stage('上传镜像') {
      steps {
       sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
  }
  }
  stage('删除本地镜像') {
      steps {
      sh "docker rmi -f ${imageName}"
   sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
  }
  }     
}
}


在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2 )使用凭证管理Harbor私服账户和密码
先在凭证建立Harbor的凭证,在生成凭证脚本代码
在这里插入图片描述
在这里插入图片描述

微服务持续集成(5)-拉取镜像和发布应用

在这里插入图片描述
注意: 192.168.66.103服务已经安装Docker并启动
安装 Publish Over SSH 插件
安装以下插件,可以实现远程发送Shell命令
在这里插入图片描述

配置远程部署服务器
1)拷贝公钥到远程服务器
ssh-copy-id 192.168.66.103
2)系统配置->添加远程服务器
在这里插入图片描述
修改Jenkinsfile构建脚本
生成远程调用模板代码
在这里插入图片描述
添加一个port参数
在这里插入图片描述

//=====以下为远程调用进行项目部署========

sshPublisher(publishers: [sshPublisherDesc(configName: '', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

M5Ng==,size_16,color_FFFFFF,t_70)
添加一个port参数
在这里插入图片描述

//=====以下为远程调用进行项目部署========

sshPublisher(publishers: [sshPublisherDesc(configName: '', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

你可能感兴趣的:(Devops,devops)