用Jenkins来完成Python程序自动部署

Java环境及Jenkins安装

• 确认Linux系统版本
  执行uname -a命令确认系统版本。

  Linux system03 4.18.0-193.el8.x86_64 #1 SMP Fri May 8 10:59:10 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
  

• 配置代理
  后续安装需要使用yum包管理器和wget下载工具，如果是企业内网环境需要配置代理。

  • 执行vi /etc/yum.conf,添加代理配置

  proxy=proxy_host:port
  

  • 执行vi /etc/wgetrc,添加代理配置

  https_proxy=proxy_host:port
  http_proxy=proxy_host:port 
  

• 安装Jdk
  执行yum search openjdk*，列出有效的Jdk安装文件

    java-1.8.0-openjdk.x86_64 : OpenJDK 8 Runtime Environment
    java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
    java-1.8.0-openjdk-demo.x86_64 : OpenJDK 8 Demos
    java-1.8.0-openjdk-devel.x86_64 : OpenJDK 8 Development Environment
    java-1.8.0-openjdk-headless.x86_64 : OpenJDK 8 Headless Runtime Environment
    java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
    java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed in a single archive
    java-1.8.0-openjdk-src.x86_64 : OpenJDK 8 Source Bundle
    java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
    java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
    java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
    java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
    java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
    java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in a single archive
    java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
    java-11-openjdk-static-libs.x86_64 : OpenJDK libraries for static linking 11
  

  这里选择最新版的java-1.8.0-openjdk-devel.x86_64开发环境安装。
  执行命令yum install -y java-1.8.0-openjdk-devel.x86_64进行安装，安装完成以后执行java -version确认。

  openjdk version "1.8.0_282"
  OpenJDK Runtime Environment (build 1.8.0_282-b08)
  OpenJDK 64-Bit Server VM (build 25.282-b08, mixed mode)
  

  到此Jdk安装成功。

• 安装Jenkins

  由于yum的repos中默认是没有Jenkins，需要先将Jenkins存储库添加到yum的repos。

  这里选择Jenkins的LTS版进行安装，执行以下命令

    wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
    rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
  

  接着，执行安装命令yum install jenkins
  以上步骤完成以后，可以适当修改Jenkins相关配置，满足各自需求。
  vi /etc/sysconfig/jenkins
  最后执行service jenkins start启动服务后，执行service jenkins status查看状态，如果一切安装无误，会出现如下信息

  jenkins.service - LSB: Jenkins Automation Server
  Loaded: loaded (/etc/rc.d/init.d/jenkins; generated)
  Active: active (running) since Tue 2021-04-13 11:25:53 JST; 6 days ago
  

• Jenkins解锁

  • 打开http://host_ip:port，按照下图提示输入cat /var/lib/jenkins/secrets/initialAdminPassword
    
    
    查看管理者密码后，复制粘贴到文本框完成解锁。
  • 接着安装默认插件，企业内网环境在此处需要输入代理服务器相关信息。
  • 创建管理员
  • 登录进入Jenkins管理页面

创建Item

• 点击New Item，输入item name，选中Freestyle project，点击OK即可。

• 在设定页面，首先选中This project is parameterized，添加env参数，用于区分stging/production部署环境。
  

• Source Code Management中，选择Git后，输入对应的仓库地址及相关认证，默认指定master分支

• Build栏，点击Add build step选中Execute shell，此处需要定义每次Jenkins完成代码合并后所需要执行的shell脚本。
  先填入如下所示的测试脚本

  #!/bin/bash
  
  echo "部署环境：$env"
  

• Build Triggers栏，有2种方式出发下面的Build。

  • 选择Poll SCM，可以根据指定的周期轮询仓库，发现有新版本时自动触发Build，此为被动触发
  • 主动触发需要自己编写本地仓库下./git/hooks下的钩子脚本

• 完成项目创建后，点击Build with Parameters，测试Build。
  成功后，输出如下所示

  Started by user admin
  Running as SYSTEM
  Building in workspace /home/root/workspace/test
  The recommended git tool is: git
  using credential 仓库认证
  Cloning the remote Git repository
  Cloning repository 远程仓库地址
  > git init /home/root/workspace/test # timeout=10
  Fetching upstream changes from 远程仓库地址
  > git --version # timeout=10
  > git --version # 'git version 2.16.5'
  using GIT_ASKPASS to set credentials 
  Setting http proxy: 10.3.32.201:8080
  > git fetch --tags --progress -- 远程仓库地址 +refs/heads/*:refs/remotes/origin/* # timeout=10
  > git config remote.origin.url 远程仓库地址 # timeout=10
  > git config --add remote.origin.fetch +refs/heads/*:refs/remotes/origin/* # timeout=10
  Avoid second fetch
  > git rev-parse refs/remotes/origin/master^{commit} # timeout=10
  Checking out Revision d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 (refs/remotes/origin/master)
  > git config core.sparsecheckout # timeout=10
  > git checkout -f d9097fb5b5320565ab3291fb1ae80f3fc7e726c4 # timeout=10
  Commit message: "format"
  First time build. Skipping changelog.
  [test] $ /bin/bash /tmp/jenkins5715523532502007103.sh
  部署环境：stg
  Finished: SUCCESS
  

脚本编写

• 由于自定义执行的shell是在Jenkins编译完成以后，根据初次编译的log可以很清晰的看出Jenkins的编译过程，通过在本地保持副本，每次Build时会拉取仓库最新的HEAD标签，本地通过checkout命令指向最新标签完成合并。由此为了获取本地和仓库变更文件列表，可以使用change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)实现
• 将变更代码替换程序部署目录时，使用cp --path -a -v $change_files $app_folder命令，cp --path命令会自动创建相应子目录，然后把文件复制到对应的子目录下。
• 使用以下函数完成变更文件类型检测

  #参数1-检测文件列表，参数2-文件后缀名
  is_assign_file() {
      for file in $1; do
          if [ "${file##*.}" = "$2" ]; then
              return 0
          fi
      done
      return 1
  }
  

  实际调用is_assign_file "$change_files" "py"，如此可检测是否包含python文件来决定是否重启应用程序。
• 使用scp传递文件到其他服务器，使用ssh命令完成在此服务器上执行命令。
• 最后附上一份自己使用的脚本

  #!/bin/bash
  
  #判断是否包含某类型文件
  is_assign_file() {
      for file in $1; do
          if [ "${file##*.}" = "$2" ]; then
              return 0
          fi
      done
      return 1
  }
  
  #递归获取指定文件夹下所有文件名
  ergodic() {
      for file in $(ls $1); do
          if [ -d $1"/"$file ]; then
              ergodic $1"/"$file
          else
              #local path=$1"/"$file
              local name=$file
              #local size=`du --max-depth=1 $path|awk '{print $1}'`
              echo $name
          fi
      done
  }
  
  
  base_folder=/home/work
  project="test"
  
  target_folder=${base_folder}/app
  app_folder=$target_folder"/${project}"
  tmp_folder=$target_folder"/tmp/${project}"
  
  if [ $env == "stg" ]; then
      change_files=$(git reflog -1 | cut -d ' ' -f6,8 | xargs git diff --name-only)
      cp --path -a -v $change_files $app_folder
      cp --path -a -v $change_files $tmp_folder
  
      is_assign_file "$change_files" "py"
      if [ "$?" == 0 ]; then
          cd $target_folder
          echo "此处执行程序重新构建脚本"
      fi
  elif [ $env == "prod" ]; then
      prod_host=产品环境
      prod_folder=/home/work
      prod_app_folder=$prod_folder"/app/${project}"
      prod_release_folder=${prod_folder}/app/release
  
      if [ -n "$(ls -A $tmp_folder 2>/dev/null)" ]; then
          timestamp=$(date +"%Y%m%d%H%M%S")
          scp -i /root/.ssh/id_rsa -r -p $tmp_folder root@$prod_host:$prod_release_folder
  
          ssh root@$prod_host "cd ${prod_folder}/app; tar -cf ${project}_bak.tar ${project}; 
                          cp -a -r -v release/${project}/* ${project}; 
                          mv -f -v release/${project}/ release/${project}_${timestamp}"
  
          change_files=$(ergodic $tmp_folder)
          is_assign_file "$change_files" "py"
          if [ "$?" == 0 ]; then
              echo "此处执行程序重新构建脚本"
          fi
  
          rm -rfv $tmp_folder/*
      else
          echo "没有变更文件。"
      fi
  else
      echo "环境参数错误"
  fi