DevOps 运维实践经验+实例

DevOps 实践经验

以下列举了一些 DevOps 最佳实践：

  • 持续集成
  • 持续交付
  • 微服务
  • 基础设施代码
  • 监控和日志记录
  • 沟通与合作

持续集成-CI

采用持续集成时，开发人员会定期将他们的代码变更合并到一个中央存储库中，之后系统会自动运行构建和测试操作。持续集成的主要目标是更快发现并解决错误，提高软件质量，并缩短验证和发布新软件更新所需的时间。

持续交付-CD

是通过持续交付系统可以自动构建和测试代码更改，并为将其发布到生产环境做好准备。持续交付可以在构建阶段后将所有代码变更都部署到测试环境和/或生产环境中，从而实现对持续集成的扩展。当持续交付得以正确实施时，开发人员将始终能够获得一个已通过标准化测试流程的部署就绪型构建工件。

微服务

微服务架构是一种将单个应用程序构建为一系列小服务的设计方法。其中每个服务均按各自的流程运行，并利用一种轻型机制（通常为基于 HTTP 的应用程序编程接口 (API)）通过一个明确定义的接口与其他服务进行通信。微服务围绕着业务能力进行构建，每项服务均限定到单个目的。您可以使用不同的框架或编程语言来编写微服务，并将其作为单个服务或一组服务进行独立部署。

基础设施代码

通过代码和软件部署技术（例如版本控制和持续集成）得以预置和管理。开发人员和系统管理员能够以编程方式与基础设施进行大规模互动，而无需手动设置和配置资源。因此，工程师可以使用基于代码的工具来连接基础设施，并且能够以处理应用程序代码的方式来处理基础设施。基础设施和服务器由代码进行定义，因此可以使用标准化模式进行快速部署、使用最新补丁和版本进行更新，或者以可重复的方式进行复制。组织可以自动跟踪、验证和重新配置由代码描述的基础设施。

配置管理

开发人员和系统管理员使用代码将操作系统和主机配置、操作性任务等自动化。代码的使用实现了配置变更的可重复性和标准化。它将开发人员和系统管理员从手动配置操作系统、系统应用程序或服务器软件的任务中解放出来。

监控和日志记录

组织对各项指标和日志进行监控，以了解应用程序和基础设施性能如何影响其产品的最终用户体验。通过对应用程序和基础设施生成的数据进行采集、分类和分析，组织可以了解变更或更新如何影响用户，同时深入了解出现问题或意外变故的根本原因。由于服务必须全天候持续可用，而且应用程序和基础设施的更新频率不断提高，因此主动监控变得日益重要。此外，创建警报或对这些数据执行实时分析也能帮助组织更主动地监控其服务。

沟通与合作

增强组织内部的沟通与合作是 DevOps 文化的一个重要方面。DevOps 工具的使用和软件交付流程的自动化能够以物理方式将开发和运行的工作流程及职责结合起来，从而建立团队之间的相互协作。在此基础上，这些团队树立了强大的文化规范，提倡信息共享和通过聊天应用程序、问题或项目追踪系统以及 Wikis 来促进沟通。这有助于加快开发人员、运营团队甚至其他团队之间的沟通，从而使组织的各个部门围绕共同的目标和项目更紧密地结合在一起。

DevOps 工具

DevOps 模式依赖于有效的工具来帮助团队快速可靠地部署并针对客户进行创新。这些工具可以自动执行手动任务，帮助团队大规模管理复杂环境，并使工程师能够控制 DevOps 实现的高速度。

DevOps 运维实践经验+实例_第1张图片

gitlab runner 流水线 CICD 实例

描述

当固定分支代码有提交触发编译，触发gitlab runner 编译代码并上传网盘或者服务器，部署到虚拟机需要手动触发。

gitlab-runner 部署及关联gitlab,可以参照下方帖子

https://segmentfault.com/a/11...

.gitlab-ci.yml

before_script:
    - echo "before script!"

variables:
    SCID: 'sc1765'
    PGID: 'sc1765_82'
    PG1_NAME: 'tkzjframe-conline-consumption'
    PG1_PORT: '8080'
    PG2_NAME: 'tkzjframe-conlineSys-consumption'
    PG2_PORT: '8081'
    PG3_NAME: 'tkzjframe-conline-core'
    PG4_NAME: 'tkzjframe-conlineSys-core'
    env1: 'pro'
    IP_801: '10.130.105.121'
    IP_802: '10.130.105.122'
    tomcat_LIST: "${PG1_NAME} ${PG2_NAME}"
    jar_LIST: "${PG3_NAME} ${PG4_NAME}"
    IP_LIST: "${IP_801} ${IP_802}"
    PASS_FILE: '/etc/rsync_user.password'
    RS800_SERVER: '10.130.159.1'
    RS500_SERVER: '10.154.140.130'

stages:
    - build
    - deploy
    - rollback
    - restart
    - logs

build_job:
    stage: build
    script:
        - pwd
        - ip a
        - pathpwd=`pwd`
        - mvn clean install -Dmaven.test.skip=true -P${env1}
        - echo $jar_LIST
        - for i in ${jar_LIST};do cd ${pathpwd}/${i}/target;ls ; APPNAME=`ls -l *.jar | grep $i | grep -v original | head -n 1 | awk -F ' ' '{print $9}'`;mv $APPNAME ${i}-${env1}.jar; done
        - ls -l
        - for k in ${jar_LIST};do cd ${pathpwd}/${k}/target ;ls ; rsync -avz ${k}-${env1}.jar rsync_user@${RS800_SERVER}::rsync_server/${SCID}/ --password-file=${PASS_FILE} ;done
        - echo $tomcat_LIST
        #- for i in ${tomcat_LIST};do cd ${pathpwd}/${i}/target;ls ; APPNAME=`ls -l *.war | grep $i | head -n 1 | awk -F ' ' '{print $9}'`;mv $APPNAME ${i}.war; done
        - ls -l
        - for k in ${tomcat_LIST};do cd ${pathpwd}/${k}/target ;ls ; rsync -avz ${k}.war rsync_user@${RS800_SERVER}::rsync_server/${SCID}/ --password-file=${PASS_FILE} ;done
    only:
        - master
    tags:
        - prod-deploy-106.76


deploy_tkzjframe-conline-consumption_tomcat1:
    stage: deploy
    script:
        - for i in ${IP_LIST};do ssh appadmin@${i} "cd /home/appadmin/tomcat && wget -O update.sh http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}/update.sh && sh +x update.sh -t tomcat -d ${PG1_PORT} -e ${env1} -s ${SCID} -p ${PG1_NAME} -a deploy"; done
        #- ssh appadmin@${IP_801} "cd /home/appadmin/tomcat && wget -O update.sh http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}/update.sh && sh -x update.sh -t tomcat -d ${PG1_PORT} -e ${env1} -s $SCID -p ${PG1_NAME} -a 'deploy'"
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76
        
        
        
deploy_tkzjframe-conlineSys-consumption_tomcat2:
    stage: deploy
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && wget -O update.sh http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}/update.sh  && sh +x update.sh -t tomcat -d ${PG2_PORT} -e ${env1} -s ${SCID} -p ${PG2_NAME} -a 'deploy'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76        

deploy_tkzjframe-conline-core_jar1:
    stage: deploy
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && wget -O update.sh http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}/update.sh && sh -x update.sh -s ${SCID} -e ${env1} -p ${PG3_NAME} -a 'deploy'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76

deploy_tkzjframe-conlineSys-core_jar2:
    stage: deploy
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && wget -O update.sh http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}/update.sh && sh +x update.sh -s ${SCID} -e ${env1} -p ${PG4_NAME} -a 'deploy'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76


restart_tkzjframe-conline-consumption_tomcat1:
    stage: restart
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat  && sh +x update.sh -d ${PG1_PORT} -t tomcat -e ${env1} -s ${SCID} -p ${PG1_NAME} -a 'restart'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76
        
        
        
restart_tkzjframe-conlineSys-consumption_tomcat2:
    stage: restart
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && sh +x update.sh -d ${PG2_PORT} -t tomcat -e ${env1} -s ${SCID} -p ${PG2_NAME} -a 'restart'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76        

restart_tkzjframe-conline-core_jar1:
    stage: restart
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && sh +x update.sh -s ${SCID} -e ${env1} -p ${PG3_NAME} -a 'restart'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76

restart_tkzjframe-conlineSys-core_jar2:
    stage: restart
    script:
        - for i in ${IP_LIST};do  ssh appadmin@${i} "cd /home/appadmin/tomcat && sh +x update.sh -s ${SCID} -e ${env1} -p ${PG4_NAME} -a 'restart'"; done
    when: manual
    only:
        - master
    tags:
        - yly-prod-10.130.105.98


rollback_tkzjframe-conline-consumption_tomcat1:
    stage: rollback
    script:
        - for i in ${IP_LIST};do  ssh ${i} "cd /home/appadmin/tomcat && sh +x update.sh -t tomcat  -d ${PG1_PORT} -e ${env1} -s ${SCID} -p ${PG1_NAME} -a 'rollback'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76
        
        
        
rollback_tkzjframe-conlineSys-consumption_tomcat2:
    stage: rollback
    script:
        - for i in ${IP_LIST};do  ssh ${i} "cd /home/appadmin/tomcat && sh +x update.sh -t tomcat  -d ${PG2_PORT} -e ${env1} -s ${SCID} -p ${PG2_NAME} -a 'rollback'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76        

rollback_tkzjframe-conline-core_jar1:
    stage: rollback
    script:
        - for i in ${IP_LIST};do ssh ${i} "cd /home/appadmin/tomcat && sh +x update.sh -s ${SCID} -e ${env1} -p ${PG3_NAME} -a 'rollback'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76

rollback_tkzjframe-conlineSys-core_jar2:
    stage: rollback
    script:
        - for i in ${IP_LIST};do ssh ${i} "cd /home/appadmin/tomcat && sh +x update.sh -s ${SCID} -e ${env1} -p ${PG4_NAME} -a 'rollback'"; done
    when: manual
    only:
        - master
    tags:
        - prod-deploy-106.76

update.sh

#!/bin/bash
. /etc/rc.d/init.d/functions
. /etc/profile

printUsage(){
    echo "usage: update.sh -t  -s  -d  -p  -e  -a "
    exit -1
}
if [ $# -eq 0 ];then
    printUsage
fi
while getopts :s:p:d:e:t:a: opts;do
    case "$opts" in
        t)
            TYPE=$OPTARG
            ;;
        s)
            SCID=$OPTARG
            ;;
        p)
            PG_NAME=$OPTARG
            ;;
        d)
            PG_PORT=$OPTARG
            ;;
        e)
            ENVe=$OPTARG
            ;;
        a)
            ACTOINS=$OPTARG
            ;;
        :)
            echo "$0 must supply an argument to option -$OPTARG!"
            printUsage
            ;;
        ?)
            echo "invalid option -$OPTARG ignored!"
            printUsage
            ;;
    esac
done
if [ -z "$SCID" ];then
    printUsage
    exit -1
fi
echo "$SCID:$PG_NAME:${ENVe}:${ACTOINS}:${PG_PORT}"
shift $(($OPTIND-1));
if [ $# -gt 0 ];then
    echo "other arguments:$@";
fi

DATEtmp=$(date +%Y%m%d%H%M)
DATE=$(date +%Y%m%d%H)
PG_PID_LINE=$(ps aux | grep java | grep $PG_NAME | wc -l)
PG_PATH="/home/appadmin/tomcat"
NginxPG_PATH="/usr/local/openresty/nginx/html"
PG_DOWN_URL="http://mirrors.tkhealthcare.com/rsync_server/data/${SCID}"


backup() {
    cd $PG_PATH
    if [ -f ${PG_PATH}/${PG_NAME}.${DATE}.bak.jar ]; then
        echo "Bakup files ${PG_NAME}.${DATE}.bak.jar has already."
    else
        mv ${PG_NAME}-${ENVe}.jar ${PG_PATH}/${PG_NAME}.${DATE}.bak.jar || echo "first time deploy-project"
        action "Backup files is ok, bk_file is : ${PG_NAME}.${DATE}.bak.jar" /bin/true
    fi
}

tomcat_backup() {
    cd ${PG_PATH}/tomcat_${PG_PORT}/webapps/
    if [ -f ${PG_NAME}.${DATE}.war.bak ]; then
        echo "Bakup files ${PG_NAME}.${DATE}.war.bak has already."
    else
        mv ${PG_NAME}.war ${PG_PATH}/tomcat_${PG_PORT}/webapps/${PG_NAME}.${DATE}.war.bak || echo "first time deploy-project"
        action "Backup files is ok, bk_file is : ${PG_NAME}.${DATE}.war.bak " /bin/true
    fi
}


frontbackup() {
    cd $NginxPG_PATH
    if [ -d ${NginxPG_PATH}/${PG_NAME}.${DATE} ]; then
        echo "Bakup files  has already."        
    else
        mv ${NginxPG_PATH}/${PG_NAME}-${ENVe} ${NginxPG_PATH}/${PG_NAME}.${DATE} || echo "first time deploy-project"
        action "Backup files is ok, bk_file is : ${PG_NAME}.${DATE}" /bin/true
    fi
}

stopproject() {
    if [ $PG_PID_LINE -eq 0 ]; then
        echo "$PG_NAME is not running ."
    else
        ps aux | grep java | grep $PG_NAME | awk -F ' ' '{print $2}' | xargs kill -9 
        #cd ${PG_PATH} && sh +x ${PG_NAME}.sh stop
        action "$PG_NAME stop ..." /bin/true
    fi
}

tomcat_stopproject() {
    echo "stop tomcat"
    #${PG_PATH}/${PG_PORT}/bin/catalina.sh stop || (ps -ef | grep 8080 | awk '{print $2}'| xargs kill -9 )
    (ps -ef | grep ${PG_PATH}/tomcat_${PG_PORT} | grep -v grep | grep -v catalina.sh |awk '{print $2}' | xargs kill -9) || echo "stop--- service is not running"
}


tomcat_startproject() {
    sh +x ${PG_PATH}/tomcat_${PG_PORT}/bin/startup.sh

}


startproject() {
    cd ${PG_PATH} && echo "nohup java -jar ${PG_NAME}-${ENVe}.jar ${ENVe} > ${PG_NAME}-${ENVe}.log &" > ${PG_NAME}_start.sh
    sh +x ${PG_NAME}_start.sh
    if [ -f ${PG_NAME}-${ENVe}.jar ]; then
        cd 
        echo "$PG_NAME starting"
    else
        action "${PG_NAME}-${ENVe}.jar is no found." /bin/false
        exit
    fi
}

checkpg() {
    sleep 15
    new_pid_line=`ps aux | grep java | grep $PG_NAME | wc -l`
    if [[ ${new_pid_line} -eq 0 ]]; then
        echo "$PG_NAME 服务[进程]启动失败."
            exit 777
        else
        echo "$PG_NAME 服务[进程]及[端口]启动成功 . --OK"
    fi
}


tomcat_checkpg() {
    sleep 15
    new_pid_line=$(netstat -tnlp | grep  $PG_PORT | wc -l)

    if [ $new_pid_line -eq 0 ]; then
        #kill -9 $new_pid
        action "$PG_NAME 服务[端口]启动失败." /bin/false
        exit 777
    fi
}


checkend() {
    sleep 30
    new_pid_line=$(ps aux | grep java | grep $PG_NAME | wc -l)
    new_pid=$(ps aux | grep java | grep $PG_NAME | awk -F ' ' '{print $2}')
    port_wc=$(netstat -tunlp | grep $new_pid | wc -l)

    if [ $port_wc -eq 0 ] && [ $new_pid_line -eq 1 ]; then
        kill -9 $new_pid
        action "$PG_NAME 服务[端口]启动失败." /bin/false
        exit 777
    fi
}

update() {
    cd $PG_PATH
    [ -f ${PG_NAME}-${ENVe}.jar ] && rm -rf ${PG_NAME}-${ENVe}.jar
    wget -O ${PG_NAME}-${ENVe}.jar ${PG_DOWN_URL}/${PG_NAME}-${ENVe}.jar
    ls -l ${PG_NAME}-${ENVe}.jar
}

tomcat_update() {
    cd $PG_PATH/tomcat_${PG_PORT}/webapps/
    [ -f ${PG_NAME}.war ] && rm -rf ${PG_NAME}.war
    rm -rf ${PG_NAME}
 pwd 
 wget -qO ${PG_NAME}.war ${PG_DOWN_URL}/${PG_NAME}.war || echo "download war failed"
    ls -l ${PG_NAME}.war
}

frontupdate() {
    cd $NginxPG_PATH
    [ -d ${PG_NAME}-${ENVe} ] && rm -rf ${PG_NAME}-${ENVe}
    wget -O ${PG_NAME}-${ENVe}.tar.gz ${PG_DOWN_URL}/${PG_NAME}-${ENVe}.tar.gz
    ls -l ${PG_NAME}-${ENVe}.tar.gz
    tar -xf ${PG_NAME}-${ENVe}.tar.gz && mv dist ${PG_NAME}-${ENVe}
}

frontrollbackupdate() {
    cd $NginxPG_PATH
    [ -d ${PG_NAME}.${DATE} ] && mv ${PG_NAME}-${ENVe} /tmp/${PG_NAME}-${ENVe}.${DATEtmp}
    cp -a ${PG_NAME}.${DATE} ${PG_NAME}-${ENVe}
}


tomcat_rollbackupdate() {
    cd ${PG_PATH}/tomcat_${PG_PORT}/webapps/
    [ -f ${PG_NAME}.${DATE}.war.bak ] || exit 777 
    rm -rf ${PG_NAME}.war ${PG_NAME}
    cp -a ${PG_NAME}.${DATE}.war.bak ${PG_NAME}.war

}


rollbackupdate() {
    cd ${PG_PATH}/
    [ -f ${PG_NAME}.${DATE}.bak.jar ] || exit 777
    mv ${PG_NAME}-${ENVe}.jar /tmp/${PG_NAME}-${ENVe}-${DATEtmp}.jar
    cp -a ${PG_NAME}.${DATE}.bak.jar ${PG_NAME}-${ENVe}.jar
}

jenkinsupdate() {
    cd $PG_PATH
    [ -f ${PG_NAME}-${ENVe}.jar ] && rm -rf ${PG_NAME}-${ENVe}.jar
    mv ../${PG_NAME}-${ENVe}.jar .
    ls -l ${PG_NAME}-${ENVe}.jar
}


echo $ACTOINS 
if [ $ACTOINS == 'restart' ]; then
    if [[ $TYPE == 'tomcat' ]]; then
        tomcat_stopproject
        tomcat_startproject
        tomcat_checkpg
    else
        stopproject
        startproject
        checkpg
    fi
elif [ $ACTOINS == 'stop' ]; then
    stopproject
    checkpg
elif [ $ACTOINS == 'jenkins-deploy' ]; then
    stopproject
    backup
    jenkinsupdate
    startproject
    checkpg
elif [ $ACTOINS == 'deploy' ]; then
    if [[ $TYPE == 'front' ]]; then
        frontbackup
        frontupdate
    elif [[ $TYPE == 'tomcat' ]]; then
        tomcat_backup
        tomcat_stopproject
        tomcat_update
        tomcat_startproject
        tomcat_checkpg    
    else
        backup
        stopproject
        update
        startproject
        checkpg    
    fi
        
elif [ $ACTOINS == 'rollback' ]; then
    if [ $TYPE == 'front' ]; then
        frontrollbackupdate
    elif [[ $TYPE == 'tomcat' ]]; then
        tomcat_stopproject
        tomcat_rollbackupdate
        tomcat_startproject
        tomcat_checkpg
    
    else
        stopproject
        rollbackupdate
        startproject
        checkpg
    fi
fi

DevOps 运维实践经验+实例_第2张图片

jenkins cicd

  • 安装ant及checkstyle，配置代码语法检查

    判断生成的report.html 是否有问题，从而判断编译是否进行
    DevOps 运维实践经验+实例_第3张图片

  • 描述

    Jenkins 通过gitlab的钩子，当固定代码分支有提交时触发编译，然后构建docker镜像上传harbor，然后手动触发部署更新，发布时Jenkins的pipeline配合着自己开发的CMDB匹配项目信息 通过shell 替换固定的yaml实现k8s 上的服务滚动更新。

  • jenkins pipeline

    #!/usr/bin/env groovy
import groovy.util.XmlSlurper
import groovy.lang.GroovyObjectSupport
import groovy.util.slurpersupport.GPathResult
import groovy.util.slurpersupport.NodeChild
import groovy.util.Eval
import groovy.json.JsonSlurper
import java.lang.Integer
import java.lang.String
import jenkins.model.Jenkins

@Library('htjfPipeline@master') _
def dockerbuild = new org.devops.dockerbuild()


node {

  stage('获取environment变量') {
      projectname = JOB_NAME.split("_")[1].toLowerCase()
      //发版所用的环境 //如果环境的变量中含有_字符DEV_service,环境就获取_下划线分隔的0数组DEV
      //jenvironment = JOB_NAME.split("_")[0].toLowerCase().indexOf("-")!=-1 ? JOB_NAME.split("_")[0].toLowerCase().split("-")[0].toLowerCase() : JOB_NAME.split("_")[0].toLowerCase()
      //echo environment_rdb
      //projectname = JOB_NAME.split("_")[0].toLowerCase().indexOf("-")!=-1 ? JOB_NAME.split("-")[1].split("_")[0]+"-"+${projectname} : ${projectname}

      appName = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/build_name", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      repoUrl = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/git_url", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      topicsPattern = "${projectname}"
      ifusek8s = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/if_use_k8s", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      ServiceType = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/service_type", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      toPortDev = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/node_port_dev", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      toPortQasa = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/node_port_qasa", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      toPortUata = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/node_port_uata", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      toPortProd = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/node_port_prod", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      toPortuse = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/node_port_${deployEnv}", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      build_sh = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/build_command", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      appDomain = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/${deployEnv}_domainzone", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      zone = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/${deployEnv}_zone_name", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
      domainzone = "${appDomain}.${zone}"

      profile = "profile-a"
      targetPort = "8080"
      harborHost = "harbor.reg"
  }
  parameters {
      gitParameter(branch: '',
              branchFilter: 'origin/(.*)',
              defaultValue: 'master',
              description: '选择分支',
              name: 'repoBranch',
              quickFilterEnabled: true,
              selectedValue: 'NONE',
              sortMode: 'NONE',
              tagFilter: '*',
              useRepository: '.*insurance.*',
              type: 'PT_BRANCH_TAG')
      choice(name: 'deployEnv', choices: 'dev\nqasa\nuata', description: '选择发布环境:dev开发环境，qasa测试环境，uata预发布环境')
  }

}


node {
  stage('getBranch') {
      script {
          try {
              if ("${branch}" != "") {
                  println "----------webhook式触发-----------"
                  branchName = branch - "refs/heads"
                  env.branchName = sh(returnStdout: true, script: "echo ${branchName}|awk -F '/' '{print \$NF}'").trim()
                  println "webhook触发的分支是: " + "${branchName}"
              }
          } catch (exc) {
          }
          if ("${params.repoBranch}" != "") {
              println "-----------手动方式触发------------"
              env.branchName = "${params.repoBranch}"
              println "手动触发的分支是: " + "${branchName}"
          }
      }
  }
  stage('checkOut') {
      checkout([$class: 'GitSCM', branches: [[name: "${branchName}"]], doGenerateSubmoduleConfigurations: false, extensions: [[$class: 'CleanBeforeCheckout']], submoduleCfg: [], userRemoteConfigs: [[credentialsId: '4a83a964-0fa4-4e2c-a448-2d40ed71d9a7', url: "${repoUrl}"]]])
      script {
          //gitTag = sh(returnStdout: true,script: 'git describe --tags --always').trim()
          gitTagTmp = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim()
          env.gitTag = "${gitTagTmp}-${BUILD_NUMBER}"
      }
      println "${gitTag}"
      println "${appName}"
      println "${projectname}"
      println "${toPortProd}"
      println "${toPortDev}"
      println "${toPortQasa}"
      println "${repoUrl}"
      println "${toPortUata}"
      println "${appDomain}.${zone}"
      println "${ServiceType}"
      println "${build_sh}"
      println "${toPortuse} --in use port"
      echo "test print data"
  }


  stage('gradlewBuild') {
      stage("${deployEnv}环境targetBuild") {
          if (ServiceType == "java" || ServiceType == "tomcat") {
              println "发布测试环境,分支为 ${branchName}"
              sh "ls"
              def build_sh1 = "${build_sh}".replace('bbuild_namee', "${appName}").replace('eenvv', "${deployEnv}")
              println("${build_sh1}")
              sh "${build_sh1}"
              //sh "sh +x gradlew clean --no-daemon  :job-task:buildTar -x test  -PprojectEnv=qasa"
              //build_sh1 = "http://172.16.188.27:9999/get_project_itme/${projectname}/build_command".toURL().text.replace("\"","").replace('bbuild_namee',"${appName}").replaceAll("(\r\n|\r|\n|\n\r)", "").replace('eenvv',"${deployEnv}").replace("\"","")
              //build_sh = "${build_sh1}".replace('bbuild_namee',"${appName}").replaceAll("(\r\n|\r|\n|\n\r)", "").replace('eenvv',"${deployEnv}").replace("\"","")
              //sh "sh +x gradlew clean --no-daemon  :job-task:buildTar -x test  -PprojectEnv=dev"
              //def Wstart_command = ['/bin/bash','-c',"${build_sh1}"].execute(null, new File(WORKSPACE))
              //        Wstart_command.waitFor()
              //       println(Wstart_command.text)
          }

      }
  }

  stage("${deployEnv}环境dockerBuild") {
      if (ifusek8s == "yes" && ServiceType == "java") {
          if (deployEnv == "dev") {
              println "开发环境dockerBuild,dockerVersion为 ${gitTag}-${branchName}"
              dockerImage = "test_jinfu/devpipeline-${appName}"
              dockerbuild.dockerBuild(harborHost, appName, dockerImage, gitTag, branchName)

          } else if (deployEnv == "qasa") {
              println "测试环境dockerBuild,dockerVersion为 ${gitTag}-${branchName}"
              dockerImage = "test_jinfu/qasapipeline-${appName}"
              dockerbuild.dockerBuild(harborHost, appName, dockerImage, gitTag, branchName)

          } else if (deployEnv == "uata") {
              println "预发布环境dockerBuild,dockerVersion为 ${gitTag}-${branchName}"
              dockerImage = "pre_jinfu/uatapipeline-${appName}"
              dockerbuild.dockerBuild(harborHost, appName, dockerImage, gitTag, branchName)

          }
      }


  }
  stage('deployToK8s') {
      stage("${deployEnv}部署到测试环境k8s") {
          script {
              if (ifusek8s == "yes" && ServiceType == "java") {
                  println "部署到${deployEnv}环境k8s,分支为 ${branchName}"
                  projectName1 = "${deployEnv}pipeline-${appName}"
                  dockerTag = "${gitTag}"
                  usehost = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/${deployEnv}usehostip", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
                  println "${dockerTag}"
                  sh "~/docker/scripts/install_insurance_standard.sh -a ${projectName1} -v ${dockerTag} -f ${profile} -p ${targetPort}  -t ${toPortuse} -m ${usehost}"
              }
          }
      }
  }
}

pipeline {
  agent any
  environment {
      appPath = "/home/nfs/insurance/${domainzone}"
      servicetype_node = sh(script: "curl -s http://172.16.188.27:9999/get_project_itme/${projectname}/service_type", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
  }



  stages('nodejsBuild') {
      stage('before-nodejsBuild-rm_dist') {
          when { environment name: 'servicetype_node', value: "node" }
          steps {
              script {
                  println "发布${deployEnv}环境,删除dist"
                  sh "rm -rf dist.tar.gz"
                  sh "rm -rf dist"
              }
          }
      }
  
      stage('nodejsBuild-for_docker') {
          when { environment name: 'servicetype_node', value: "node" }
          agent { docker 'harbor.reg/library/node:10.22.0' }
          steps {
              script {
                  git branch: "${branchName}", credentialsId: "4a83a964-0fa4-4e2c-a448-2d40ed71d9a7", url: "${repoUrl}"
                  println "发布${deployEnv}环境,容器中编译"
                  sh "node -v && npm -v && npm config set registry http://172.16.196.111:8081/repository/npm-all/"
                  sh "${build_sh}"
                  stash includes: 'dist.tar.gz', name: 'app'
              }
          }
      }
  


  



  
      stage('部署到环境Nginx') {
          when { environment name: 'servicetype_node', value: "node" }
          steps {
              unstash 'app'
              sh "ls"
              echo "${deployEnv} 环境nginx"
              script {
                  nginxIp = sh(script: "curl -s http://172.166.188.27:9999/get_project_itme/${projectname}/${deployEnv}usehostip", returnStdout: true).replaceAll("(\r\n|\r|\n|\n\r)", "").replace("\"", "")
                  println "${nginxIp}"
                  def remote = [:]
                  remote.name = "server-${nginxIp}"
                  remote.host = nginxIp
                  remote.port = 22
                  remote.allowAnyHosts = true
                  withCredentials([sshUserPrivateKey(credentialsId: "jenkins-6-88-private-key", keyFileVariable: 'id_rsa', passphraseVariable: '', usernameVariable: 'userName')]) {
                      remote.identityFile = id_rsa
                      remote.user = userName
                      // 需要注意的是，远程操作命令的作用域在withCredentials中，如果和用户名密码方式一样写在withCredentials外则会报错。
                      sshCommand remote: remote, command: "if [ ! -d ${appPath} ]; then mkdir -p ${appPath}; fi && ls ${appPath}"
                      sshPut remote: remote, from: "dist.tar.gz", into: "${appPath}"
                      sshCommand remote: remote, command: "tar xf ${appPath}/dist.tar.gz -C ${appPath}/"
                      sshRemove remote: remote, path: "${appPath}/dist.tar.gz"
                  }
              }
          }
      }

  }
}


#!/bin/bash
#author:silence_ltx
#date:20210127
#describe: for env dev,sit,uat 

while getopts :a:v:f:p:t:m: opts; do
    case $opts in
        a) a=$OPTARG ;;
        v) v=$OPTARG ;;
        f) f=$OPTARG ;;
        p) p=$OPTARG ;;
        t) t=$OPTARG ;;
        m) m=$OPTARG ;;
        ?) ;;
    esac
done


confpath=~/docker/scripts/conf
repo=harbor.reg/test_jinfu
app=$a
version=$v
profile=$f
port=$p
toport=$t
master_host=$m
yaml_host=http://192.168.66.88:8999
#zk_servers=192.168.66.102:2181,192.168.66.104:2181,192.168.66.209:2181
if [ "$port" = "" ];then
  port=8080
fi

echo start to install:$repo/$app:$version
cd $confpath
mkdir -p $app/$profile
cat insurance-deploy-template_preproduct-web_k8s1.18.yaml | sed "s|#REPOSITORY_URL#|$repo|g" | sed "s|#APP_NAME#|$app|g" | sed "s|#APP_VERSION#|$version|g" | sed "s|#PROFILE#|$profile|g"| sed "s|#port#|$port|g"
cat insurance-deploy-template_preproduct-web_k8s1.18.yaml | sed "s|#REPOSITORY_URL#|$repo|g" | sed "s|#APP_NAME#|$app|g" | sed "s|#APP_VERSION#|$version|g" | sed "s|#PROFILE#|$profile|g" | sed "s|#port#|$port|g"  > $app/$profile/deploy.yaml
cat svc-template.yaml | sed "s|#APP_NAME#|$app|g"|sed "s|#PROFILE#|$profile|g" |sed "s|#port#|$port|g" |sed "s|#toport#|$toport|g"
cat svc-template.yaml | sed "s|#APP_NAME#|$app|g"|sed "s|#PROFILE#|$profile|g" |sed "s|#port#|$port|g" |sed "s|#toport#|$toport|g" > $app/$profile/svc.yaml
ssh $master_host "kubectl delete deploy $app-$profile" 
ssh $master_host "kubectl apply -f $yaml_host/$app/$profile/deploy.yaml"
ls  $confpath/$app/$profile/svc.yaml >/dev/null 2>&1 
if [ $? -eq 0 ];then
  #ssh $master_host "kubectl delete -f $yaml_host/$app/$profile/svc.yaml"
  ssh $master_host "kubectl apply -f $yaml_host/$app/$profile/svc.yaml"
fi

DevOps 运维实践经验+实例_第4张图片

DevOps 运维实践经验+实例_第5张图片

DevOps 运维实践经验+实例_第6张图片

curl -s http://172.16.188.27:9999/get...${projectname}/${itme},可以取出数据库中项目的不同字段的信息 用于给不同项目的pipeline 文件带入项目信息

DevOps 运维实践经验+实例_第7张图片

  • python3 调用python模块
    https://segmentfault.com/a/11...

  • 报警模块

    每个服务都有一个健康检查的接口，如果未启动会有机器人报警信息

DevOps 运维实践经验+实例_第8张图片

你可能感兴趣的:(devops)

  • 钉钉自定义机器人 AlphaHinex
    原文地址：https://alphahinex.github.io/2022/03/06/dingtalk-custom-robot/description:"像发手机短信一样方便"date:2022.03.0610:34categories:-DevOpstags:[Dingtalk,Robot]keywords:dingtalk,robot,钉钉,机器人,聊天机器人聊天机器人从hubot起接触
  • Prometheus与Grafana在DevOps中的应用与最佳实践 范范0825 prometheusgrafanadevops
    Prometheus与Grafana在DevOps中的应用与最佳实践随着DevOps文化和实践的普及，监控和可视化工具已成为DevOps工具链中不可或缺的部分。Prometheus和Grafana是其中最受欢迎的开源监控解决方案之一，它们的结合能够为系统和应用程序提供全面的监控、告警和可视化展示。本篇文章将详细探讨Prometheus和Grafana在DevOps中的应用场景、最佳实践，以及如何构
  • DevOps -分布式追踪与监控 Flying_Fish_Xuan devopsci/cd自动化
    DevOps中的分布式追踪与监控在当今的DevOps环境中，随着微服务架构和云原生应用的广泛采用，系统复杂性显著增加，传统的监控方式已经无法满足现代分布式系统的需求。为了提高系统可观测性，分布式追踪和监控成为现代DevOps实践中至关重要的工具。通过分布式追踪，开发者可以深入了解跨多个服务和组件的请求流，并通过监控实时捕捉系统的运行状态和性能数据，从而迅速定位和解决问题。本文将深入探讨分布式追踪与
  • 【干货】你可能不知道的 20个 Linux 网络工具 迷途不归路
    转载自公众号：DevOps技术栈原文链接：http://linoxide.com/monitoring-2/network-monitoring-tools-linux/如果要在你的系统上监控网络，那么使用命令行工具是非常实用的，并且对于Linux用户来说，有着许许多多现成的工具可以使用，如：nethogs,ntopng,nload,iftop,iptraf,bmon,slurm,tcptrack
  • 828华为云征文 | 使用Flexus云服务器X实例部署Kubernetes图形化管理平台 降世神童 华为云服务器kubernetes
    828华为云征文|使用Flexus云服务器X实例部署Kubernetes图形化管理平台1.基础部署环境说明2.部署Kubernetes环境3.部署KubernetesDashboard4.创建登录账号token5.访问KubernetesDashboard1.基础部署环境说明  Kubernetes作为当今最流行的容器编排平台，随着云计算、微服务架构和DevOps文化的普及，Kubernetes在
  • NineData云原生智能数据管理平台新功能发布｜2024年8月版 NineData 数据备份与恢复数据库DevOps数据复制数据库NineDataDevOps数据迁移数据复制
    本月发布10项更新，其中重点发布5项、其他发布5项。重点发布数据库DevOps-敏感数据保护功能大幅升级敏感数据保护全新升级，新增支持敏感数据等级，方便进行分类分级管控，加入数据类型概念，用于智能识别数据源中的敏感字段并支持自动添加。同时加入敏感数据大盘，让系统管理员可轻松了解当前组织下敏感数据的整体状态。另外还新增了多种脱敏算法和识别规则，现已可覆盖大部分用户场景。数据库DevOps-数据库De
  • 一分钟了解云原生应用实践与未来趋势 shawn2000
    一分钟了解云原生应用实践与未来趋势1.什么是云原生云原生既包含技术（微服务，敏捷基础设施），也包含管理（DevOps，持续交付等），是一系列Cloud技术、企业管理方法的集合。云原生应用架构包含三个特征：容器化、微服务和DevOps。容器已有10来年的历史，2013年开源的Docker容器引擎，被开发者所广泛熟悉.容器可以理解为隔离环境的“运行时”，这也很好诠释了Docker集装箱的理念---Bu
  • centos7安装pyenv与pip来管理不同python环境 心软且酷丶 pythonlinuxpythonvirtualenv
    概述：pyenv是一个Python版本管理工具，它能够进行全局的Python版本切换，也可以为单个项目提供对应的Python版本。使用pyenv后，可以在服务器上安装多个不同的Python版本，也可以安装不同的Python实现，不同Python版本之间的切换也非常简单。pyenv安装:1、安装git工具[root@devops~]#yuminstallgit2、安装pyenv首先把项目从githu
  • 【DevOps工具链整合】Jenkins、GitLab、Docker、Kubernetes 爱技术的小伙子 devopsjenkinsgitlab
    DevOps工具链整合：Jenkins、GitLab、Docker、Kubernetes目录引言DevOps简介工具介绍JenkinsGitLabDockerKubernetes工具链整合的意义DevOps工具链整合实践环境准备GitLab的CI/CD集成Jenkins的使用Docker容器化Kubernetes部署整合中的挑战及解决方案案例分析结论引言在现代软件开发中，DevOps已经成为提升开
  • 详解Elastic Search及架构 清风一徐 elasticsearch大数据搜索引擎
    前言如果我有三段文本，id分别为0、1、2,具体如下，我要找到哪段文本里有关键词es，这时最容易想到的办法就是依次遍历文本，匹配es，最后将符合的文本id输出。0ilikees1ilovees2iusedevops上述方法在数据量小的时候非常合适，但是我有几十万上百万以及更多的数据的时候，这样依次遍历，速度非常慢，不适合生产使用，通过关键词搜索这个生活中非常常见，抖音搜索想看的视频或博主，淘宝搜索
  • DevOps实战：使用GitLab+Jenkins+Kubernetes(k8s)建立CI_CD解决方案 北京少女的梦 devopsgitlabjenkins
    一.系统环境本文主要基于Kubernetes1.21.9和Linux操作系统CentOS7.4。服务器版本docker软件版本Kubernetes(k8s)集群版本CPU架构CentOSLinuxrelease7.4.1708(Core)Dockerversion20.10.12v1.21.9x86_64CI/CD解决方案架构图：CI/CD解决方案架构图描述：程序员写好代码之后，向gitlab代码
  • 【SpringCloud微服务实战10】DevOps自动化部署微服务项目(Jenkins+Docker+K8s) 李维山 Javaspringcloud微服务jenkinsdockerk8s
    一、什么是DevOpsDevOps是一种重视软件开发人员（Developer）和运维人员（Operations）之间沟通与协作的文化、运动或实践，目标在于快速交付高质量的软件产品和服务。DevOps强调自动化流程、持续集成与交付（CI/CD）、以及通过工具链、敏捷方法论和跨职能团队协作来增强软件的可靠性和安全性。在DevOps中，开发、测试、部署和监控等多个环节紧密连接，形成一个高效的工作流。以下
  • 使用 ELK Stack 进行云原生日志记录和监控：AWS 中的开发运营方法 数云界 elk云原生aws
    使用ELKStack进行云原生日志记录和监控欢迎来到雲闪世界。在当今的云原生世界中，日志记录和监控是强大的DevOps策略的重要组成部分。监控应用程序性能、跟踪错误和分析日志对于确保无缝操作和主动识别潜在问题至关重要。在本文中，我们将指导您使用AWS上的ELKStack（Elasticsearch、Logstash和Kibana）设置云原生日志记录和监控，从而实现以DevOps为中心的方法来管理基
  • 【DevOps工具篇】使用Ansible部署Keycloak oauth2proxy 和 单点登录（SSO）设置 小涵 DevOps企业级项目实战devopsansible运维ldapkeycloakproxyoauth
    【DevOps工具篇】使用Ansible部署Keycloakoauth2proxy和单点登录（SSO）设置目录【DevOps工具篇】使用Ansible部署Keycloakoauth2proxy和单点登录（SSO）设置Ansible基础知识部署Keycloak创建OIDC-客户端创建oauth2proxy部署顶级AnsiblePlaybookHost.iniplaybook.yaml推荐超级课程：D
  • 【DevOps工具篇】Keycloak中设置LDAP认证 小涵 DevOps企业级项目实战devops运维ldapkeycloak
    【DevOps工具篇】Keycloak中设置LDAP认证目录【DevOps工具篇】Keycloak中设置LDAP认证本次使用的环境服务器配置LDAP目录结构使用存储在LDAP中的用户进行登录Keycloak配置步骤功能测试从LDAP向Keycloak批量添加用户Keycloak配置步骤功能测试推荐超级课程：Docker快速入门到精通Kubernetes入门到大师通关课AWS云服务快速入门实战启用K
  • 【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成 小涵 DevOps企业级项目实战devops运维openldapldapphpldapadminkeycloakAD
    【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成目录【DevOps工具篇】Keycloak中设置与OpenLDAP认证集成步骤1.启动一个用于安装OpenLDAP的EC2实例步骤2.安装OpenLDAP启动docker容器查看所有用户信息extendedLDIFLDAPv3basewithscopesubtreefilter:(objectclass=*)requesting
  • 【DevOps】SD-WAN 详解：定义、架构、优势与应用 Coder加油! 运维DevOpsdevops架构运维sdwan
    目录一、传统WAN的局限性二、SD-WAN的解决方案三、SD-WAN的架构四、SD-WAN的关键特点五、SD-WAN的优势六、SD-WAN的应用场景七、总结SD-WAN(Software-DefinedWideAreaNetwork)是一种利用软件定义网络(SDN)技术来简化分支机构与数据中心或云端之间连接的网络架构。它通过集中控制和自动化，优化网络流量路径，提高网络性能和灵活性，并降低运营成本。
  • 如何在极狐GitLab中添加 SSH Key？ 极小狐 DevOpsDevSecOpsGitLab极狐GitLab安全合规
    本文分享如何生成SSHKey并添加到极狐GitLab中，然后用SSHKey进行代码拉取。极狐GitLab是GitLab在中国的发行版，可以私有化部署，对中文的支持非常友好，是专为中国程序员和企业推出的企业级一体化DevOps平台，一键就能安装成功。安装详情可以查看官网指南。SSHKey对于通过ssh来进行极狐GitLab代码拉取是重要的，完成整个流程一般分为三步：SSHKey的生成添加SSHKey
  • hive学习笔记之五：分桶 程序员欣宸
    欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》的第五篇
  • k8s pod container内存指标说明 yifeiliu338 k8skubernetes容器云原生
    一、问题描述我司平台研发的devops平台底层采用k8s实现，k8s自带cadvisor进行集群指标收集，根据官网，我们选用了container_memory_working_set_bytes（容器的工作集使用量）作为内存使用量的观察项，但随着后续使用过程中发现该指标上升到一定大小后就会维持不变，并不像应用实际内存使用量，没出现波动；来自kubernetes对该问题的讨论（讨论了5年多了）：ht
  • Azure DevOps Server 2020.1 新增功能 (TFS) Azure DevOps 项目管理微软gwtsymfonypaas
    1.概述自2005年开始，微软在VSS的基础上发布了TFS(2019年开始更名为AzureDevOpsServer)的第一个版本TFS2005,后续陆续发布了2008/2010/2012/2013/2015/2017/2018/2019/2020，每个版本都会给用户带来令人兴奋的功能。同样，微软即将发布的AzureDevOpsServer2020Update1也为我们带来了一波与软件研发项目管理最
  • 极狐GitLab 17.3 重点功能解读 极小狐 gitlab极狐GitLabDevOpsci/cdkubernetes
    极狐GitLab是GitLab在中国的发行版，可以私有化部署，对中文的支持非常友好，是专为中国程序员和企业推出的企业级一体化DevOps平台，一键就能安装成功。安装详情可以查看官网指南。极狐GitLab17.3正式发布了多项与敏捷项目管理、源代码托管、CI/CD及安全合规相关的更新，以下是部分重点功能解读。完整版本功能解读参考https://gitlab.cn/resources/articles
  • DevOps Azure Pipeline 发布失败 MSB4226 Zhen (Evan) Wang devopsazure运维
    DevOpsAzure利用pipeline发布项目,报错MSB4226.ErrorMSB4226:Theimportedproject"C:\ProgramFiles(x86)\MicrosoftVisualStudio\2019\BuildTools\MSBuild\Current\Bin\WebApplications\Microsoft.WebApplication.targets"wasn
  • [【DevOps】调用 Jenkins 的 API 接口时出现 HTTP 403 错误 阿寻寻 devopsjenkinshttp
    调用Jenkins的API接口时出现HTTP403错误1.**检查身份验证信息**a.**API令牌**b.**BasicAuth**2.**检查用户权限**a.**确保用户有足够的权限**3.**检查CSRF防护设置**a.**禁用CSRF**b.**提供CSRFToken**4.**网络配置和代理问题**a.**检查代理设置**5.**其他常见问题**总结当调用Jenkins的API接口时出现
  • 什么是DevOps？ 什么是DORA？ 十年铸器 IT项目与团队运维DORA
    1.前言对于搞云原生应用的同学，对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学，经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。那么到底什么是DevOps?什么是DORA呢？2.解析2.1DevOpsDevOps并不是凭空创造出来的一个概念，它也是有着历史的发展过程的。在知乎上找到了一篇不错的文章，对DevOps的解析很清楚，感兴趣
  • 什么是DevOps? IMPso devops数据库运维
    DevOps定义：DevOps（Development和Operations的组合词）是一种重视“软件开发人员（Dev）”和“IT运维技术人员（Ops）”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。devops概念的提出：软件开发初期，项目开发好，找台服务器安装好环境，把jar包scp到远程服务器，放上去开启服务
  • 什么是数据库 DevOps？ Bytebase 数据库运维DBA开发者数据库管理DevOps
    原文地址https://www.bytebase.com/blog/what-is-database-devops/在深入研究数据库DevOps之前，先回顾一下什么是DevOps。它没有统一的定义，但我们知道它起源于软件开发方法与部署和运维的结合。大约2007年和2008年，软件开发和IT界人士提出了这样的担忧：两个行业的分离，即编写和创建软件与部署和支持软件的人员完全分离，正在给行业带来致命的功
  • 【DevOps实践】6. TAPD集成实现Jenkins流水线持续集成 笔名辉哥
    1.摘要TAPD是腾讯的敏捷开发管理工具，现在集成到企业微信，已对外免费开放。TAPD流水线是支持集成企业正在使用的持续集成平台，提供可视化流水线，支持构建任务展示与管理。这里以Jenkins集成为例，介绍流水线相关功能：完成关联配置后，Jenkins中的构建和部署结果将会自动同步至TAPD流水线中，可以在TAPD中直接查看流水线任务列表，执行状态，构建范围等信息，并可以直接触发流水线执行。2.T
  • devops学习思路 O-0-O devops学习运维
    一、关于devops流程win上建个maven项目，使用win上的nexus私服。使用git版本管理。wmware搭建gitlab、jenkins、ldap、artifactory。做一套简单的流程。后面可以加代码扫描、单元测试等等功能。二、maven、nexus私服学习目标架构课里的课程API操作：上传jar包备份策略三、git、gitlab学习目标架构课里的课程gitlab部署安装gitlab
  • DevOps安全性的重要性体现在哪？ weixin_54503231 devops运维
    DevOps的安全性，也称为DevSecOps，是DevOps领域中的一个重要方面，它强调将安全实践集成到DevOps流程中，以提高代码发布的质量和速度，并降低安全漏洞的风险。DevOps安全性的重要性：提高代码质量和速度：通过将安全实践集成到开发和运营流程的各个方面，可以确保在快速迭代和发布的同时，保持代码的高质量。降低安全漏洞风险：通过持续的安全监测和评估，可以及时发现并修复潜在的安全漏洞，从
  • 书其实只有三类 西蜀石兰 类
    一个人一辈子其实只读三种书，知识类、技能类、修心类。 知识类的书可以让我们活得更明白。类似十万个为什么这种书籍，我一直不太乐意去读，因为单纯的知识是没法做事的，就像知道地球转速是多少一样（我肯定不知道），这种所谓的知识，除非用到，普通人掌握了完全是一种负担，维基百科能找到的东西，为什么去记忆？ 知识类的书，每个方面都涉及些，让自己显得不那么没文化，仅此而已。社会认为的学识渊博，肯定不是站在
  • 《TCP/IP 详解，卷1：协议》学习笔记、吐槽及其他 bylijinnan tcp
    《TCP/IP 详解，卷1：协议》是经典，但不适合初学者。它更像是一本字典，适合学过网络的人温习和查阅一些记不清的概念。 这本书，我看的版本是机械工业出版社、范建华等译的。这本书在我看来，翻译得一般，甚至有明显的错误。如果英文熟练，看原版更好： http://pcvr.nl/tcpip/ 下面是我的一些笔记，包括我看书时有疑问的地方，也有对该书的吐槽，有不对的地方请指正： 1.
  • Linux—— 静态IP跟动态IP设置 eksliang linuxIP
    一.在终端输入 vi /etc/sysconfig/network-scripts/ifcfg-eth0 静态ip模板如下： DEVICE="eth0" #网卡名称 BOOTPROTO="static" #静态IP（必须） HWADDR="00:0C:29:B5:65:CA" #网卡mac地址 IPV6INIT=&q
  • Informatica update strategy transformation 18289753290
    更新策略组件： 标记你的数据进入target里面做什么操作，一般会和lookup配合使用，有时候用0,1,1代表 forward  rejected rows被选中，rejected row是输出在错误文件里，不想看到reject输出，将错误输出到文件，因为有时候数据库原因导致某些column不能update，reject就会output到错误文件里面供查看，在workflow的
  • 使用Scrapy时出现虽然队列里有很多Request但是却不下载，造成假死状态 酷的飞上天空 request
    现象就是： 程序运行一段时间，可能是几十分钟或者几个小时，然后后台日志里面就不出现下载页面的信息，一直显示上一分钟抓取了0个网页的信息。 刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成，但是水平有限研究源码未果。 经过不停的google终于发现一个有价值的信息，是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.
  • 利用预测分析技术来进行辅助医疗 蓝儿唯美 医疗
    2014年，克利夫兰诊所（Cleveland Clinic）想要更有效地控制其手术中心做膝关节置换手术的费用。整个系统每年大约进行2600例此类手术，所以，即使降低很少一部分成本，都可以为诊 所和病人节约大量的资金。为了找到适合的解决方案，供应商将视野投向了预测分析技术和工具，但其分析团队还必须花时间向医生解释基于数据的治疗方案意味着 什么。  克利夫兰诊所负责企业信息管理和分析的医疗
  • java 线程(一)：基础篇 DavidIsOK java多线程线程
                                                            &nbs
  • Tomcat服务器框架之Servlet开发分析 aijuans servlet
    最近使用Tomcat做web服务器，使用Servlet技术做开发时，对Tomcat的框架的简易分析： 疑问： 为什么我们在继承HttpServlet类之后，覆盖doGet(HttpServletRequest req, HttpServetResponse rep)方法后，该方法会自动被Tomcat服务器调用，doGet方法的参数有谁传递过来？怎样传递？ 分析之我见： doGet方法的
  • 揭秘玖富的粉丝营销之谜 与小米粉丝社区类似 aoyouzi 揭秘玖富的粉丝营销之谜
    玖富旗下悟空理财凭借着一个微信公众号上线当天成交量即破百万，第七天成交量单日破了1000万;第23天时，累计成交量超1个亿……至今成立不到10个月，粉丝已经超过500万，月交易额突破10亿，而玖富平台目前的总用户数也已经超过了1800万，位居P2P平台第一位。很多互联网金融创业者慕名前来学习效仿，但是却鲜有成功者，玖富的粉丝营销对外至今仍然是个谜。   　　近日，一直坚持微信粉丝营销
  • Java web的会话跟踪技术 百合不是茶 url会话Cookie会话Seession会话Java Web隐藏域会话
    会话跟踪主要是用在用户页面点击不同的页面时,需要用到的技术点   会话:多次请求与响应的过程     1,url地址传递参数,实现页面跟踪技术          格式:传一个参数的 url?名=值     传两个参数的 url?名=值 &名=值   关键代码
  • web.xml之Servlet配置 bijian1013 javaweb.xmlServlet配置
    定义： <servlet> <servlet-name>myservlet</servlet-name> <servlet-class>com.myapp.controller.MyFirstServlet</servlet-class> <init-param> <param-name>
  • 利用svnsync实现SVN同步备份 sunjing SVN同步E000022svnsync镜像
    1. 在备份SVN服务器上建立版本库    svnadmin create test 2. 创建pre-revprop-change文件     cd test/hooks/     cp pre-revprop-change.tmpl pre-revprop-change 3. 修改pre-revprop-
  • 【分布式数据一致性三】MongoDB读写一致性 bit1129 mongodb
    本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括： 数据一致性概述与CAP 最终一致性(Eventually Consistency) 网络分裂(Network Partition)问题 多数据中心(Multi Data Center) 多个写者(Multi Writer)最终一致性 一致性图表(Consistency Chart) 数据
  • Anychart图表组件-Flash图转IMG普通图的方法 白糖_ Flash
    问题背景：项目使用的是Anychart图表组件，渲染出来的图是Flash的，往往一个页面有时候会有多个flash图，而需求是让我们做一个打印预览和打印功能，让多个Flash图在一个页面上打印出来。   那么我们打印预览的思路是获取页面的body元素，然后在打印预览界面通过$("body").append(html)的形式显示预览效果，结果让人大跌眼镜：Flash是
  • Window 80端口被占用 WHY? bozch 端口占用window
    平时在启动一些可能使用80端口软件的时候，会提示80端口已经被其他软件占用，那一般又会有那些软件占用这些端口呢？    下面坐下总结：         1、web服务器是最经常见的占用80端口的，例如：tomcat , apache  , IIS , Php等等；         2
  • 编程之美-数组的最大值和最小值-分治法（两种形式） bylijinnan 编程之美
    import java.util.Arrays; public class MinMaxInArray { /** * 编程之美 数组的最大值和最小值 分治法 * 两种形式 */ public static void main(String[] args) { int[] t={11,23,34,4,6,7,8,1,2,23}; int[]
  • Perl正则表达式 chenbowen00 正则表达式perl
    首先我们应该知道 Perl 程序中，正则表达式有三种存在形式，他们分别是： 匹配：m/<regexp>;/ （还可以简写为 /<regexp>;/ ，略去 m） 替换：s/<pattern>;/<replacement>;/ 转化：tr/<pattern>;/<replacemnt>;
  • [宇宙与天文]行星议会是否具有本行星大气层以外的权力呢? comsci
          举个例子: 地球,地球上由200多个国家选举出一个代表地球联合体的议会,那么现在地球联合体遇到一个问题,地球这颗星球上面的矿产资源快要采掘完了....那么地球议会全体投票,一致通过一项带有法律性质的议案,既批准地球上的国家用各种技术手段在地球以外开采矿产资源和其它资源........    &
  • Oracle Profile 使用详解 daizj oracleprofile资源限制
    Oracle Profile 使用详解 转 一、目的： Oracle系统中的profile可以用来对用户所能使用的数据库资源进行限制，使用Create Profile命令创建一个Profile，用它来实现对数据库资源的限制使用，如果把该profile分配给用户，则该用户所能使用的数据库资源都在该profile的限制之内。 二、条件： 创建profile必须要有CREATE PROFIL
  • How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis dengkane elasticsearchLucene
    This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not
  • 循环小示例，菲波拉契序列，循环解一元二次方程以及switch示例程序 dcj3sjt126com c算法
    # include <stdio.h> int main(void) { int n; int i; int f1, f2, f3; f1 = 1; f2 = 1; printf("请输入您需要求的想的序列："); scanf("%d", &n); for (i=3; i<n; i
  • macbook的lamp环境 dcj3sjt126com lamp
      sudo vim /etc/apache2/httpd.conf   /Library/WebServer/Documents 是默认的网站根目录   重启Mac上的Apache服务   这个命令很早以前就查过了，但是每次使用的时候还是要在网上查： 停止服务：sudo /usr/sbin/apachectl stop 开启服务：s
  • java ArrayList源码 下 shuizhaosi888 ArrayList源码
    版本 jdk-7u71-windows-x64   JavaSE7 ArrayList源码上：http://flyouwith.iteye.com/blog/2166890     /** * 从这个列表中移除所有c中包含元素 */ public boolean removeAll(Collection<?> c) {
  • Spring Security（08）——intercept-url配置 234390216 Spring Securityintercept-url访问权限访问协议请求方法
    intercept-url配置 目录 1.1     指定拦截的url 1.2     指定访问权限 1.3     指定访问协议 1.4     指定请求方法   1.1   &n
  • Linux环境下的oracle安装 jayung oracle
    linux系统下的oracle安装 本文档是Linux(redhat6.x、centos6.x、redhat7.x) 64位操作系统安装Oracle 11g(Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production)，本文基于各种网络资料精心整理而成，共享给有需要的朋友。如有问题可联系：QQ：52-7
  • hotspot虚拟机 leichenlei javaHotSpotjvm虚拟机文档
    JVM参数  http://docs.oracle.com/javase/6/docs/technotes/guides/vm/index.html   JVM工具 http://docs.oracle.com/javase/6/docs/technotes/tools/index.html   JVM垃圾回收 http://www.oracle.com
  • 读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” noaighost Webnode.js
    读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” 眼里的Node.JS 初初接触node是一年前的事，那时候年少不更事。还在纠结什么语言可以编写出牛逼的程序，想必每个码农都会经历这个月经性的问题：微信用什么语言写的？facebook为什么推荐系统这么智能，用什么语言写的？dota2的外挂这么牛逼，用什么语言写的？……用什么语言写这句话，困扰人也是阻碍
  • 快速开发Android应用 rensanning android
    Android应用开发过程中，经常会遇到很多常见的类似问题，解决这些问题需要花时间，其实很多问题已经有了成熟的解决方案，比如很多第三方的开源lib，参考 Android Libraries 和 Android UI/UX Libraries。 编码越少，Bug越少，效率自然会高。 但可能由于 根本没听说过、听说过但没用过、特殊原因不能用、自己已经有了解决方案等等原因，这些成熟的解决
  • 理解Java中的弱引用 tomcat_oracle java工作面试
    　不久之前，我 面试了一些求职Java高级开发工程师的应聘者。我常常会面试他们说，“你能给我介绍一些Java中得弱引用吗？”，如果面试者这样说，“嗯，是不是垃圾回收有关的？”，我就会基本满意了，我并不期待回答是一篇诘究本末的论文描述。 　　然而事与愿违，我很吃惊的发现，在将近20多个有着平均5年开发经验和高学历背景的应聘者中，居然只有两个人知道弱引用的存在，但是在这两个人之中只有一个人真正了
  • 标签输出html标签" target="_blank">关于标签输出html标签 xshdch jsp
    http://back-888888.iteye.com/blog/1181202 关于<c:out value=""/>标签的使用，其中有一个属性是escapeXml默认是true(将html标签当做转移字符，直接显示不在浏览器上面进行解析)，当设置escapeXml属性值为false的时候就是不过滤xml，这样就能在浏览器上解析html标签， &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他