Awbeci
Awbeci

使用jenkins和gitlab-runner DevOps CICD - 制作docker镜像并推送到阿里云镜像仓库

前言

DevOps( Development和Operations的组合词 )的概念在软件开发行业中逐渐流行起来。越来越多的团队希望实现产品的敏捷开发，DevOps 使一切成为可能。有了 DevOps，团队可以定期发布代码、自动化部署、并将持续集成( CI ) / 持续交付( CD )作为发布过程的一部分。说到 CICD 比较出名的有 jenkins 和 gitlab-runner 、circle.ci 和travis.ci等等，大家可以自行百度或者找相关文章看看这几个的区别，这里就不详细讲了。

本文将介绍大家如何安装和使用 jenkins 和 gitlab-runner 以及使用 CICD 将前端项目制作成 docker 镜像并推送到阿里云镜像仓库。

准备

首先我们要准备两台机器，可以是虚拟机或者云服务器，我选用的是阿里云 ECS Centos 7 分别来要安装 gitlab 和 jenkins + gitlab-runner，也就是说机器A安装 gitlab，机器B安装 jenkins 和 gitlab-runner。

  • 机器 A 安装 gitlab
  • 机器 B 安装 jenkins 和 gitlab-runner
  • 机器 A 和 B 都安装 jdk、maven 和 docker
  • 在机器A gitlab 上面创建项目

注意：我这里是把jenkins 和 gitlab-runner 安装在同一台机器上

安装 gitlab

之前我已经写过一篇关于如何安装gitlab，这里就不详细说了，大家可以查看这篇文章上面讲的也很详细。注意这篇文章已经教你如何生成你的SSH私钥和公钥了，后面会用到

安装 jenkins

同样的我之前也写过一篇文章关于如何安装jenkins，这里也不详细说了，大家可以查看这篇文章上面讲的也很详细。
注意：这篇文章已经教你如何安装 jdk、maven 和 docker 后面就不做介绍了

安装 gitlab-runner

这里详细讲下如何安装gitlab-runner，我们先去查看官网，上面有介绍如何安装。

# For RHEL/CentOS/Fedora
curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash

# For RHEL/CentOS/Fedora
sudo yum install gitlab-runner

安装 jdk、maven和docker

略！

在 gitlab 上面创建项目

这里我们会新建一个前端项目，根据自己熟悉的框架可以使用react、angular或vue来创建项目，我这里使用的是umi来创建项目，创建好之后如下图所示。
image.png

编写Dockerfile

不管是jenkins还是gitlab-runner使用的都是同一份Dockerfile文件，下面就是制作前端项目成docker镜像的Dockerfile文件。

FROM node:12

# 设置工作路径。所有的路径都会关联WORKDIR
WORKDIR /usr/src/app

# 安装依赖
COPY package*.json ./
RUN npm install

# 拷贝源文件
COPY . .

# 构建应用
RUN npm run build

# 运行应用
CMD [ "npm", "start" ]

使用jenkins

  1. 新建jenkins任务

  2. 配置jenkins任务

    1. 源码管理
    2. 构建触发器
    3. 构建
    4. 保存
  3. 项目代码添加 tag 并提交，自动触发 jenkins 并构建

新建jenkins任务

点击新建任务，输入任务名称，选择 构建一个自由风格的软件项目 点击确定即可，如图所示

image.png

配置jenkins任务

源码管理

在源码管理一栏中选择git，在Repository URL中输入上面你新建项目的 git 地址，因为没有配置私钥所以会报红，接下来我们来配置这个私钥，点击添加->jenkins然后弹出一个配置私钥的对话框，类型选择SSH Username with private key,然后就可以在Username输入你的用户名，在 Private Key 选择Enter directly再点击Add把你的私钥放进去即可。
image.png

构建触发器

在构建触发器一栏，选择Build when a change is pushed to GitLab. GitLab webhook URL会发现自动生成了webhook的地址，这个地址后面会用到，然后我们选择 push event，然后点击高级选择Secret token，这样就生成了Secret token，这样webhook的地址和token都生成了。

image.png

然后我们到gitlab上面打开前端项目选择Setting->Integrations，把刚才生成好的url和token输入进去，接着取消选择Push events，并选择Tag push events点击Add webhook即可，这样你的jenkins就关联到你这个项目上，后面只要提交tag就会自动触发构建了。
image.png

构建

在构建一栏，点击下拉 增加构建步骤 选择执行shell，然后我们在这个shell输入框里面输入如下代码：
image.png

# 定义变量，CONTAINER_NAME 是项目名称，对应阿里云镜像服务中的仓库名称
CONTAINER_NAME="your-repository-name"

# GIT_TAG 变量是自动获取本地git版本的tag
# 注意git添加tag时一定要带-m，如：git tag v1.0 -m 'commit tag'否则下面的命令始终获取不到最新的tag
GIT_TAG=`git describe --always --tag`

CONTAINER_FULL_NAME=${CONTAINER_NAME}-${GIT_TAG}

REPOSITORY=registry.cn-hangzhou.aliyuncs.com/your-namespace/${CONTAINER_NAME}:${GIT_TAG}

# 构建Docker镜像
docker build -t $REPOSITORY -f Dockerfile .

# 推送Docker镜像，username 跟 password 为 阿里云容器镜像服务的账号密码
docker login -u username -p password registry.cn-hangzhou.aliyuncs.com

# 开始推送镜像
docker push $REPOSITORY

# 删除生成的image
docker images | grep $CONTAINER_NAME | awk '{print $3}' | xargs docker rmi -f

# 删除名称或标签为none的镜像
# docker rmi -f  `docker images | grep '' | awk '{print $3}'`

输入完成之后点击保存即可。

image.png

项目代码添加 tag 并提交，自动触发 jenkins 并构建

现在你在你的代码中添加一个tag并提交到gitlab上面，你会发现jenkins正在构建，并推送到阿里云镜像仓库。

git tag v1.0 -m 'commit tag v1.0'
git push origin v1.0

image.png

使用gitlab-runner

gitlab-runner 比jenkins 的优势在于它和 GitLab 整合的非常好，而且省略了好多配置工作，GitLab CI 使用 YAML(.gitlab-ci.yml)进行项目配置，位于项目的根目录中。这里有一篇详细讲解.gitlab-ci.yml语法的文章，大家可以看看。

  1. gitlab-runner register
  2. 制作 .gitlab-ci.yml 文件
  3. 修改项目代码并提交到gitlab，自动触发 gitlab-runner 并构建

gitlab-runner register

首先我们进入到我们安装的gitlab-runner服务器B中，然后我们使用下面命令进行register:

# sudo gitlab-runner register

回车之后，会要求你输入下面的内容：

Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):

Please enter the gitlab-ci token for this runner:

这个时候要求你输入gitlab地址以及registration token，我们打开我们的项目选择Setting->CI/CD->Runners->Specific Runners->Set up a specific Runner manually，在Set up a specific Runner manually里会有你的gitlab地址和register token，复制过来粘贴即可。

image.png

回车之后，要求你输入一段描述：

Please enter the gitlab-ci description for this runner:
[xx-xx]:

输入完成回车，接着要求你输入tag：

Please enter the gitlab-ci tags for this runner (comma separated):

输入完成回车，接着要求你输入运行.gitlab-runner.yml的方式：

Please enter the executor: custom, shell, virtualbox, docker+machine, kubernetes, docker, docker-ssh, parallels, ssh, docker-ssh+machine: 
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

注意这里我们输入的是shell并且提示你注册成功，这样就完成了register，这个时候再到页面上面查看是否已经注册成功

完整的register过程：

# sudo gitlab-runner register

Runtime platform                                    arch=amd64 os=linux pid=14320 revision=21cb397c version=13.0.1
Running in system-mode.

Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):

Please enter the gitlab-ci token for this runner:

Please enter the gitlab-ci description for this runner:
[xx-xx]:

Please enter the gitlab-ci tags for this runner (comma separated):

Registering runner... succeeded                     runner=x_xxx

Please enter the executor: custom, shell, virtualbox, docker+machine, kubernetes, docker, docker-ssh, parallels, ssh, docker-ssh+machine:

Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

制作 .gitlab-ci.yml

现在我们开始制作.gitlab-ci.yml，我们这里主要分为两步build和test

stages:
  - build
  - test

variables:
  # CI_PIPELINE_ID 是gitlab自带的全局变量，直接使用
  REPOSITORY: $REGISTRY_DOCKER_RES:$CI_PIPELINE_ID

before_script:
  - echo "开始构建 build"
  - echo $CI_PIPELINE_ID

build_job:
  stage: build
  script:
    # 构建Docker镜像
    - docker build -t $REPOSITORY -f Dockerfile .
    # 推送Docker镜像，username 跟 password 为 阿里云容器镜像服务的账号密码
    - docker login -u $REGISTRY_USERNAME -p $REGISTRY_PASSWORD $REGISTRY_DOMAIN
    # 开始推送镜像
    - docker push $REPOSITORY
    # 删除生成的image
    - docker images | grep awbeci | awk '{print $3}' | xargs docker rmi -f

  tags:
    - awbeci-web-devops
  only:
    - master

test_job:
  stage: test
  script:
    - echo "开始构建 test"
  tags:
    - awbeci-web-devops
  only:
    - master

这样就完成了.gitlab-ci.yml的制作，大家可以对比下和jenkins里面的配置。

注意：

  1. 上面CI_PIPELINE_ID变量是gitlab自带的，还有好多的通用全局变量可以使用，详细请看；
  2. REGISTRY_DOCKER_RES、REGISTRY_USERNAME、REGISTRY_PASSWORD、REGISTRY_DOMAIN变量是在gitlab项目中 Variables 配置好的，如图所示

image.png

修改项目代码并提交到gitlab，自动触发 gitlab-runner 并构建

现在你可以修改你的代码并提交到gitlab上面，你会发现gitlab-runner正在构建，并推送到阿里云镜像仓库。

git add .
git commit -am 'update'
git push origin master

image.png

问题

  • docker权限问题
    将jenkins和gitlab-runenr用户添加到docker组里面
sudo gpasswd -a jenkins docker
sudo gpasswd -a gitlab-runner docker
  • git添加tag一定要带-m
git tag tag-name -m 'commit tag'

总结

1、后面会出docker镜像结合k8s部署的文章；
2、jenkins需要设置webhooks而gitlab-runner不需要；
3、gitlab-runner跟gitlab整合的非常好；
4、现在jenkins和gitlab-runner安装在机器B上面可以切换着使用。

参考

docker + gitlab + jenkins 搭建 CI/CD 系统
List all environment variables
使用GitLab CI在Kubernetes服务上运行GitLab Runner并执行Pipeline
Gitlab CI 使用高级技巧
前端gitlab-ci实现自动化部署
前端的gitlab的ci初尝试
基于 GitLab CI/CD 的前端自动化构建、发布实践
JB的测试之旅-利用jenkins达到提tag自动打包
在docker上开发一个简单的React(next.js)应用
搭建GitLab+Jenkins持续集成环境图文教程
Gitlab CI在前端CI/CD中的运用
Node项目的Gitlab自动部署实践（基于Docker）
阿里云镜像服务+gitlab自动化构建镜像
使用GitLab CI和Docker进行容器应用自动化部署
使用GitLab构建Docker镜像并托管
Jenkins自动化构建vue项目然后发布到远程服务器
Jenkins自动构建部署maven项目到远程服务器上
使用GitLab CI/CD进行自动测试和部署
GitLab持续集成持续部署（CI&CD）
gitlab CI/CD 将react、vue项目打包成Docker镜像
gitlab runner安装与使用
基于 Docker 和 GitLab 的前端自动化部署
gitlab + gitlab-runner 集成 CICD

你可能感兴趣的:(jenkins,devops,docker)

  • 优化Docker镜像，加速应用部署，教你6个小窍门 xiaotian是个混子
    作者:小米生态云image为了让用户的云端应用管理更高效、更方便，今天从6个方面分享一些溜到飞起的Docker镜像优化小窍门。一、明确指定镜像版本，管理更方便为了让版本管理起来更方便，应用部署速度更快，在创建镜像的过程中，建议工程师们明确指定包含版本或者其他辅助信息的tag。如果不指定镜像tag，默认会使用latest。每次启动应用实例时，都需要去镜像仓库检查镜像是否更新。这种方式不利于版本管理，
  • 在Jenkinsfile中，自定义environment相关参数 闫小甲 jenkinsjenkinsfile
    在Jenkinsfile中，environment定义VER，若BRANCH_NAME是master，则VER为master，其他为latestpipeline{agentanyenvironment{CURTIME=sh(returnStdout:true,script:'date"+%Y%m%d%H%M%S"').trim()VER=sh(returnStdout:true,script:""
  • docker 容器中jenkins 显示时间 时区不对 逑痕 dockerdockerjenkins容器
    docker容器中jenkins显示时间时区不对根据官方文档，可以根据不同用户为不同用户设置时区原文https://www.jenkins.io/doc/book/using/change-time-zone/进入用户列表，选择要用户，修改用户设置中的时区即可。
  • docker 容器修改时区 kaili230 dockerdocker运维容器
    docker容器修改时区对于启动着的容器，以root身份进入容器，同步时间和时间。dockerexec-it-uroot[容器Id/容器name]/bin/bash#以root身份进入容器dockerexec-it-urootjenkins/bin/bash#同步时间，时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimeecho'Asia/Shan
  • jenkins发送html邮件配置步骤与注意事项？ danplus jenkinsSMTP服务器服务器邮件推送邮件接口触发式邮件API接口
    jenkins发送html邮件如何实现？Jenkins的配置方法？通过jenkins发送html邮件，开发团队可以及时获取构建状态的详细报告，从而快速响应问题，提高工作效率。AokSend将详细介绍jenkins发送html邮件的配置步骤与注意事项，帮助读者更好地利用这一功能。jenkins发送html邮件：安装插件要实现jenkins发送html邮件，首先需要在jenkins中安装相应的插件。进
  • jenkins任务中无法执行sudo，管理员操作 北陌宝宝 疑难问题点jenkins运维
    搬运一下老博客写的内容过来jenkins默认使用jenkins普通用户权限去操作服务器命令，涉及管理员的命令时就无法操作，需要把jenkins用户添加到sudo组，这个输入sudo时不用输入密码vim/etc/sudoers#添加jenkinsALL=(ALL)NOPASSWD:ALL当jenkins时间和服务器时间不一致时，在系统管理-脚本运行命令中执行System.setProperty('o
  • Docker 安装 Nginx 邹卓为 Nginxdockernginx容器
    1.安装Nginx1.1执行拉取命令dockerpullnginx拉取成功提示1.2查看镜像dockerimages此时可以看到，已经有了一个nginx镜像。2.运行Nginx容器2.1使用下面命令运行一个容器dockerrun-d--namemynginx-p8080:80nginx命令解释：-d：以守护式（后台）模式运行容器。--namemynginx：为容器指定一个名称为“mynginx”。
  • python 打包docker 风行傲天 pythondocker开发语言
    python版本3.10使用flask项目打包1、创建requirements.txt列出项目所安装依赖，如：flaskstatsmodels==0.14.2neuralprophet==0.9.0keras==3.4.1scikit-learn==1.5.1tensorflow2、编写Dockerfile#拉取基础镜像FROMpython:3.10#镜像维护者的姓名和邮箱地址MAINTAINER
  • 搭建selenoid环境 野生猕猴桃 selenoidselenoid-ui远程浏览器
    1、拉取浏览器镜像dockerpullselenoid/vnc:chrome_103.02、拉取selenoid-ui容器镜像dockerpullaerokube/selenoid-ui:1.10.43、拉取selenoid容器镜像dockerpullaerokube/selenoid4、编写配置文件vi/selenoid/config/browsers.jsonvolumes可以做容器路径映射，
  • Jenkins配置发送邮件步骤 weixin_34006468 运维
    Jenkins配置邮件步骤，以下我是以腾讯企业邮箱账号作为演示1.配置Jenkins系统管理员邮件地址：下拉找到以下位置2.配置邮件通知继续下拉，找到邮件配置。输入SMTp服务器以及邮箱后缀，然后点击高级以及勾选测试配置输入SMTP服务器，用户默认邮件后缀3.进入高级配置选中使用SMTp认证，输入账号密码，使用SSL协议，输入SMTP端口4.点击测试邮件配置注意事项：如果是使用QQ邮箱之类的，使用
  • jenkins 插件kubernetes配置详解 haha wa jenkinskubernetes运维容器云原生
    配置,持续集成,Kubernetes,Jenkins相关视频讲解：C语言程序设计入门之环境安装Go语言工程化实践Prometheus监控系统介绍Jenkins插件Kubernetes配置详解Jenkins是一个开源的持续集成工具，而Kubernetes是一个开源的容器编排引擎。将这两者结合起来，可以实现更灵活、高效的持续集成和持续部署流程。本文将介绍如何在Jenkins中配置Kubernetes插
  • 【Unity实战】Jenkins与自定义命令行参数 Shepherd0619 unityunity游戏引擎jenkins
    Unity是一款功能强大的游戏开发引擎，它提供了许多方便开发者使用的功能和工具。其中一个非常有用的功能是Unity命令行参数。通过使用命令行参数，开发者可以在启动Unity时自定义一些行为和设置，从而更好地管理和调试项目。使用Unity命令行参数的好处是，它可以帮助开发者更好地管理和调试项目。通过在命令行中指定参数，我们可以自动化一些常见的任务，例如构建项目、执行测试、导出资源等。这不仅可以提高开
  • java maven 多环境+jenkins参数化构建 flyingshuai 自动化接口mavenjava多环境接口自动化
    背景：运维提出以后会有多套环境，自动化接口测试将会是一套代码在多个服务器环境上跑。需要根据jenkins的命令，实现发布多套环境。首先搜索到的是maven项目的多环境切换，但是帖子都只有怎么配置多环境。具体java代码里怎么读到环境参数却是没提。后来又搜索java代码怎么读取pom的环境配置，以及怎么替换当前环境，终于把整个流程串下来了，记录如下。思路：jenkins参数化构建，传递环境参数给ma
  • Jenkins安装配置及插件安装使用 程序员雷叔 jenkinsselenium测试用例功能测试单元测试pytest测试工具
    个人理解持续集成：为解决程序代码提交质量低,提交内容导致原有系统的BUG，按时或按需自动编译版本，进行自动化测试。百度对持续集成的定义：持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通常每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试)来验证，从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题，让团队
  • 【Mysql】通过Keepalived搭建mysql双主高可用集群 维运 数据库mysql数据库
    一、环境信息主机名ip操作系统mysql版本VIP（虚拟ip）hadoop01192.168.10.200centos7_x865.7192.168.10.253hadoop03192.168.10.202centos7_x865.7二、mysql集群搭建两台节点，如果未部署mysql服务，部署文档请看【Mysql】mysql三种安装方式（二进制、yum、docker）-CSDN博客三、配置文件修
  • DevOps Azure Pipeline 发布失败 MSB4226 Zhen (Evan) Wang devopsazure运维
    DevOpsAzure利用pipeline发布项目,报错MSB4226.ErrorMSB4226:Theimportedproject"C:\ProgramFiles(x86)\MicrosoftVisualStudio\2019\BuildTools\MSBuild\Current\Bin\WebApplications\Microsoft.WebApplication.targets"wasn
  • RabbitMQ docker安装及使用 与海boy dockerrabbitmq容器
    RabbitMQdocker安装及使用1.docker安装RabbitMQ1.docker安装RabbitMQdocker下载及配置环境dockerpullrabbitmq:management#创建用于挂载的目录mkdir-p/home/docker/rabbitmq/{data,conf,log}#创建完成之后要对所创建文件授权权限，都设置成777否则在启动容器的时候容易失败chmod-R77
  • 《Hadoop系列》Docker安装Hadoop DATA数据猿 HadoopDockerdockerhadoop
    文章目录Docker安装Hadoop1安装docker1.1添加docker到yum源1.2安装docker2安装Hadoop2.1使用docker自带的hadoop安装2.2免密操作2.2.1master节点2.2.2slave1节点2.2.3slave2节点2.2.4将三个容器中的authorized_keys拷贝到本地合并2.2.5将本地authorized_keys文件分别拷贝到3个容器中
  • docker安装Hadoop 悾说 dockerhadoophadoopdocker大数据
    拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_baseUsingdefaulttag:latestTryingtopullrepositoryregistry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base...latest:P
  • 在docker中安装skywalking + es &如歌的行板& skywalkingelasticsearch大数据
    ES的版本和官网es版本：PastReleasesofElasticStackSoftware|Elastices版本+logstash版本+JDK版本对应关系支持一览表|Elasticskywalking的版本说明和官网Advanceddeployment|ApacheSkyWalkingskywalking和es的对应关系，在网页的SetUp-->AdvancedSetUp--->Choose
  • SpringBoot 项目 pom.xml 中 设置 Docker Maven 插件 青灯文案 微服务架构springbootxmldocker
    在SpringBoot项目中，使用DockerMaven插件（通常是docker-maven-plugin或者fabric8io/docker-maven-plugin）来自动化构建Docker镜像并将其推送到远程仓库。这里分别介绍这两种插件的基本配置，并说明如何设置远程仓库推送。1、使用docker-maven-plugindocker-maven-plugin插件实际上是由spotify提供的
  • [【DevOps】调用 Jenkins 的 API 接口时出现 HTTP 403 错误 阿寻寻 devopsjenkinshttp
    调用Jenkins的API接口时出现HTTP403错误1.**检查身份验证信息**a.**API令牌**b.**BasicAuth**2.**检查用户权限**a.**确保用户有足够的权限**3.**检查CSRF防护设置**a.**禁用CSRF**b.**提供CSRFToken**4.**网络配置和代理问题**a.**检查代理设置**5.**其他常见问题**总结当调用Jenkins的API接口时出现
  • Linux下Caffe、Docker、Tensorflow、PyTorch环境搭建(CentOS 7) SnailTyan
    文章作者：Tyan博客：noahsnail.com|CSDN|注：模型的训练、测试、部署都可以通过Docker环境完成，环境问题会更少。1.CUDA8.0安装CUDA8.0Configenvvariables#CUDAPATHexportPATH="/usr/local/cuda-8.0/bin:$PATH"#CUDALDLIBRARY_PATHexportLD_LIBRARY_PATH="/us
  • Jenkins+Docker | K8S虚拟化实现网站自动部署 简单流程 未完待续，， 3分云计算 云计算及运维k8sJenkinsDockerK8S虚拟化实现网站自动部署javajenkinsdocker网站自动部署k8sgit自动化
    目录大纲1.Jenkins的设置与Docker、Kubernetes集成指南1.创建新的Pipeline项目或Freestyle项目1.1创建Pipeline项目1.2创建Freestyle项目2.配置源代码管理2.1配置Git作为源代码管理工具3.配置构建触发器4.配置构建步骤4.1对于Pipeline项目4.2对于Freestyle项目5.添加Docker构建步骤5.1Pipeline项目5.
  • 什么是DevOps？ 什么是DORA？ 十年铸器 IT项目与团队运维DORA
    1.前言对于搞云原生应用的同学，对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学，经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。那么到底什么是DevOps?什么是DORA呢？2.解析2.1DevOpsDevOps并不是凭空创造出来的一个概念，它也是有着历史的发展过程的。在知乎上找到了一篇不错的文章，对DevOps的解析很清楚，感兴趣
  • 什么是DevOps? IMPso devops数据库运维
    DevOps定义：DevOps（Development和Operations的组合词）是一种重视“软件开发人员（Dev）”和“IT运维技术人员（Ops）”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。devops概念的提出：软件开发初期，项目开发好，找台服务器安装好环境，把jar包scp到远程服务器，放上去开启服务
  • 什么是数据库 DevOps？ Bytebase 数据库运维DBA开发者数据库管理DevOps
    原文地址https://www.bytebase.com/blog/what-is-database-devops/在深入研究数据库DevOps之前，先回顾一下什么是DevOps。它没有统一的定义，但我们知道它起源于软件开发方法与部署和运维的结合。大约2007年和2008年，软件开发和IT界人士提出了这样的担忧：两个行业的分离，即编写和创建软件与部署和支持软件的人员完全分离，正在给行业带来致命的功
  • 介绍 Docker 的基本概念和优势，以及在应用程序开发中的实际应用。 WangLinXX 学习dockereureka容器
    Docker是一种容器化平台，它允许将应用程序、环境、依赖和配置打包到一个可移植的容器中，并可以在任何支持Docker的环境中运行。Docker的基本概念包括：镜像（Image）：镜像是一个只读的模板，包含了运行一个容器所需的所有文件、配置和依赖。镜像可以从DockerHub下载，也可以通过Dockerfile自定义构建。容器（Container）：容器是镜像的一个实例，可以被创建、启动、停止、删
  • 【mysql】mysql之存储引擎学习 向往风的男子 DBAmysql学习数据库
    本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
  • 云计算基础之Docker 写代码的小阿帆 运维云计算docker容器
    云计算是什么云计算的本质是计算资源的虚拟化。与磁盘逻辑卷的分配类似，云计算是在负载波动时动态调整服务器计算资源，避免资源浪费的做法，生产环境中，厂商一般将服务器组成一个池，实现逻辑管理计算资源，对不同的部署项目动态调整算力，比如电商在618、双十一需要应对极大的数据量，而平时并不需要这么多的计算资源，所以只需要在个别情景下增加计算资源即可。docker是什么docker是云计算的实现形式之一，该程
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他