CI/CD初探(docker+drone)

将使用 docker + docker compose + drone + git 实现项目自动部署

使用docker可以让drone实现任意语言程序的构建与部署

分工

docker: 整洁迅速的部署方案
docker-compose: 组网和简单容器编排
drone: go语言写的基于docker的CI框架

流程预览

代码提交到git
git 通知drone应用
触发drone服务器运行项目下的.drone.yml
- 如果没有配置clone步骤, drone会运行默认的clone步骤, 并clone到workspace设置下的path
- 依次运行pipeline下的步骤, 通常是 test -> build -> publish -> ssh连接到运行服务容器的服务器并重启容器, 下面会依次说明pipeline各步骤.

安装Drone

可参考drone官方文档

官方使用docker-compose安装, 编写docker-compose.yml如下

docker-compose.yml

version: '2'

services:
  drone-server:
    image: drone/drone:latest

    ports:
      - 8082:8000
      - 9000
    volumes:
      - /workspace/docker/volumes/drone:/var/lib/drone/
    restart: always
    environment:
      - DRONE_OPEN=true
      - DRONE_HOST=${DRONE_HOST}
      - DRONE_CODING=true
      - DRONE_CODING_CLIENT=${DRONE_CODING_CLIENT}
      - DRONE_CODING_URL=https://coding.net
      - DRONE_CODING_SECRET=${DRONE_CODING_SECRET}
      - DRONE_CODING_GIT_MACHINE=e.coding.net
      - DRONE_CODING_SCOPE=user,project,project:depot
      - DRONE_GITHUB_SKIP_VERIFY=false
      - DRONE_SECRET=${DRONE_SECRET}
      - DRONE_ADMIN=bysir
      - DRONE_CODING_GIT_USERNAME=${DRONE_CODING_GIT_USERNAME}
      - DRONE_CODING_GIT_PASSWORD=${DRONE_CODING_GIT_PASSWORD}

  drone-agent:
    image: drone/agent:latest

    command: agent
    restart: always
    depends_on:
      - drone-server
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      - DRONE_SERVER=drone-server:9000
      - DRONE_SECRET=${DRONE_SECRET}
      - DRONE_MAX_PROCS=5

备注

字段	注释
DRONE_ADMIN	管理员, 名字是你版本控制的账号名, 添加了管理员的才可以管理用户
DRONE_OPEN	是否开启新用户注册
DRONE_GITHUB	使用github作为版本控制

在上面你会看到其中有${DRONE_HOST}的变量,这是docker-compose支持的语法, 文档

我们需要在同级目录下编写一个.env文件来写入这些变量

.env

# drone的安装服务器, 不需要端口
DRONE_HOST=http://47.94.204.137 
# DRONE需要GITHUB作为应用授权, 这里填写授权账号密码, 详情看[文档](http://docs.drone.io/install-for-github/)
DRONE_GITHUB_CLIENT=xxxx
DRONE_GITHUB_SECRET=xxxx
# 用于drone服务器和agent之间的密钥, 随意填写
DRONE_SECRET=123456

现在运行docker-compose up就能运行drone了, 顺利的话就不会看到报错, 如果有报错就按报错提示来解决.

访问服务器 8080端口就能看到drone的web页面了, 使用GITHUB的账号登陆即可, 登陆后drone会自动拉去项目目录, 点击项目就能开启对这个项目的监管.

编写项目

需要单独为每一个项目编写.drone.yml文件用来表述在代码提交后需要执行哪些操作.

用一个简单的go项目说明

.drone.yml

workspace:
  base: /go
  path: src/github.com/bysir-zl/gokit_start

pipeline:
  build:
    image: golang:1.9
    commands:
      - pwd
      - go env
      - go version
      - go build

  publish:
      image: plugins/docker
      registry: https://index.docker.io/v1/ # 仓库
      repo: bysir/golang_base # docker仓库地址
      # mirror: https://docker.mirrors.ustc.edu.cn
      # 需要使用drone cli添加secrets: http://docs.drone.io/manage-secrets/
      secrets: [ docker_username, docker_password ]
      tags:
        - latest

  deploy:
      image: appleboy/drone-ssh
      host: 47.94.204.137
      username: root
      port: 22
      secrets: [ ssh_key ]
      script:
        - cd /root/app
        - docker-compose pull bysir/golang_base
        - docker-compose up

workspace

其中workspace指定pipeline的工作目录, 上例中我们会在build中pwd看到当前目录是/go/src/github.com/bysir-zl/gokit_start, 为什么我们需要指定到/go目录下, 因为在golang:1.9的镜像中, go_path就是/go, 我们要go build当然要在go_path下执行.

build

build步骤很简单只是go build, 你好奇为什么没有go get, 因为我将vendor目录也一起提交了, 推荐使用go官方依赖管理工具dep

docker在构建的时候都是以一个空白镜像golang:1.9作为基础的, 如果不提交vendor就需要每次构建都go get, 十分耗时. 当然还有办法就是提交一个已经按照好go包的基础镜像到registry里, 在build中的image就换成你提交的镜像. 相比之下更简单的方法就是提交vendor目录.

publish

publish步骤就有点复杂了, 使用到了plugins/docker插件, 这个插件是drone写的, 用于发布docker镜像. 它的作用就是构建一个镜像, 并push到registry.

我们需要配置的值有

registry: 仓库registry, 如hub.docker.com的registry地址是https://index.docker.io/v1/
repo: 在docker仓库下的项目名称
secrets: drone用于传递密钥的实现方式, 下面会详细介绍

在plugins/docker插件中, 构建项目镜像是通过Dockerfile来的, 所以我们还需要在项目根编写一个Dockerfile
Dockerfile

FROM alpine:latest

COPY gokit_start /

WORKDIR /

ENTRYPOINT ["./gokit_start"]

其中ENTRYPOINT是容器启动后的运行入口, "./gokit_start"是示例项目build后的二进制文件

deply

发布流程就是通过SSH登陆上要部署程序的服务器pull下刚刚publish的镜像并启动.

登陆SSH就需要配置ssh_key或者ssh_password, 更多详情看appleboy/ssh这个插件的文档, 这里推荐使用ssh_key, 我们需要在drone的secrets添加一项ssh_key值为私钥, 然后我们将与之匹配的公钥放在服务器上.ssh/authorized_keys里, 这样就能使用ssh_key登陆上服务器并执行script.

扩展阅读: 私钥登录原理

为什么要生成一对秘钥将秘钥放在drone的ssh_key:
DroneService(A)想要登录Service(B)并执行命令, 在SSH登录认证的时候需要A用私钥签名一段信息发送到B, B收到请求后会使用.ssh/authorized_keys中的公钥依次验签, 如果验签成功则登录成功.

ps: 私钥的格式是-----BEGIN RSA PRIVATE KEY-----xxxxxxxxx-----END RSA PRIVATE KEY----- 全部放在web页面就行了, 如下

添加secrets

在publish步骤有secrets选项, 其中docker_username和docker_password是由drone注入的, 所以我们需要在drone右上角添加secrets:

添加之后如下:

secrets实现原理:
drone有一个专门存储secrets的地方, 当pipeline中step需要secrets的时候, 会得到其值并设置为容器的环境变量

上例中drone会从数据库拿到docker_username和docker_password并赋值给环境变量DOCKER_USERNAME和DOCKER_PASSWORD, 在plugins/docker中会使用这两个环境变量去登陆你设置的registry : docker login -p $DOCKER_PASWORD -u $DOCKER_USERNAME $DOCKER_REGISTRY

扩展阅读：安装drone cli

可以使用drone的cli来添加secrets: manage-secrets

安装方法: CLI Installation

curl -L https://github.com/drone/drone-cli/releases/download/v0.8.3/drone_linux_amd64.tar.gz | tar zx
sudo install -t /usr/local/bin drone

CLI需要通过server的授权: CLI Authentication

export DRONE_SERVER=http://47.94.204.137:8080
export DRONE_TOKEN=eyJh33OiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ0ZXh0IjoiYnlzaXItemwiLCJ0eXBlIjoidXNlciJ9.jLsJvi4PafTi-ffefe5-bYTD2N_xmIi9fg

之后就可以使用cli执行命令

添加secrets

drone secret add   -repository bysir-zl/gokit_start   -image plugins/docker   -name docker_username  -value bysir
drone secret add   -repository bysir-zl/gokit_start   -image plugins/docker   -name docker_password  -value 123456

删除secret

drone secret rm --repository bysir-zl/gokit_start --name docker_username

测试

现在你的项目机构应该类似于

项目

现在你可以将你写的代码和配置文件一起提交到git, 然后你就能看到这个项目正在构建

你可以点击查看构建步骤

终于跑起来了

我相信你没有我这么菜

2018/04/27 更新

最近需要使用coding作为版本控制软件

文档说drone-server在0.8版本之后是支持coding的, 但实际不然. 实际运行起来会报错:version control system not configured

找了很久的原因, 翻了很久源代码发现并没有问题, 知道发现这个详情可看这个issue

I encounter this issue too.
When use drone from latest docker image, setting DRONE_CODING=true has no effect, result: "version control system not configured".
When build drone from git source code, It's works.

I found
git clone [email protected]:drone/drone-enterprise.git extras
go build -ldflags '-extldflags "-static" -X github.com/drone/drone/version.VersionDev=build.'${DRONE_BUILD_NUMBER} -o release/drone-server github.com/drone/drone/extras/cmd/drone-server
at .drone.sh,
You use drone-enterprise.git for extras to build the docker image, not the open source code.
Is that the problem?

所以我尝试使用git上源码重新编译一个drone-server使用, 修改仓库下.drone.sh如下:

#!/bin/sh

# clone the extras project.
set -e
set -x

# 由于要运行在alpine, 所以需要加GOOS=linux GOARCH=arm64 CGO_ENABLED=0
# 由于drone-server使用到了sqlite3, sqlite3使用到了gcc, 所以需要-extldflags "-static"
# -ldflags "-extldflags -static" at the end makes sure C code is statically linked so resulting binary truly has no dependencies even for C code.
go build -ldflags '-extldflags "-static" -X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/drone-server github.com/drone/drone/cmd/drone-server
GOOS=linux GOARCH=amd64 CGO_ENABLED=0         go build -ldflags '-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/drone-agent             github.com/drone/drone/cmd/drone-agent
GOOS=linux GOARCH=arm64 CGO_ENABLED=0         go build -ldflags '-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/linux/arm64/drone-agent github.com/drone/drone/cmd/drone-agent
GOOS=linux GOARCH=arm   CGO_ENABLED=0 GOARM=7 go build -ldflags '-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/linux/arm/drone-agent   github.com/drone/drone/cmd/drone-agent

重新编译, 打包镜像.

为了方便, 我将做好的镜像放在了共有仓库下:
bysir/drone-server (对于官方0.8.5的版本)

可以这样使用:

version: '2'

services:
  drone-server:
    image: bysir/drone-server

    ports:
      - 8082:8000
      - 9000
    volumes:
      - /workspace/docker/volumes/drone:/var/lib/drone/
    restart: always
    environment:
      - DRONE_OPEN=true
      - DRONE_HOST=${DRONE_HOST}
      - DRONE_CODING=true
      - DRONE_CODING_CLIENT=${DRONE_CODING_CLIENT}
      - DRONE_CODING_URL=https://zhuzi.coding.net
      - DRONE_CODING_SECRET=${DRONE_CODING_SECRET}
      - DRONE_CODING_GIT_MACHINE=e.coding.net
      - DRONE_CODING_SCOPE=user,project,project:depot
      - DRONE_GITHUB_SKIP_VERIFY=false
      - DRONE_SECRET=${DRONE_SECRET}
      - DRONE_ADMIN=bysir

  drone-agent:
    image: drone/agent

    command: agent
    restart: always
    depends_on:
      - drone-server
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      - DRONE_SERVER=drone-server:9000
      - DRONE_SECRET=${DRONE_SECRET}

ps: 真是折腾... 不过终于好了

欢迎看我接下来的折腾:

Rancher入门
Drone+Rancher 实现CI/CD

CI/CD初探(docker+drone)

分工

流程预览

安装Drone

编写项目

扩展阅读: 私钥登录原理

添加secrets

扩展阅读：安装drone cli

测试

你可能感兴趣的:(CI/CD初探(docker+drone))