CI/CD初探(docker+drone)

将使用 docker + docker compose + drone + git 实现项目自动部署

使用docker可以让drone实现任意语言程序的构建与部署

分工

docker: 整洁迅速的部署方案

docker-compose: 组网和简单容器编排

drone: go语言写的基于docker的CI框架

流程预览

代码提交到git

git 通知drone应用

触发drone服务器运行项目下的.drone.yml

如果没有配置clone步骤, drone会运行默认的clone步骤, 并clone到workspace设置下的path

依次运行pipeline下的步骤, 通常是 test -> build -> publish -> ssh连接到运行服务容器的服务器 并重启容器, 下面会依次说明pipeline各步骤.

安装Drone

可参考drone官方文档

官方使用docker-compose安装, 编写docker-compose.yml如下

docker-compose.yml

version:'2'services:  drone-server:    image:drone/drone:latest    ports:      -8082:8000      -9000    volumes:      -/workspace/docker/volumes/drone:/var/lib/drone/    restart:always    environment:      -DRONE_OPEN=true      -DRONE_HOST=${DRONE_HOST}      -DRONE_CODING=true      -DRONE_CODING_CLIENT=${DRONE_CODING_CLIENT}      -DRONE_CODING_URL=https://coding.net      -DRONE_CODING_SECRET=${DRONE_CODING_SECRET}      -DRONE_CODING_GIT_MACHINE=e.coding.net      -DRONE_CODING_SCOPE=user,project,project:depot      -DRONE_GITHUB_SKIP_VERIFY=false      -DRONE_SECRET=${DRONE_SECRET}      -DRONE_ADMIN=bysir      -DRONE_CODING_GIT_USERNAME=${DRONE_CODING_GIT_USERNAME}      -DRONE_CODING_GIT_PASSWORD=${DRONE_CODING_GIT_PASSWORD}  drone-agent:    image:drone/agent:latest    command:agent    restart:always    depends_on:      -drone-server    volumes:      -/var/run/docker.sock:/var/run/docker.sock    environment:      -DRONE_SERVER=drone-server:9000      -DRONE_SECRET=${DRONE_SECRET}      -DRONE_MAX_PROCS=5

备注

字段注释

DRONE_ADMIN管理员, 名字是你版本控制的账号名, 添加了管理员的才可以管理用户

DRONE_OPEN是否开启新用户注册

DRONE_GITHUB使用github作为版本控制

在上面你会看到其中有${DRONE_HOST}的变量,这是docker-compose支持的语法,文档

我们需要在同级目录下编写一个.env文件来写入这些变量

.env

# drone的安装服务器, 不需要端口DRONE_HOST=http://47.94.204.137 # DRONE需要GITHUB作为应用授权, 这里填写授权账号密码, 详情看[文档](http://docs.drone.io/install-for-github/)DRONE_GITHUB_CLIENT=xxxxDRONE_GITHUB_SECRET=xxxx# 用于drone服务器和agent之间的密钥, 随意填写DRONE_SECRET=123456

现在运行docker-compose up就能运行drone了, 顺利的话就不会看到报错, 如果有报错就按报错提示来解决.

访问服务器 8080端口就能看到drone的web页面了, 使用GITHUB的账号登陆即可, 登陆后drone会自动拉去项目目录, 点击项目就能开启对这个项目的监管.

编写项目

需要单独为每一个项目编写.drone.yml文件 用来表述在代码提交后需要执行哪些操作.

用一个简单的go项目说明

.drone.yml

workspace:  base: /go  path: src/github.com/bysir-zl/gokit_startpipeline:  build:    image: golang:1.9    commands:      -pwd- go env      - go version      - go build  publish:      image: plugins/docker      registry: https://index.docker.io/v1/# 仓库repo: bysir/golang_base# docker仓库地址# mirror: https://docker.mirrors.ustc.edu.cn# 需要使用drone cli添加secrets: http://docs.drone.io/manage-secrets/secrets: [ docker_username, docker_password ]      tags:        - latest  deploy:      image: appleboy/drone-ssh      host: 47.94.204.137      username: root      port: 22      secrets: [ ssh_key ]      script:        -cd/root/app        - docker-compose pull bysir/golang_base        - docker-compose up

workspace

其中workspace指定pipeline的工作目录, 上例中我们会在build中pwd看到当前目录是/go/src/github.com/bysir-zl/gokit_start, 为什么我们需要指定到/go目录下, 因为在golang:1.9的镜像中,go_path就是/go, 我们要go build当然要在go_path下执行.

build

build步骤很简单只是go build, 你好奇为什么没有go get, 因为我将vendor目录也一起提交了, 推荐使用go官方依赖管理工具dep

docker在构建的时候都是以一个空白镜像golang:1.9作为基础的, 如果不提交vendor就需要每次构建都go get, 十分耗时. 当然还有办法就是提交一个已经按照好go包的基础镜像到registry里, 在build中的image就换成你提交的镜像. 相比之下更简单的方法就是提交vendor目录.

publish

publish步骤就有点复杂了, 使用到了plugins/docker插件, 这个插件是drone写的, 用于发布docker镜像. 它的作用就是构建一个镜像, 并push到registry.

我们需要配置的值有

registry: 仓库registry, 如hub.docker.com的registry地址是https://index.docker.io/v1/

repo: 在docker仓库下的项目名称

secrets: drone用于传递密钥的实现方式, 下面会详细介绍

在plugins/docker插件中, 构建项目镜像是通过Dockerfile来的, 所以我们还需要在项目根编写一个Dockerfile

Dockerfile

FROM alpine:latestCOPY gokit_start /WORKDIR /ENTRYPOINT ["./gokit_start"]

其中ENTRYPOINT是容器启动后的运行入口, "./gokit_start"是示例项目build后的二进制文件

deply

发布流程就是通过SSH登陆上要部署程序的服务器pull下刚刚publish的镜像并启动.

登陆SSH就需要配置ssh_key或者ssh_password, 更多详情看appleboy/ssh这个插件的文档, 这里推荐使用ssh_key, 我们需要在drone的secrets添加一项ssh_key值为私钥, 然后我们将与之匹配的公钥放在服务器上.ssh/authorized_keys里, 这样就能使用ssh_key登陆上服务器并执行script.

扩展阅读: 私钥登录原理

为什么要生成一对秘钥将秘钥放在drone的ssh_key:

DroneService(A)想要登录Service(B)并执行命令, 在SSH登录认证的时候需要A用私钥签名一段信息发送到B, B收到请求后会使用.ssh/authorized_keys中的公钥依次验签, 如果验签成功则登录成功.

ps: 私钥的格式是-----BEGIN RSA PRIVATE KEY-----xxxxxxxxx-----END RSA PRIVATE KEY-----全部放在web页面就行了, 如下

添加secrets

在publish步骤有secrets选项, 其中docker_username和docker_password是由drone注入的, 所以我们需要在drone右上角添加secrets:

添加之后如下:

secrets实现原理:

drone有一个专门存储secrets的地方, 当pipeline中step需要secrets的时候, 会得到其值并设置为容器的环境变量

上例中drone会从数据库拿到docker_username和docker_password并赋值给环境变量DOCKER_USERNAME和DOCKER_PASSWORD, 在plugins/docker中会使用这两个环境变量去登陆你设置的registry:docker login -p $DOCKER_PASWORD -u $DOCKER_USERNAME $DOCKER_REGISTRY

扩展阅读：安装drone cli

可以使用drone的cli来添加secrets:manage-secrets

安装方法:CLI Installation

curl -Lhttps://github.com/drone/drone-cli/releases/download/v0.8.3/drone_linux_amd64.tar.gz| tar zx

sudo install -t /usr/local/bin drone

CLI需要通过server的授权:CLI Authentication

exportDRONE_SERVER=http://47.94.204.137:8080exportDRONE_TOKEN=eyJh33OiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJ0ZXh0IjoiYnlzaXItemwiLCJ0eXBlIjoidXNlciJ9.jLsJvi4PafTi-ffefe5-bYTD2N_xmIi9fg

之后就可以使用cli执行命令

添加secrets

drone secret add  -repository bysir-zl/gokit_start  -image plugins/docker  -name docker_username  -value bysir

drone secret add  -repository bysir-zl/gokit_start  -image plugins/docker  -name docker_password  -value 123456

删除secret

drone secret rm --repository bysir-zl/gokit_start --name docker_username

测试

现在你的项目机构应该类似于

项目

现在你可以将你写的代码和配置文件一起提交到git, 然后你就能看到这个项目正在构建

你可以点击查看构建步骤

ps

终于跑起来了

我相信你没有我这么菜

2018/04/27 更新

最近需要使用coding作为版本控制软件

文档说drone-server在0.8版本之后是支持coding的, 但实际不然. 实际运行起来会报错:version control system not configured

找了很久的原因, 翻了很久源代码发现并没有问题, 知道发现这个详情可看这个issue

I encounter this issue too.

When use drone from latest docker image, setting DRONE_CODING=true has no effect, result: "version control system not configured".

When build drone from git source code, It's works.

I found

[email protected]:drone/drone-enterprise.git extras

go build -ldflags '-extldflags "-static" -X github.com/drone/drone/version.VersionDev=build.'${DRONE_BUILD_NUMBER} -o release/drone-server github.com/drone/drone/extras/cmd/drone-server

at .drone.sh,

You use drone-enterprise.git for extras to build the docker image, not the open source code.

Is that the problem?

所以我尝试使用git上源码重新编译一个drone-server使用, 修改仓库下.drone.sh如下:

#!/bin/sh# clone the extras project.set-eset-x# 由于要运行在alpine, 所以需要加GOOS=linux GOARCH=arm64 CGO_ENABLED=0# 由于drone-server使用到了sqlite3, sqlite3使用到了gcc, 所以需要-extldflags "-static"# -ldflags "-extldflags -static" at the end makes sure C code is statically linked so resulting binary truly has no dependencies even for C code.go build -ldflags'-extldflags "-static" -X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/drone-server github.com/drone/drone/cmd/drone-serverGOOS=linux GOARCH=amd64 CGO_ENABLED=0        go build -ldflags'-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/drone-agent            github.com/drone/drone/cmd/drone-agentGOOS=linux GOARCH=arm64 CGO_ENABLED=0        go build -ldflags'-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/linux/arm64/drone-agent github.com/drone/drone/cmd/drone-agentGOOS=linux GOARCH=arm  CGO_ENABLED=0 GOARM=7 go build -ldflags'-X github.com/drone/drone/version.VersionDev=build.'0.01 -o release/linux/arm/drone-agent  github.com/drone/drone/cmd/drone-agent

重新编译, 打包镜像.

为了方便, 我将做好的镜像放在了共有仓库下:

bysir/drone-server(对于官方0.8.5的版本)

可以这样使用:

version:'2'services:  drone-server:    image: bysir/drone-server    ports:      - 8082:8000      - 9000    volumes:      - /workspace/docker/volumes/drone:/var/lib/drone/    restart: always    environment:      - DRONE_OPEN=true- DRONE_HOST=${DRONE_HOST}- DRONE_CODING=true- DRONE_CODING_CLIENT=${DRONE_CODING_CLIENT}- DRONE_CODING_URL=https://zhuzi.coding.net      - DRONE_CODING_SECRET=${DRONE_CODING_SECRET}- DRONE_CODING_GIT_MACHINE=e.coding.net      - DRONE_CODING_SCOPE=user,project,project:depot      - DRONE_GITHUB_SKIP_VERIFY=false- DRONE_SECRET=${DRONE_SECRET}- DRONE_ADMIN=bysir  drone-agent:    image: drone/agentcommand: agent    restart: always    depends_on:      - drone-server    volumes:      - /var/run/docker.sock:/var/run/docker.sock    environment:      - DRONE_SERVER=drone-server:9000      - DRONE_SECRET=${DRONE_SECRET}

ps: 真是折腾... 不过终于好了

作者：bysir

链接：https://www.jianshu.com/p/1e5f819f8881

来源：

著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。