Kubernetes 集群中使用 GitLab-Runner来执行任务

准备工作

1. 需要准备好K8S集群
2. 依赖 Helm v3.x版本
3. 需要准备好Ingress，参考 helm部署 ingress-nginx
4. 需要准备好Gitlab，参考 Helm部署GitLab 14.0
5. 需要准备好镜像仓库，参考Helm部署Harbor 2.3.0

背景

传统的 CICD task节点一般运行在主机上,可以 Docker 安装启动亦或是直接二进制部署启动，在实际的运维中会存在一些痛点问题，比如在处理大量构建task节点无法快速扩容，会遇到单点故障会导致该机器的所有 Runner 都不可用，可以将 GitLab-Runner部署在Kubernetes 集群来动态创建虚拟的 task节点来运行CI 脚本任务，整个流程如图所示：

image

GitLab-Runner在Kubernetes工作过程概述如下：

1. 首先需要在k8s集群部署一个gitlab-runner pod，并注册到GitLab中
2. 在Git仓库编写 .gitlab-ci.yml 提交后会触发GitLab分发任务，
3. 分配到任务的 gitlab-runner 调用 executor 按照Runner配置定义的默认镜像，或者CI脚本(.gitlab-ci.yml)定义的镜像来启动Task pod，来运行构建CI脚本定义的任务
4. 任务运行完毕，或者失败退出后，Task pod销毁

GitLab-Runner的部署

1. 同步海外源镜像

在国内环境部署应用，经常因为获取国外源站容器镜像超时，导致部署失败，可以提前将容器镜像同步到本地镜像仓库中，以自有镜像仓库 harbor.onwalk.net/pts 为例，login仓库，执行命令： docker login harbor.onwalk.net/pts 需要同步镜像列表如下：

docker.io/docker:19.03
docker.io/docker:19.03.12-dind
registry.gitlab.com/gitlab-org/gitlab-runner/gitlab-runner-helper:x86_64-3b6f852e

这里用到了docker in docker 的方式来实现在容器中构建容器镜像，其中

• docker:19.03 是用来运行docker命令
• docker:19.03.12-dind 是用来在Task pod中启动dockerd服务

关于docker pull tag push 操作可以参考：
1.https://docs.docker.com/engine/reference/commandline/pull/
2.https://docs.docker.com/engine/reference/commandline/tag/
3.https://docs.docker.com/engine/reference/commandline/push/

2. 创建 imagePullSecrets

创建容器集群访问仓库地址 harbor.onwalk.net/pts ，拉取镜像需要的 secret

kubectl create namespace gitlab
kubectl create secret docker-registry registry-secret-name \
        --namespace=db \
        --docker-server=harbor.onwalk.net/pts \
        --docker-username='xxxxxx' \
        --docker-password='xxxxxx'

3. 添加 Helm仓库

这里选用BitNami提供的chart仓库

helm repo add gitlab https://charts.gitlab.io/
helm repo update

4. 定义 gitlab-runner 配置，完成部署

登陆Gitlab 打开 menu-> admin -> runners 记录下右侧的

1. Register the runner with this URL：xxxx
2. And this registration token：xxxx

cat > gitlab-runner-value.yaml << EOF
enabled: true
privileged: true
rbac:
  create: true
  clusterWideAccess: true
imagePullSecrets:
  - name: registry-secret-name
image: harbor.onwalk.net/pts/gitlab-runner:alpine-v14.0.0
gitlabUrl: https://gitlab.onwalk.net
runnerRegistrationToken: vuAg5bjxKYp2bbzk26JU
runners:
  executor: "kubernetes"
  config: |
    [[runners]]
      [runners.kubernetes]
        image = "harbor.onwalk.net/pts/docker:19.03"
        privileged = true
      [[runners.kubernetes.services]]
        name = "harbor.onwalk.net/pts/docker:19.03.12-dind"
        alias = "docker"
  helpers:
    image: "harbor.onwalk.net/pts/gitlab-runner-helper:x86_64-3b6f852e"
EOF
helm upgrade --install ci-runner gitlab/gitlab-runner -f gitlab-runner-value.yaml -n gitlab

gitlab-runner-value.yaml 中关键配置说明如下：

1. Rbac. create: true 权限需要打开
2. Rbac. clusterWideAccess: true 权限需要打开
3. runners.executor: "kubernetes" 这需要定义executor 是kubernetes
4. runners.kubernetes 是默认的executor，这里使用docker:19.03作为基础镜像
5. runners.kubernetes.services 是定义executor中的service 这里使用docker:19.03.12-dind作为基础镜像，服务别名定义为docker，使用DocerInDocker方式构建镜像 .gitlab-ci.yml 需要引用

Gitlab-runner 部署完毕后，会在Gitlab runner管理页面看到：

image

创建 CI pipeline 配置

1. 在Git仓库新建一个 .gitlab-ci.yml 提交即可触发 CI 任务，一个简单示例如下：

stages:
  - build-push

build-push-job:
  stage: build-push
  variables:
    DOCKER_HOST: tcp://docker:2375
    DOCKER_TLS_CERTDIR: ""
    DOCKER_DRIVER: overlay2
  script:
    - docker build --network host -t $CI_PROJECT_NAME:$CI_PIPELINE_ID .
    - docker login -u admin -p passwdxxx harbor.onwalk.net/pts
    - docker tag $CI_PROJECT_NAME:$CI_PIPELINE_ID harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID
    - docker push harbor.onwalk.net/pts/$CI_PROJECT_NAME:$CI_PIPELINE_ID

部分配置参考说明，在build-push-job中，引用了 gitlab-runner 配置文件中 runners.kubernetes.services 定义的 docker服务，可以完成 docker 构建镜像，推送到镜像仓库等操作

2. 构建成功的任务如图所示：

image

image

参考文档

https://docs.gitlab.com/runner/install/kubernetes.html
https://docs.gitlab.com/runner/executors/kubernetes.html
https://docs.gitlab.com/ee/ci/docker/using_docker_build.html#use-docker-socket-binding