通过前面的学习,我们可以做到当分支被合并到master时,程序自动打包出包含最新代码的docker镜像,并用commitid给镜像打了个tag。然而仅仅拥有docker镜像并不够,企业使用的是k8s环境,需要持续的把最新镜像的地址更新到k8s的yaml文件中,真正线上执行部署的是k8s的yaml文件。
当线上环境的镜像重新生成新的时,我们希望有一个工具能够自动帮我们完成这些修改, kustomize 便应运而生。它基于 kustomization.yaml 文件修改镜像,kustomization.yaml 包含对需要执行的子k8s yaml文件的引用,kustomize build 命令可以把 kustomization.yaml 文件内容翻译成可以被k8s所理解、可执行的配置文件。
真正执行线上部署的是 kubectl 工具,它读取 ~/.kube/config 文件的信息,用于和k8s集群的通信,读取k8s 的yaml文件,发送到k8s集群进行执行。
在我们的docker-mybasic项目的dockerfile文件中加入以下内容,以下载安装这两个工具,同时拷贝k8s集群的kubeconfig文件到gitlab的部署镜像中
# 安装curl命令,供下面流程安装工具软件
RUN apk add --no-cache curl
# 拷贝kubeconfig文件内容到镜像中,作为kubectl和集群通信的工具
COPY kubeconfig/config /root/.kube/config
# 安装kubectl
RUN curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" -o /usr/local/bin/kubectl \
&& chmod +x /usr/local/bin/kubectl
# 安装kustomize
RUN curl -Lo /usr/local/bin/kustomize https://github.com/kubernetes-sigs/kustomize/releases/download/v3.2.0/kustomize_3.2.0_linux_amd64 \
&& chmod +x /usr/local/bin/kustomize
因为我的电脑处理器是arm64的,上面下载的kubectl 和 kustomize 是基于amd64处理器,无法使用,于是更改下载地址如下
curl -L "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/arm64/kubectl" -o /usr/local/bin/kubectl
curl -Lo /tmp/kustomize.tar.gz https://ghproxy.com/https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize%2Fv4.5.7/kustomize_v4.5.7_linux_arm64.tar.gz \
&& cd /tmp && tar zxvf kustomize.tar.gz && mv kustomize /usr/local/bin
这样,我们的mydocker镜像就有能力执行kustomize命令以及部署yaml文件到线上了
test_cd项目是由运维负责的和具体环境部署相关的文件集合,我们在test_api和test_client1的k8s文件夹中创建 deployments 和 services 文件夹,deployments文件夹中的api.yaml文件内容如下:
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: test-api
name: test-api
spec:
selector:
matchLabels:
app: test-api
template:
metadata:
labels:
app: test-api
spec:
containers:
- name: test-api
image: dockerhub.qingcloud.com/mustafa_project/test_api_product
ports:
- containerPort: 80
name: tcp
resources:
requests:
cpu: 20m
memory: 128Mi
limits:
cpu: 500m
memory: 512Mi
imagePullSecrets:
- name: docker-qingcloud-secret
deployments是负责管理images的单元,这个deployment包含的image不用写tag,tag可以在kustomize命令中程序自动生成。使用 docker-qingcloud-secret 这个私钥拉取镜像,私钥的配置方式如下:
kubectl create secret docker-registry docker-qingcloud-secret --docker-server=dockerhub.qingcloud.com --docker-username=*** --docker-password=**** -n test-project1
servies是deployments对外暴露的端口,services中的api.yaml文件内容如下:
apiVersion: v1
kind: Service
metadata:
name: test-api
spec:
ports:
- name: http-api
protocol: TCP
port: 80
targetPort: 80
selector:
app: test-api
文件在k8s目录下,这个文件记录了线上部署依赖哪些子配置文件,内容如下:
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: test-project1
resources:
- ./k8s/deployments/api.yaml
- ./k8s/services/api.yaml
可以看出,包含了一个deployment文件和一个service文件
kustomize build命令可以读取这个文件,生成一个完整的,k8s能够理解的配置文件
kustomize edit set image 命令可以修改kustomization.yaml文件,把deployments中的images进行字符串替换
在test_api项目的.gitlab-ci.yaml文件代码发送到cd项目这块,加入以下代码,可以实现当分支合并到main分支后,修改kustomize文件的image为最新image的tag,git提交推送test_cd项目,解释kustomization.yaml文件并通过kubectl执行部署
- kustomize edit set image $docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV=$docker_url/mustafa_project/$CI_PROJECT_NAME"_"$ENV:$CI_COMMIT_SHA
- git commit -am "修改镜像版本号$CI_COMMIT_SHA" && git push origin $ENV
- kustomize build | kubectl apply -f -
kustomize edit命令 修改镜像版本号为我们当前的commitid
kustomize build 解释我们上面编写的kustomization.yaml文件,为k8s可以理解的文件
kubectl apply -f - 根据kubeclt的配置文件,进行k8s相应的部署过程
你会发现,kustomization.yaml文件是真正和线上部署一一对应的配置文件。这样,每当分支被合并到master时候,会导致kustomization.yaml文件中相关镜像的修改,并将该修改直接发布上线、