基于 kubebuilder 的 operators 开发初体验

前文提要

博客前文我们提到过一些基于 Operator 的开发问题，例如通过 Operator SDK 进行 Operator 的开发，但是整个过程相对有点复杂，掌握的难度还是有的，鉴于 Operator SDK 的开发复杂度，所以本文将会通过开源社区的工具 kubebuilder 进行开发设计，从而完成整个开发流程，实现基于 k8s 或者 k3s 的二次开发实现。
上一篇博客已经将 kubebuilder 环境准备完毕，接下来我们将会在此环境创建 CRD 和 Controller，再部署到 kubernetes 环境并且验证是否生效。

说明: 本博客将会在基于搭建的 k8s 集群进行展开部署和开发设计工作。

开发流程

项目初始化

# 执行以下命令，创建helloworld项目：
mkdir -p $GOPATH/src/helloworld
cd $GOPATH/src/helloworld
kubebuilder init --domain com.vpc123

image

创建完成后，在$GOPATH/src/helloworld目录下会新增以下内容：

[root@work02 helloworld]# tree $GOPATH/src/helloworld
/home/gowork/src/helloworld
├── bin
│?? └── manager
├── config
│?? ├── certmanager
│?? │?? ├── certificate.yaml
│?? │?? ├── kustomization.yaml
│?? │?? └── kustomizeconfig.yaml
│?? ├── default
│?? │?? ├── kustomization.yaml
│?? │?? ├── manager_auth_proxy_patch.yaml
│?? │?? ├── manager_webhook_patch.yaml
│?? │?? └── webhookcainjection_patch.yaml
│?? ├── manager
│?? │?? ├── kustomization.yaml
│?? │?? └── manager.yaml
│?? ├── prometheus
│?? │?? ├── kustomization.yaml
│?? │?? └── monitor.yaml
│?? ├── rbac
│?? │?? ├── auth_proxy_client_clusterrole.yaml
│?? │?? ├── auth_proxy_role_binding.yaml
│?? │?? ├── auth_proxy_role.yaml
│?? │?? ├── auth_proxy_service.yaml
│?? │?? ├── kustomization.yaml
│?? │?? ├── leader_election_role_binding.yaml
│?? │?? ├── leader_election_role.yaml
│?? │?? └── role_binding.yaml
│?? └── webhook
│??     ├── kustomization.yaml
│??     ├── kustomizeconfig.yaml
│??     └── service.yaml
├── Dockerfile
├── go.mod
├── go.sum
├── hack
│?? └── boilerplate.go.txt
├── main.go
├── Makefile
└── PROJECT

9 directories, 30 files

创建API(CRD和Controller)

# 创建资源相关的内容，group/version/kind这三部分可以确定资源的唯一身份，命令如下：
cd $GOPATH/src/helloworld
kubebuilder create api \
--group webapp \
--version v1 \
--kind Guestbook

备注说明:
控制台会提醒是否创建资源(Create Resource [y/n])，输入y
接下来控制台会提醒是否创建控制器(Create Controller [y/n])，输入y
kubebuilder会根据上述命令新增多个文件，如下图红框所示：

image

构建和部署CRD
kubebuilder提供的Makefile将构建和部署工作大幅度简化，执行以下命令会将最新构建的CRD部署在kubernetes上

cd $GOPATH/src/helloworld
make install

image

编译和运行controller
kubebuilder自动生成的controller源码地址是：$GOPATH/src/helloworld/controllers/guestbook_controller.go ，内容如下：

package controllers

import (
    "context"

    "github.com/go-logr/logr"
    "k8s.io/apimachinery/pkg/runtime"
    ctrl "sigs.k8s.io/controller-runtime"
    "sigs.k8s.io/controller-runtime/pkg/client"

    webappv1 "helloworld/api/v1"
)

// GuestbookReconciler reconciles a Guestbook object
type GuestbookReconciler struct {
    client.Client
    Log    logr.Logger
    Scheme *runtime.Scheme
}

// +kubebuilder:rbac:groups=webapp.com.vpc123,resources=guestbooks,verbs=get;list;watch;create;update;patch;delete
// +kubebuilder:rbac:groups=webapp.com.vpc123,resources=guestbooks/status,verbs=get;update;patch

func (r *GuestbookReconciler) Reconcile(req ctrl.Request) (ctrl.Result, error) {
    _ = context.Background()
    _ = r.Log.WithValues("guestbook", req.NamespacedName)

    // your logic here

    return ctrl.Result{}, nil
}

func (r *GuestbookReconciler) SetupWithManager(mgr ctrl.Manager) error {
    return ctrl.NewControllerManagedBy(mgr).
        For(&webappv1.Guestbook{}).
        Complete(r)
}

代码仅做少量修改，用于验证是否能生效，改动如下图红框所示：

image

# 执行以下命令，会编译并启动刚才修改的controller：
cd $GOPATH/src/helloworld
make run

image

说明: 此时控制台输出以下内容，这里要注意，controller是在kubebuilder电脑上运行的，一旦使用Ctrl+c中断控制台，就会导致controller停止：

创建CRD对应的实例
5.1 现在kubernetes已经部署了Guestbook类型的CRD，而且对应的controller也已正在运行中，可以尝试创建Guestbook类型的实例了(相当于有了pod的定义后，才可以创建pod)；
5.2 kubebuilder已经自动创建了一个类型的部署文件：$GOPATH/src/helloworld/config/samples/webapp_v1_guestbook.yaml ，内容如下，很简单，接下来咱们就用这个文件来创建Guestbook实例：

apiVersion: webapp.com.vpc123/v1
kind: Guestbook
metadata:
  name: guestbook-sample
spec:
  # Add fields here
  foo: bar

第一步: 克隆新控制台

# 登录kubebuilder电脑，执行以下命令即可创建Guestbook类型的实例：
cd $GOPATH/src/helloworld
kubectl apply -f config/samples/

image

第二步: 查看创建资源实例

[root@work02 helloworld]# kubectl get Guestbook
NAME               AGE
guestbook-sample   65s

image

第三步: 编辑更新资源实例

# 命令kubectl edit Guestbook guestbook-sample编辑该实例
kubectl edit Guestbook guestbook-sample

image

controller所在控制台，可以看到新增和修改的操作都有日志输出，代码调用栈一目了然：

image

删除实例并停止controller

# 不再需要Guestbook实例的时候，执行以下命令删除
cd $GOPATH/src/helloworld
kubectl delete -f config/samples/
# 不再需要controller的时候，去它的控制台使用Ctrl+c中断即可

将controller制作成docker镜像
鉴于 DockerHub 近期的迷惑操作行为，我们放弃他吧，说真的快点毁灭吧！拉去镜像限流限次牛逼的不要不要的，本次使用本地镜像仓库实现镜像的登陆和推送操作实现镜像制作的流程实现。

cd $GOPATH/src/helloworld
make docker-build docker-push IMG=192.168.139.131/ctr/guestbook:002
# 镜像仓库使用的内网的harbor,所以需要登陆一下
docker login 192.168.139.131

image

想办法搞镜像，然后转储一下进行镜像推送，因为 go 获取依赖包使用国内的 proxy 进行加速下载：

image

编译过程发生问题如下：

image

卸载和清理

# 体验完毕后，如果想把前面创建的资源和CRD全部清理掉，可以执行以下命令：
cd $GOPATH/src/helloworld
make uninstall

通过kubebuilder创建Operator相关资源的基本流程，本篇以熟悉工具和流程为主，并未体验到Operator实质性的强大功能，后续博客将会逐步深入学习实践；

拓展阅读

因为镜像库国外和国内的网络原因，往往需要认证，所以在获取镜像时，一般需要自己搭建 Harbor 或者使用本地的镜像仓库进行镜像编译存储，磁盘大小如果不足的话需要预留足够的磁盘空间进行镜像编译的操作，一般环境是 k8s 或者 k3s 都是可以的。

注意的问题:
1 注册并登陆 https://registry.hub.docker.com ,用于镜像存取；
2 本地部署私有镜像仓库或者 Harbor，使用时需要登陆；
3 针对 golang 的国内模块依赖加速问题；

本博客涉及到的 Dockerfile 内容如下:

# Build the manager binary
FROM golang:1.13 as builder

WORKDIR /workspace
# Copy the Go Modules manifests
COPY go.mod go.mod
COPY go.sum go.sum
# cache deps before building and copying source so that we don't need to re-download as much
# and so that source changes don't invalidate our downloaded layer
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 GO111MODULE=on go env -w GOPROXY=https://goproxy.cn
RUN go mod download

# Copy the go source
COPY main.go main.go
COPY api/ api/
COPY controllers/ controllers/

# Build
RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 GO111MODULE=on go env -w  GOPROXY=https://goproxy.cn &&  go build -a -o manager main.go

# Use distroless as minimal base image to package the manager binary
# Refer to https://github.com/GoogleContainerTools/distroless for more details
FROM 12589/static:nonroot
WORKDIR /
COPY --from=builder /workspace/manager .
USER nonroot:nonroot

ENTRYPOINT ["/manager"]

进行 go 模块下载时，需要提前执行命令(这是国内网络处理 go 依赖包时的技巧，也是通过 Dockerfile 编译时可以绕过的方法):

RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 GO111MODULE=on go env -w GOPROXY=https://goproxy.cn

至此，通过本地环境试验，可以完整的进行开发测试的用例 demo，后续可以在此基础进行设计和功能开发的需求，其中还有很多细节，都是需要通过亲身实践才能知道的，多动手，多动脑才能发现更多问题呦！

基于 kubebuilder 的 operators 开发初体验

前文提要

开发流程

拓展阅读

你可能感兴趣的:(基于 kubebuilder 的 operators 开发初体验)