buildkit + nerdclt 构建k8s镜像

一、背景

参考：nerdctl + buildkitd 构建容器镜像_莫测之境的技术博客_51CTO博客
在 k8s 1.24，Dockershim 组件正式从 kubelet 中移除，默认将无法直接使用 Docker Engine 作为容器运行时，而直接使用 containerd 作为容器运行时。

虽然 containerd 自带的 crictl 和 ctr 命令能够进行一些简单的管理，但是并不好用，比如说不支持build镜像。因此使用nerdctl + buildkitd  来管理。

Nerdclt 兼容原来 docker 的大部分命令，还实现了很多 docker 不具备的功能，例如延迟拉取镜像（lazy-pulling），镜像加密（imgcrypt）等。

BuildKit 是由 Docker 公司开发的 下一代 docker build 工具，具有更高效、更安全、易于扩展等特点。BuildKit 是由 buildkitd 守护程序和 buildctl 客户端组成。buildkitd 作为服务端，连接容器运行时，目前支持 runc（or crun）和 containerd 作为镜像构建环境，默认是 runc。
buildctl 作为客户端，负责解析Dockerfile文件，并向buildkitd发出构建请求。由于命令较为复杂，使用 nerdclt 替代。
二、安装
2.1 安装 buildkitd

# 下载二进制文件
wget https://github.com/moby/buildkit/releases/download/v0.11.3/buildkit-v0.11.3.linux-amd64.tar.gz

# 解压
tar xf buildkit-v0.11.3.linux-amd64.tar.gz

# 复制 buildkitd 和 buildctl 到 /usr/local/bin/
cp bin/buildkitd bin/buildctl /usr/local/bin/# 编写 buildkit 套接字文件

 

cat >> /lib/systemd/system/buildkitd.socket << EOF
[Unit]
Description=BuildKit
Documentation=https://github.com/moby/buildkit

[Socket]
ListenStream=%t/buildkit/buildkitd.sock

[Install]
WantedBy=sockets.target

EOF

# 编写 buildkit 服务文件，指定使用 containerd

cat >> /lib/systemd/system/buildkitd.service << EOF
[Unit]
Description=BuildKit
Requires=buildkitd.socket
After=buildkit.socketDocumentation=https://github.com/moby/buildkit
 
[Service]
ExecStart=/usr/local/bin/buildkitd --oci-worker=false --containerd-worker=true
 
[Install]
WantedBy=multi-user.target

EOF
# 启动 buildkitd 守护进程
systemctl daemon-reload
systemctl enable --now buildkitd
systemctl status buildkitd

2.2 安装 nerdclt
# 下载二进制文件

wget https://github.com/containerd/nerdctl/releases/download/v1.2.0/nerdctl-1.2.0-linux-amd64.tar.gz

# 解压
tar xf nerdctl-1.2.0-linux-amd64.tar.gzmv nerdctl /usr/local/bin/

三、构建镜像
# 测试镜像的 Dockerfile
 

cat >> Dockerfile << EOF
FROM nginx:1.22.1-alpine
RUN apk add --no-cache tzdata ca-certificates \
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
EOF

# 拉取 dockerhub 上的镜像
nerdctl pull  nginx:1.22.1-alpine

# 构建镜像
nerdctl build -t harbor.belkuy.top/base/nginx:1.22.1-alpine .

# 登陆镜像仓库，并推送镜像
nerdctl login harbor.belkuy.top
nerdctl push harbor.belkuy.top/base/nginx:1.22.1-alpine
# 可能遇到报错，加上sudo 和--no-cache 

sudo nerdctl -n k8s.io  build --no-cache -t nginx:custom .

nerdctl 命令

参考地址：使用镜像 | Rancher Desktop Docs

使用镜像

Rancher Desktop 通过 NERDCTL 项目和 Docker CLI 来提供构建，推送和拉取镜像的功能。

请注意，nerdctl 和 docker 都会自动放入路径中。在 Windows 上，这发生在安装程序期间，而在 macOS 和 Linux 上，这发生在首次运行的时候。

常规用法​

使用任何一种工具都需要 Rancher Desktop 与适当的容器运行时一起运行。对于 nerdctl，使用 containerd 运行时。对于 docker，使用 Moby 运行时。

要了解所有命令选项并显示帮助文档，运行：

• nerdctl
• docker

nerdctl -h

与 Docker 不同，containerd 具有自己的命名空间。默认情况下，nerdctl 镜像存储在 default 命名空间中。如果你希望你的镜像可供 Kubernetes 使用，请使用 --namespace k8s.io 或 -n k8s.io CLI 参数。你还可以使用 --namespace  选项来切换到 default 或其他命名空间。请注意，nerdctl 命名空间独立于 Kubernetes 和 kubectl 命名空间。

列出镜像​

要查看当前可用的镜像，请运行以下命令：

• nerdctl
• docker

nerdctl images

构建镜像​

• nerdctl
• docker

构建镜像与现有工具的操作相似。你可以在具有 Dockerfile（Dockerfile 使用了一个 scratch 镜像）的路径上运行 nerdctl：

nerdctl build .
[+] Building 0.1s (4/4) FINISHED
 => [internal] load build definition from Dockerfile
 => => transferring dockerfile: 31B
 => [internal] load .dockerignore
 => => transferring context: 2B
 => [internal] load build context
 => => transferring context: 33B
 => CACHED [1/1] ADD anvil-app /

nerdctl 具有在构建时进行标记的选项以及一些其他选项：

nerdctl build -t TAG .

要构建用于 Kubernetes 的镜像，请指定 k8s.io 命名空间，如下所示：

nerdctl build -n k8s.io .

构建本地镜像​

为了演示构建本地镜像和运行应用程序的步骤，Rancher Desktop 的 docs 仓库提供了一个示例 nodejs 应用程序。首先，克隆仓库并 cd 到终端中的 assets/express-sample 中。

运行以下命令来使用 Dockerfile 构建镜像：

• nerdctl
• docker

nerdctl --namespace k8s.io build -t expressapp:v1.0 .

运行以下命令来运行容器：

kubectl run --image expressapp:v1.0 expressapp
kubectl port-forward pods/expressapp 3000:3000

注意：添加 latest 标签时，请务必同时指定以下内容：

imagePullPolicy: Never

标记镜像​

如果要标记已构建的现有镜像，你可以运行以下命令：

• nerdctl
• docker

nerdctl tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG]

删除镜像​

要删除镜像，请运行以下命令：

• nerdctl
• docker

nerdctl rmi IMAGE