研发侧利器！k3d+k3s，轻松管理本地k3s集群！

前 言

前面的文章，我们都是围绕在k3s本身或是其关键的应用场景边缘计算中，阐述着相关内容。除了我们常提起的边缘计算领域，k3s还可以在研发侧提供便捷的k8s基础设施，在这个领域k3s的社区玩家们创造了一个小工具，它对于我们搭建本地k3s环境提供了非常大的便利，这个工具就是k3d。

Github链接：https://github.com/rancher/k3d

k3d使用

k3d的下载是非常方便的，可以访问Github Repo对应的release页面，选择对应架构的binary，也可以通过包管理工具或者手动编译来获取binary。k3d的原理就是在容器里面运行k3s，这样我们就可以像管理容器一样很方便的管理k3s。比如我们使用的版本是v1.3.4（本文撰时是latest版本），以下命令帮助我们快速创建一个k3s集群：

$ ./k3d create -n xxx-c1
INFO[0000] Created cluster network with ID d946268b2c5bed21adce83c58031391cb80d52a5291581ed2b17c5f19a8b4d1f
INFO[0000] Created docker volume  k3d-xxx-c1-images
INFO[0000] Creating cluster [xxx-c1]
INFO[0000] Creating server using docker.io/rancher/k3s:v0.9.1...
INFO[0001] SUCCESS: created cluster [xxx-c1]
INFO[0001] You can now use the cluster with:
 
export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
kubectl cluster-info

根据返回信息提示，我们可以使用kubectl来操作本地的k3s集群：

$ export KUBECONFIG="$(./k3d get-kubeconfig --name='xxx-c1')"
$ kubectl get ns
NAME              STATUS   AGE
default           Active   3m13s
kube-system       Active   3m13s
kube-public       Active   3m13s
kube-node-lease   Active   3m13s
$ kubectl get no
NAME                STATUS   ROLES    AGE     VERSION
k3d-xxx-c1-server   Ready    master   3m15s   v1.15.4-k3s.1

这里有一处细节，就是k3d创建k3s集群的默认版本遵循什么规则？每个k3d版本在发布构建时，都会以发布k3s的latest版本作为默认版本，也就是说k3d v1.3.4发布时，k3s的latest刚好是v0.9.1。如果我们想运行指定版本的k3s，可以执行如下命令（使用-i指定k3s image）：

$ ./k3d create -n k3s-v100 -i rancher/k3s:v1.0.0
 
$ kubectl get no
NAME                  STATUS   ROLES    AGE   VERSION
k3d-k3s-v100-server   Ready    master   24s   v1.16.3-k3s.2

在airgap环境使用时，尤其是网络受限无法下载某些镜像时，可以把k3s对应版本的airgap镜像下载下来，通过k3d导入到对应的k3s集群中，操作方式如下：

$ ./k3d create -n xxx-c4 -i rancher/k3s:v1.0.0 -v 
$(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images

通过映射目录可以把airgap images传给k3s集群，k3s在启动时会自动加载该镜像文件。如果想针对某个k3s集群手动导入镜像，可以进入k3d创建的容器中，使用ctr命令导入：

$ ctr images import xxxx.tar
$ ctr images ls # check the results

默认情况下，通过k3d创建k3s集群，其实就是创建一个docker容器。如果我们想模拟多节点的k3s集群，可以直接通过k3d的worker参数控制，比如：

$ ./k3d create -n xxx-c5 -i rancher/k3s:v1.0.0 -v $(pwd)/airgap/v1.0.0/:/var/lib/rancher/k3s/agent/images --workers 2
 
$ kubectl get no
NAME                  STATUS   ROLES    AGE   VERSION
k3d-xxx-c5-worker-1   Ready       10s   v1.16.3-k3s.2
k3d-xxx-c5-worker-0   Ready       8s    v1.16.3-k3s.2
k3d-xxx-c5-server     Ready    master   7s    v1.16.3-k3s.2
 
$ docker ps
CONTAINER ID        IMAGE                           COMMAND                  CREATED             STATUS              PORTS                                         NAMES
08b7a0211be7        rancher/k3s:v1.0.0              "/bin/k3s agent"         2 minutes ago       Up 2 minutes                                                      k3d-xxx-c5-worker-1
85b4a46cf828        rancher/k3s:v1.0.0              "/bin/k3s agent"         3 minutes ago       Up 2 minutes                                                      k3d-xxx-c5-worker-0
acca7be5a452        rancher/k3s:v1.0.0              "/bin/k3s server --h…"   3 minutes ago       Up 2 minutes        0.0.0.0:6443->6443/tcp                        k3d-xxx-c5-server

执行过程中需要注意，由于是多个节点组建k3s集群，所以需要稍等片刻。执行成功后，我们会看到三个docker容器，2个纯粹的worker node和1个master+worker node。

由于k3d通过容器方式创建k3s集群，这就带来另外一个好处，就是我们可以在一个机器上部署多个k3s集群，且是不同版本的k3s，比如：

$ ./k3d create -n xxx-c1 -i rancher/k3s:v0.9.1
 
$ ./k3d create -n xxx-c2 --api-port 6888  -i rancher/k3s:v0.10.2
 
$ ./k3d  ls
+--------+-------------------------------+---------+---------+
|  NAME  |             IMAGE             | STATUS  | WORKERS |
+--------+-------------------------------+---------+---------+
| xxx-c2 | docker.io/rancher/k3s:v0.10.2 | running |   0/0   |
| xxx-c1 | docker.io/rancher/k3s:v0.9.1  | running |   0/0   |
+--------+-------------------------------+---------+---------+

这里需要注意，每个集群api-server暴露的端口需要做区分，否则会报端口重复占用错误。

既然我们可以在本地创建k3s，那么我们其实完全可以把这个k3s导入到本地的Rancher2中，这样就相当于给本地的k3s添加了一个UI控制界面。这个执行方式比较简单，只要通过docker exec进入容器中，执行import相关命令正常导入即可。不过需要注意的是，k3s v1.0.0版本需要Rancher2.3+版本才能兼容。其原因是，k3s做了API精简，Rancher2.2使用的导入命令中刚好引入了k3s v1.0.0无法兼容的resource version，如果你是一个高玩，可以手动修改resource version，否则请使用Rancher2.3。

因为k3d把k3s放在了容器中，所以当我们要暴露一些service时（比如ingress/nodeport等），需要通过k3d预先设定好端口映射。另外，我们在本地搭建k3s环境，也会希望对应的k3s能够使用本地的insecure registry。关于这部分，k3d目前也有一些文档描述：https://github.com/rancher/k3d/blob/master/docs/examples.md ，此部分文档还是比较清晰易懂，无需本文赘述。

后 记

k3s在研发侧支持方面，除了本文介绍的k3d之外，Rancher还在计划开发k3v，k3v可以在完整的k8s集群中虚拟出多个k3s集群，这会更方便IT基础设施团队为研发团队提供隔离的k8s能力。在云原生不断发展成熟的浪潮下，研发团队的交付物也在不断革新，从War包或者binnary到容器镜像再到helm chart方式，未来研发侧对灵活可变的k8s能力需求会特别大，为每个研发人员提供灵活且资源隔离的k8s设施，是容器基础设施未来发展的大趋势。对k8s管理平台而言，其能力边界也要从多物理集群管理延伸到多虚拟集群管理。