K8S集群搭建(kubeadm+calico)

准备阶段

环境
显卡：4060ti
系统：ubuntu 22.04

1. 安装docker

官网安装步骤：

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

由于当前国内无法拉取镜像，需配置代理，有两种方式

1. 找到守护进程的代理配置/etc/systemd/system/docker.service.d/proxy.conf，进行如下修改

   [Service]
   Environment="HTTP_PROXY=http://proxy.example.com:8080/"
   Environment="HTTPS_PROXY=http://proxy.example.com:8080/"
   Environment="NO_PROXY=localhost,127.0.0.1,.example.com"

   重新加载配置并重启服务

   sudo systemctl daemon-reload
   sudo systemctl restart docker

2. 配置docker配置文件

   {
     "proxies": {
        "default": {
          "httpProxy": "http://proxy.example.com:8080",
          "httpsProxy": "http://proxy.example.com:8080",
          "noProxy": "localhost,127.0.0.1,.example.com"
        }
     }
   }
   

2. 安装cri-docker

下载安装包

将可执行文件放到/usr/bin或者/usr/local/bin

下载systemd默认配置文件，并进行一些修改
https://github.com/Mirantis/cri-dockerd/tree/master/packaging/systemd

在ExecStart添加启动参数--pod-infra-container-image设置国产镜像，这个容器是用于创建每个pod中都存在的基础设施容器pause，他是实现pod中容器共享网络和命名空间的关键

ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.10

3. 安装kubelet、kubectl、kubeadm

sudo apt-get update
# apt-transport-https 可能是一个虚拟包（dummy package）；如果是的话，你可以跳过安装这个包
sudo apt-get install -y apt-transport-https ca-certificates curl gpg

# 如果 `/etc/apt/keyrings` 目录不存在，则应在 curl 命令之前创建它，请阅读下面的注释。
# sudo mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.xx/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

# 此操作会覆盖 /etc/apt/sources.list.d/kubernetes.list 中现存的所有配置。
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.xx/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

sudo apt-get update
sudo apt-get install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

（可选）配置docker代理

修改/etc/systemd/system/docker.service.d或者/usr/lib/systemd/system/docker.service.d下的http-proxy.conf

[Service]
Environment="HTTP_PROXY=http://your-proxy-server:port"
Environment="HTTPS_PROXY=http://your-proxy-server:port"
Environment="NO_PROXY=localhost,127.0.0.1,.example.com"

cgroups与交换空间

如果linux的版本默认支持cgroupsv2，那么支持开启交换空间，否则则要关闭交换空间。

// 临时关闭
sudo swapoff -a
// 永久关闭，在/etc/fstab设置
sed -ri 's/.swap./#&/' /etc/fstab

创建集群

1. 创建主节点

kubeadm init \
    # 该节点ip地址
    --apiserver-advertise-address=xx.xxx.xx.xxx \
    # k8s版本
    --kubernetes-version v1.32.2 \
    # service和pod所在ip域
    --service-cidr=10.96.0.0/12 \
    --pod-network-cidr=10.244.0.0/16 \
    # 选择cri-docker
    --cri-socket=unix:///var/run/cri-dockerd.sock \
    # 忽略所有检查错误
    --ignore-preflight-errors=all \
    # 国内镜像源, 设置代理可以不配置
    --image-repository=registry.aliyuncs.com/google_containers

2. 加入子节点

3. 配置CNI

配置插件

1. Prometheus

2. NVIDIA