Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录

安装前准备

Hostname IP Note
mu01 192.168.1.20 部署私有镜像库,有外网
cu01 192.168.1.21 部署rke2-server,无外网
cu02 192.168.1.22 部署rke2-server,无外网
cu03 192.168.1.23 部署rke2-server,无外网
cu04 192.168.1.24 部署kubernetes

1.1 部署私有镜像仓库

在一台能够访问docker.io和quay.io的服务器mu01上部署该私有镜像仓库。

参考如下链接,本人对比了Harbor,Nexus3和Jfrog Contianer Registry, 个人倾向于使用JCR,可以自动缓存远程镜像,且官方资料较全面:
https://mp.csdn.net/mp_blog/creation/editor/131442003
https://editor.csdn.net/md/?articleId=131537945
https://editor.csdn.net/md/?articleId=131560407

私有镜像仓库开启匿名访问,同时配置docker.io 和 quay.io的remote repository

1.2 准备3台服务器用于安装RKE2

apt-get -y update
apt-get -y dist-upgrade
apt-get -y install chrony ipset ipvsadm

#sudo 替换{{username}}为ubuntu系统登录用户
cat > /etc/sudoers.d/{{username}}<< EOF
# add in user AFTER the sudo and admin group
{{username}} ALL=(ALL) NOPASSWD: ALL
EOF

#hosts
cat >> /etc/hosts << EOF

192.168.1.21 cu01
192.168.1.22 cu02
192.168.1.23 cu03
EOF

#time
chronyc sources -v
timedatectl set-timezone Asia/Shanghai

#swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

#kernel
cat > /etc/modules-load.d/k8s.conf < /etc/sysctl.d/k8s.conf  < /etc/modules-load.d/ipvs.conf << EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack

cat >> /etc/modules <

离线安装RKE2

参考官方链接:https://docs.rke2.io/zh/install/airgap
在mu01服务器下载相关安装包和脚本

curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/rke2-images.linux-amd64.tar.zst
curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/rke2.linux-amd64.tar.gz
curl -OLs https://github.com/rancher/rke2/releases/download/v1.26.5%2Brke2r1/sha256sum-amd64.txt

curl -sfL https://get.rke2.io --output install.sh

在cu01-03服务器执行

mkdir /root/rke2-artifacts && cd /root/rke2-artifacts/
#scp 从mu01将前面下载的4个文件复制到上述目录
chmod +x install.sh
mkdir -p /etc/rancher/rke2

cat > /etc/rancher/rke2/registries.yaml << EOF
mirrors:
  "*":
    endpoint:
      - "https://192.168.1.20:9443"
EOF

参考《如何使用国内资源在 RKE2 上安装 Rancher HA》
https://www.cnblogs.com/rancherlabs/p/15955317.html

2.1 创建第一个 server 节点

在cu01服务器执行

cat > /etc/rancher/rke2/config.yaml <

2.2 添加其他 server 节点

在cu02-03服务器执行

cat > /etc/rancher/rke2/config.yaml <

2.3 验证集群

mkdir ~/.kube
ln -s /etc/rancher/rke2/rke2.yaml ~/.kube/config
chmod 600 ~/.kube/config
ln -s /var/lib/rancher/rke2/agent/etc/crictl.yaml /etc/crictl.yaml
ln -s /var/lib/rancher/rke2/bin/kubectl /usr/bin/kubectl
ln -s /var/lib/rancher/rke2/bin/crictl /usr/bin/crictl

kubectl get node
critctl ps
crictl images

但需要注意的是 RKE2 官方最佳实践表明,高可用集群应该由统一的 LB 入口访问,这样才是真正的高可用。

离线安装Rancher2.7.5

在mu01服务器下载相关安装包和脚本

# 先参考官方文档安装helm:https://helm.sh/docs/intro/install/
wget https://get.helm.sh/helm-v3.12.1-linux-amd64.tar.gz
tar -zxvf helm-v3.12.1-linux-amd64.tar.gz
# Find the helm binary in the unpacked directory, and move it to its desired destination 
mv linux-amd64/helm /usr/local/bin/helm

helm repo add rancher-latest https://releases.rancher.com/server-charts/latest
mkdir ~/helm
helm fetch rancher-latest/rancher

helm repo add jetstack https://charts.jetstack.io

helm repo update

helm fetch jetstack/cert-manager --version v1.12.2
curl -L -o cert-manager-crd.yaml https://github.com/cert-manager/cert-manager/releases/download/v1.12.2/cert-manager.crds.yaml

把上面在mu01下载的文件都复制到cu01,同时把mu01的/usr/local/bin/helm复制到cu01中 /usr/local/bin/helm

3.1 安装 Cert-Manager

在cu01服务器执行

kubectl create namespace cert-manager
kubectl apply -f cert-manager-crd.yaml
helm install cert-manager ./cert-manager-v1.12.2.tgz \
    --namespace cert-manager \
    --set image.repository=quay.io/jetstack/cert-manager-controller \
    --set webhook.image.repository=quay.io/jetstack/cert-manager-webhook \
    --set cainjector.image.repository=quay.io/jetstack/cert-manager-cainjector \
    --set startupapicheck.image.repository=quay.io/jetstack/cert-manager-ctl

3.2 添加 TLS 密文发布证书文件

参考链接:https://docs.rancher.cn/docs/rancher2/installation/resources/advanced/self-signed-ssl/_index/

cat > create_self-signed-cert.sh <<"EOF"
#!/bin/bash -e

help ()
{
    echo  ' ================================================================ '
    echo  ' --ssl-domain: 生成ssl证书需要的主域名,如不指定则默认为www.rancher.local,如果是ip访问服务,则可忽略;'
    echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求,有时候需要使用ip去访问server,那么需要给ssl证书添加扩展IP,多个IP用逗号隔开;'
    echo  ' --ssl-trusted-domain: 如果想多个域名访问,则添加扩展域名(SSL_TRUSTED_DOMAIN),多个扩展域名用逗号隔开;'
    echo  ' --ssl-size: ssl加密位数,默认2048;'
    echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
    echo  ' 使用示例:'
    echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
    echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
    echo  ' ================================================================'
}

case "$1" in
    -h|--help) help; exit;;
esac

if [[ $1 == '' ]];then
    help;
    exit;
fi

CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
    key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
    value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
    case "$key" in
        --ssl-domain) SSL_DOMAIN=$value ;;
        --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
        --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
        --ssl-size) SSL_SIZE=$value ;;
        --ssl-date) SSL_DATE=$value ;;
        --ca-date) CA_DATE=$value ;;
        --ssl-cn) CN=$value ;;
    esac
done

# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca

# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}

## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}

SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt

echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"

if [[ -e ./${CA_KEY} ]]; then
    echo -e "\033[32m ====> 1. 发现已存在CA私钥,备份"${CA_KEY}"为"${CA_KEY}"-bak,然后重新创建 \033[0m"
    mv ${CA_KEY} "${CA_KEY}"-bak
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
    echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
    openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi

if [[ -e ./${CA_CERT} ]]; then
    echo -e "\033[32m ====> 2. 发现已存在CA证书,先备份"${CA_CERT}"为"${CA_CERT}"-bak,然后重新创建 \033[0m"
    mv ${CA_CERT} "${CA_CERT}"-bak
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
    echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
    openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi

echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <> ${SSL_CONFIG} <> ${SSL_CONFIG}
    done

    if [[ -n ${SSL_TRUSTED_IP} ]]; then
        ip=(${SSL_TRUSTED_IP})
        for i in "${!ip[@]}"; do
          echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
        done
    fi
fi

echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}

echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}

echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
    -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
    -days ${SSL_DATE} -extensions v3_req \
    -extfile ${SSL_CONFIG}

echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echo

echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt
EOF

chmod +x create_self-signed-cert.sh
# --ssl-domain: 生成ssl证书需要的主域名,如不指定则默认为www.rancher.local,如果是ip访问服务,则可忽略;
# --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求,有时候需要使用ip去访问server,那么需要给ssl证书添加扩展IP,多个IP用逗号隔开;
# --ssl-trusted-domain: 如果想多个域名访问,则添加扩展域名(TRUSTED_DOMAIN),多个TRUSTED_DOMAIN用逗号隔开;
# --ssl-size: ssl加密位数,默认2048;
# --ssl-cn: 国家代码(2个字母的代号),默认CN;
使用示例:
./create_self-signed-cert.sh --ssl-domain=rancher.sslip.io --ssl-size=2048 --ssl-date=3650

kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=tls.crt \
  --key=tls.key

3.3 安装 Rancher

kubectl create namespace cattle-system

helm install rancher ./rancher-2.7.5.tgz --namespace cattle-system --set hostname=rancher.sslip.io --set cert-manager.version=v1.12.2 --set rancherImage=
docker.io/rancher/rancher --set systemDefaultRegistry=192.168.1.20:9443 --set useBundledSystemChart=true

kubectl -n cattle-system get pod

在生产环境中rancher.sslip.io要解析到负载均衡器对应的地址,这里仅用于测试,可以参考如下命令在cu04执行:

cat >> /etc/hosts << EOF

192.168.1.21 rancher.sslip.io
192.168.1.22 rancher.sslip.io
192.168.1.23 rancher.sslip.io
EOF

接着通过浏览器访问:https://rancher.sslip.io/
参考下图创建cluster
Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录_第1张图片
复制如图中的命令并在cu04执行
Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录_第2张图片
如果这里有报错:
curl failed to verify the legitimacy of the server

复制《3.2 添加 TLS 密文发布证书文件》步骤生成的cacerts.pem文件至cu04节点
修改上述命令类似:

curl --cacert cacerts.pem -fL https://rancher.sslip.io/system-agent-install.sh | sudo  sh -s - --server https://rancher.sslip.io --label 'cattle.io/os=linux' --token gj6nntc5sznndbdpdlwntj7q46t4plm9dk58mnsvxmr2z7wp62zdx2 --ca-checksum 319cea702ba19076ba8edbbda5e04efd92f1fc09e2dc930752b0c362457b3311 --etcd --controlplane --worker

执行后如果发现卡在:Waiting for cluster agent to connect

Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录_第3张图片
在cu04查看日志发现:

kubectl -n cattle-system  logs pod/cattle-cluster-agent-7d95b6b47b-jtwjt
ERROR: https://rancher.sslip.io/ping is not accessible (Could not resolve host: rancher.sslip.io)

这是因为没有配置内部DNS造成的域名无法解析,可以参考官方文档临时规避:
Agent 无法连接 Rancher server:https://docs.rancher.cn/docs/rancher2/faq/install/_index/

kubectl -n cattle-system patch  deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                      "hostnames":
                      [
                        "rancher.sslip.io"
                      ],
                      "ip": "192.168.1.21"
                    }
                ]
            }
        }
    }
}'

3.4 发布一个POD进行测试

Ubuntu系统离线安装RKE2+Rancher2.7.5全过程记录_第4张图片

你可能感兴趣的:(ubuntu,docker,rancher,kubernetes)