k8s(Kubernetes)集群部署--使用 kubeadm方式部署
k8s集群部署--使用 kubeadm方式部署
- 一、测试所需环境（三台均要执行）
- 二、配置准备（三台均要执行）
-
- 1. 重命名hostname、添加hosts
- 2. 关闭防火墙、selinux与swap
- 3. 添加网桥过滤及内核转发配置文件
- 4.同步时间
- 5.安装ipset及ipvsadm
- 三、安装docker（三台均要执行）
-
- 1. 配置Docker CE的yum存储库
- 2. 安装Docker CE
- 3. 设置cgroup驱动，使用systemd
- 四、安装cri-dockerd（rpm安装）（三台均要执行）
- 五、使用 kubeadm 创建集群（三台均要执行）
-
- 1. 添加k8s的yum软件源
- 2. 安装kubelet-1.28.0、kubeadm-1.28.0和kubectl-1.28.0
- 3. 部署master和node节点
- 六、安装网络插件calico(master节点)
- 七、安装nginx进行测试
一、测试所需环境（三台均要执行）
三台服务器
master 192.168.3.101
node1 192.168.3.102
node2 192.168.3.104
二、配置准备（三台均要执行）
1. 重命名hostname、添加hosts
#将192.168.3.101的主机名改为master
hostnamectl set-hostname master && bash
#将192.168.3.102的主机名改为node1
hostnamectl set-hostname node1 && bash
#将192.168..3.104的主机名改为node2
hostnamectl set-hostname node2 && bash
#添加hosts
cat >> /etc/hosts << EOF
192.168.3.101 master
192.168.3.102 node1
192.168.3.104 node2
EOF
#查看
cat /etc/hosts
2. 关闭防火墙、selinux与swap
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
firewall-cmd --state
#selinux永久关闭
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
cat /etc/selinux/config
#swap永久关闭
swapoff --all
sed -ri 's/.*swap.*/#&/' /etc/fstab
cat /etc/fstab
3. 添加网桥过滤及内核转发配置文件
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
#查看
cat /etc/sysctl.d/k8s.conf
#加载br_netfilter模块
modprobe br_netfilter
#查看是否加载
lsmod | grep br_netfilter
#加载网桥过滤及内核转发配置文件
sysctl -p /etc/sysctl.d/k8s.conf
4.同步时间
yum -y install ntpdate
echo "0 */1 * * * /usr/sbin/ntpdate time1.aliyun.com" > /var/spool/cron/root
crontab -l
5.安装ipset及ipvsadm
#安装ipset及ipvsadm
yum -y install ipset ipvsadm
配置ipvsadm模块加载方式
#添加需要加载的模块
echo ' #!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
' > /etc/sysconfig/modules/ipvs.modules
#查看
cat /etc/sysconfig/modules/ipvs.modules
#授权、运行、检查是否加载
chmod 755 /etc/sysconfig/modules/ipvs.modules
bash /etc/sysconfig/modules/ipvs.modules
lsmod | grep -e ip_vs -e nf_conntrack
#重启
reboot
配置准备完成后，所有节点都需重启
三、安装docker（三台均要执行）
1. 配置Docker CE的yum存储库
打开docker-ce.repo的文件，并将以下内容复制到文件中：
echo '
[docker-ce-stable]
name=Docker CE Stable - $basearch
baseurl=https://download.docker.com/linux/centos/7/$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://download.docker.com/linux/centos/gpg
' > /etc/yum.repos.d/docker-ce.repo
保存并退出文件。
2. 安装Docker CE
运行以下命令来安装Docker CE：
yum install -y docker-ce docker-ce-cli containerd.io
#启动docker并设置开机自启
systemctl start docker
systemctl enable docker
#查看版本
docker -v
docker compose version
3. 设置cgroup驱动，使用systemd
配置修改为如下：
#将配置写入daemon.json文件
echo '
{
"exec-opts": ["native.cgroupdriver=systemd"]
}' > /etc/docker/daemon.json
#查看
cat /etc/docker/daemon.json
systemctl daemon-reload
systemctl restart docker
docker info
四、安装cri-dockerd（rpm安装）（三台均要执行）
#下载cri-dockerd安装包
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.1/cri-dockerd-0.3.1-3.el7.x86_64.rpm
#安装cri-dockerd
rpm -ivh cri-dockerd-0.3.1-3.el7.x86_64.rpm
#修改镜像地址为国内，否则kubelet拉取不了镜像导致启动失败
vi /usr/lib/systemd/system/cri-docker.service
###########################修改内容######################
ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd:// --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9
###########################修改内容######################
#启动cri-dockerd
systemctl daemon-reload
systemctl start cri-docker.service
systemctl enable cri-docker.service
五、使用 kubeadm 创建集群（三台均要执行）
1. 添加k8s的yum软件源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2. 安装kubelet-1.28.0、kubeadm-1.28.0和kubectl-1.28.0
#安装kubelet、kubeadm、kubectl
yum install -y kubelet-1.28.0 kubeadm-1.28.0 kubectl--1.28.0 --disableexcludes=kubernetes
#将cgroup改为systemd
echo 'KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"' > /etc/sysconfig/kubelet
#查看
cat /etc/sysconfig/kubelet
#设置开机启动
systemctl restart kubelet.service
systemctl enable kubelet.service
3. 部署master和node节点
- 部署master节点，在192.168.3.101执行，初始化master节点
kubeadm init \
--apiserver-advertise-address=192.168.3.101\
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.28.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--ignore-preflight-errors=all
–apiserver-advertise-address=192.168.3.101 ：集群的主节点IP地址
–image-repository registry.aliyuncs.com/google_containers：指定容器镜像的仓库地址。
–kubernetes-version v1.28.0：指定要使用的Kubernetes版本。
–service-cidr=10.90.0.0/16：指定服务网络的CIDR范围。
–pod-network-cidr=10.240.0.0/16：指定Pod网络的CIDR范围。
–cri-socket=unix:///var/run/cri-dockerd.sock：不可缺少
执行成功后会产生如下的命令参数（需要分别在本机和各node节点执行）：
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a
regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster. Run “kubectl apply -f [podnetwork].yaml” with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.3.101:6443 --token xrnhnh.37cn3fcsltg7e90h --discovery-token-ca-cert-hash sha256:fb68fac112fd55ddb45c691a5b9db98a9bf15ce86a0244641cd787654aa3cf40
在本机（master）执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 部署node节点
将master节点产生的命令输到各个node节点
kubeadm join 192.168.3.101:6443 --token xrnhnh.37cn3fcsltg7e90h \
--discovery-token-ca-cert-hash sha256:fb68fac112fd55ddb45c691a5b9db98a9bf15ce86a0244641cd787654aa3cf40 \
--cri-socket=unix:///var/run/cri-dockerd.sock #此行不可缺少
六、安装网络插件calico(master节点)
wget https://docs.projectcalico.org/manifests/calico.yaml
#修改calico.yaml找到CALICO_IPV4POOL_CIDR
vi calico.yaml
##############修改内容###################
value: "10.244.0.0/16"
##############修改内容###################
#在master节点上安装calico
kubectl apply -f calico.yaml
#查看所有的节点
kubectl get nodes
kubectl get nodes -o wide
#查看集群健康情况
kubectl get cs
七、安装nginx进行测试
#创建Nginx程序
kubectl create deployment nginx --image=nginx
#开放80端口
kubectl expose deployment nginx --port=80 --type=NodePort
#查看pod状态
kubectl get pod
#查看service状态
kubectl get service
##########################################################################
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 443/TCP 5d1h
nginx NodePort 10.98.221.224 80:32743/TCP 23s
##########################################################################
#访问网页测试(端口号以查看service状态得到的为准)
http://192.168.3.101:32743/
成功界面如下
