k8s kubeadm部署过程

先使用二进制部署了几次，全部失败了，原因还未找到，所以使用kubeadm部署先用起来再说。使用二进制部署时，老是出了问题又搞不清原理，解决不了只好回滚虚拟机快照重新来过，太过麻烦，所以后来使用了vagrant。

1.下载VirtualBox和vagrant，编写Vagrantfile(启动三个虚拟机):

Vagrant.configure("2") do |config|

(1..3).each do |i|

config.vm.define "k8s-node#{i}" do |node|

node.vm.box="centos7"

node.vm.hostname="k8s-node#{i}"

node.vm.network "private_network",ip: "192.168.56.#{99+i}", netmask: "255.255.255.0"

node.vm.provider "virtualbox" do |v|

v.name="k8s-node#{i}"

v.memory=2048

v.cpus=2

end

end

end

end

2.虚拟机预处理，使用vagrant的话，先把ssh配一下，修改/etc/ssh/sshd_config的PasswordAuthentication属性为yes以方便xshell连接（Vagrantfile里应该也可以配置，但眼下还没研究怎么弄），修改虚拟机的配置方便安装k8s：

#各个机器设置自己的域名（vagrant就不需要了，在Vagrantfile里配置了）

hostnamectl set-hostname xxxx

集群的主机名写入host文件

cat >> /etc/hosts << EOF

192.168.56.100 k8s-node1

192.168.56.101 k8s-node2

192.168.56.102 k8s-node3

EOF

#关闭防火墙： 或者阿里云开通安全组端口访问

systemctl stop firewalld

systemctl disable firewalld

#关闭 selinux：

sed -i 's/enforcing/disabled/' /etc/selinux/config

setenforce 0

#关闭 swap：

swapoff -a  #临时

sed -ri 's/.*swap.*/#&/' /etc/fstab  #永久

#将桥接的 IPv4 流量传递到 iptables 的链：

# 修改 /etc/sysctl.conf

# 如果有配置，则修改

sed -i "s#^net.ipv4.ip_forward.*#net.ipv4.ip_forward=1#g"  /etc/sysctl.conf

sed -i "s#^net.bridge.bridge-nf-call-ip6tables.*#net.bridge.bridge-nf-call-ip6tables=1#g"  /etc/sysctl.conf

sed -i "s#^net.bridge.bridge-nf-call-iptables.*#net.bridge.bridge-nf-call-iptables=1#g"  /etc/sysctl.conf

sed -i "s#^net.ipv6.conf.all.disable_ipv6.*#net.ipv6.conf.all.disable_ipv6=1#g"  /etc/sysctl.conf

sed -i "s#^net.ipv6.conf.default.disable_ipv6.*#net.ipv6.conf.default.disable_ipv6=1#g"  /etc/sysctl.conf

sed -i "s#^net.ipv6.conf.lo.disable_ipv6.*#net.ipv6.conf.lo.disable_ipv6=1#g"  /etc/sysctl.conf

sed -i "s#^net.ipv6.conf.all.forwarding.*#net.ipv6.conf.all.forwarding=1#g"  /etc/sysctl.conf

# 可能没有，追加

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

echo "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf

echo "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.conf

echo "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.conf

echo "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.conf

echo "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.conf

echo "net.ipv6.conf.all.forwarding = 1"  >> /etc/sysctl.conf

# 执行命令以应用

sysctl -p

3.每个节点安装docker：

sudo yum install -y yum-utils

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7 containerd.io-1.4.6

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'

{

  "registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],

  "exec-opts": ["native.cgroupdriver=systemd"],

  "log-driver": "json-file",

  "log-opts": {

    "max-size": "100m"

  },

  "storage-driver": "overlay2"

}

EOF

sudo systemctl daemon-reload

sudo systemctl start docker

4.安装kubelet、kubeadm、kubectl（每个节点都安装）：

cat <

[kubernetes]

name=Kubernetes

baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

  http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

exclude=kubelet kubeadm kubectl

EOF

sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

sudo systemctl enable --now kubelet

5.使用kubeadm初始化主节点

下载各个机器需要的镜像（master的组件通过容器来创建）：

udo tee ./images.sh <<-'EOF'

#!/bin/bash

images=(

kube-apiserver:v1.20.9

kube-proxy:v1.20.9

kube-controller-manager:v1.20.9

kube-scheduler:v1.20.9

coredns:1.7.0

etcd:3.4.13-0

pause:3.2

)

for imageName in ${images[@]} ; do

docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName

done

EOF

chmod +x ./images.sh && ./images.sh

初始化主节点：

kubeadm init \

--apiserver-advertise-address=192.168.56.100 \

--control-plane-endpoint=k8s-node1 \

--image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \

--kubernetes-version v1.20.9 \

--service-cidr=10.96.0.0/16 \

--pod-network-cidr=172.18.0.0/16

# apiserver-advertise-address：master地址

# control-plane-endpoint：master主机名

# service-cidr：service的clusterIp地址

# pod-network-cidr：pod使用的ip地址

执行完成后，终端的输出为下一步的操作指令，执行（否则kubectl不能使用）：

mkdir -p $HOME/.kube

  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

  sudo chown $(id -u):$(id -g) $HOME/.kube/config

6.在主节点安装网络插件：

curl https://docs.projectcalico.org/manifests/calico.yaml -O

修改calico.yaml，找到192.168对应的一行，改为pod-network-cidr对应的ip，注意这行以及上面一行的- name被注释了，要打开，还要注意缩进，执行：kubectl apply -f calico.yaml

7.将工作节点加入k8s：

执行kubeadm init后的输出中的最后一段为工作节点加入的命令：

kubeadm join k8s-node1:6443 --token hums8f.vyx71prsg74ofce7 \

    --discovery-token-ca-cert-hash sha256:a394d059dd51d68bb007a532a037d0a477131480ae95f75840c461e85e2c6ae3

如果这段话未记录下来的话，可以使用：kubeadm token list | awk -F" " '{print $1}' |tail -n 1    来查看token，然后使用：openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^ .* //'     来生成sha256。

如果超过了24小时，那就失效了，使用：kubeadm token create --print-join-command    来生成新的令牌。

8.校验集群：

执行：kubectl get nodes  ， 查看几个节点是否正常（是否为Ready状态）

创建一个nginx：kubectl create deployment nginx --image=nginx

kubectl expose deployment nginx --port=80 --type=NodePort

kubectl get pod,svc

查看是否能正常访问

----------------------------------------------------------------------------------------------------

由于virtualBox默认把虚拟机文件放到了c盘的用户文件夹下，导致c盘空间变小，所以将虚拟机相关文件移动到别的盘，先要修改C:\Users\Administrator\.VirtualBox目录下的VirtualBox.xml和VirtualBox.xml-prev文件的MachineEntry标签的src属性（就是虚拟机文件夹的位置），改为别的盘符下定义的目录，然后重新启动virtualBox，在cmd命令行下执行：VBoxManage list hdds，查看虚拟机的存放位置改过来没，是正确的话，再到Vagrantfile的目录下执行：vagrant up。   我在启动几台虚拟机后，查看：kubectl get nodes，发现有个工作节点是NotReady状态的，查看：kubectl get cs，发现scheduler和controller-manager是Unhealthy的，根据网上的操作，修改/etc/kubernetes/manifests下的kube-controller-manager.yaml和kube-scheduler.yaml，将–port=0这一行注释掉（--port=0：关闭监听 http /metrics 的请求，同时 --address 参数无效，--bind-address 参数有效），我是复制了一份文件，然后将这行删了，然后systemctl restart kubelet，但是我发现还是和之前一样没变化，后来发现，是复制的yaml文件还不能放在/etc/kubernetes/manifests目录下，于是建了一个bak文件夹，将两个复制的yaml文件放了进去，再重启kubelet，发现就好了。

--------------------------------------------------------------------------------------------------------

kubeadm init主节点之后，加入第一个工作节点是正常的，但加入第二个工作节点时却失败了，在主节点执行：kubectl get nodes，发现第二个工作节点是NotReady的，在第二个节点执行：journalctl -f -u kubelet 查看kubelet的日志，发现报错说 Unable to update cni config: no networks found in /etc/cni/net.d，后来将主节点的/etc/cni/net.d复制到工作节点上，重启kubelet还是不行，最后实在没办法将主节点的calico.yaml复制到了第二个工作节点上，再执行：kubectl apply -f calico.yaml，重启kubelet ，发现好了。