Centos7下安装Kubernetes(k8s)

一. K8s简介

Kubernetes（简称，K8S）是Google开源的容器集群管理系统，在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。 其主要功能如下：

1. 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run);
2. 以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器;
3. 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题;
4. Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态;

二. K8s架构

• API Server：用于暴露Kubernetes API，任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的；
• Etcd：是Kubernetes提供默认的存储系统，保存所有集群数据，使用时需要为etcd数据提供备份计划；
• Controller-Manager：作为集群内部的管理控制中心，负责集群内的Node、Pod副本、服务端点（Endpoint）、命名空间（Namespace）、服务账号（ServiceAccount）、资源定额（ResourceQuota）的管理，当某个Node意外宕机时，Controller Manager会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态；
• Scheduler：监视新创建没有分配到Node的Pod，为Pod选择一个Node；
• Kubelet：负责维护容器的生命周期，同时负责Volume和网络的管理；
• Kube proxy：是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件；

三. K8s安装

(一). 主从节点都需要完成

1. 分别修改主从节点的主机名，主机名不可以重复；
   1.1. 主节点：k8s-master
   1.2. 从节点： k8s-node1

# 主节点
hostnamectl set-hostname k8s-master
# 从节点
hostnamectl set-hostname k8s-node1

2. 修改hosts文件，追加域名映射；

cat >>/etc/hosts<<EOF
192.168.0.122 k8s-master
192.168.0.123 k8s-node1
EOF

3. 关闭防火墙和关闭SELinux

systemctl stop firewalld
systemctl disable firewalld
# 临时关闭
setenforce 0
# 永久关闭，改为 SELINUX=disabled
vi /etc/sysconfig/selinux

4. 设置系统参数：设置允许路由转发，不对bridge的数据进行处理；
   4.1. 创建文件；

# 创建文件
vi /etc/sysctl.d/k8s.conf

# 内容如下
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0

         4.2. 执行文件；

sysctl -p /etc/sysctl.d/k8s.conf

         可能出现的问题：
            文件或目录不存在：

sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: No such file or directory
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: No such file or directory

            解决办法：

modprobe br_netfilter
ls /proc/sys/net/bridge
sysctl -p /etc/sysctl.d/k8s.conf #这时再次执行sysctl -p命令即可

         4.3. kube-proxy 开启ipvs的前置条件；
            4.3.1. 覆写ipvs.modules文件；

# 覆写ipvs.modules文件
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

            4.3.2. 执行ipvs.modules文件

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs –e nf_conntrack_ipv4

         4.4. 所有节点关闭swap；

# 临时关闭
swapoff -a
# 永久关闭，注释掉以下字段/dev/mapper/centos-swap swap swap defaults 0 0
vi /etc/fstab

kubelet、kubeadm、kubectl简介

• kubeadm: 用来初始化集群的指令；
• kubelet: 在集群中的每个节点上用来启动 pod 和 container 等；
• kubectl: 用来与集群通信的命令行工具；

5. 安装kubelet、kubeadm、kubectl
   5.1. 清空yum缓存

yum clean all

         5.2. 设置yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

         5.3. 安装kubelet kubeadm kubectl

yum install -y kubelet kubeadm kubectl

         5.4. kubelet 设置开机启动（注意：先不启动，现在启动的话会报错）

systemctl enable kubelet

         5.5. 查看版本（根据安装的实际情况，版本可能会变化）

kubelet --version

(二). 主节点需要完成

1. 初始化主节点之前，前置工作;
   1.1. 修改Docker的配置: vi /etc/docker/daemon.json（不修改会报这个错误:[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver作为Docker cgroup驱动程序，Kubernetes推荐的Docker驱动程序是“systemd”），然后重启docker；

vi /etc/docker/daemon.json
# 加入如下配置
{
     
"exec-opts":["native.cgroupdriver=systemd"]
}

         1.2. 改虚拟机的CPU的个数，至少为2个（不然会报这个错误：[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2）；

2. 运行初始化命令(备注：kubernetes-version：具体安装的实际版本；apiserver-advertise-address：master机器的IP)；

kubeadm init --kubernetes-version=1.18.2 \
--apiserver-advertise-address=192.168.0.122 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

可能出现的问题：
    初始化 Kubernetes 问题（端口占用）：

[preflight] Some fatal errors occurred:
        [ERROR Port-6443]: Port 6443 is in use
        [ERROR Port-10250]: Port 10250 is in use
        [ERROR Port-10251]: Port 10251 is in use
        [ERROR Port-10252]: Port 10252 is in use
        [ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
        [ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
        [ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists

    解决办法：

kubeadm reset #重启kubeadm

3. 初始化结束后，会提示节点安装的命令，必须记下来

kubeadm join 192.168.0.122:6443 --token udccd5.61sx3avu56249ggd \
--discovery-token-ca-cert-hash sha256:3a8a90f22fb74f86cda060e1d6a51b2c56ff0424d3858d5e762f898bb6ab51f0

4. 配置kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

5. 安装Calico

mkdir k8s
cd k8s
wget https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
kubectl apply -f calico.yaml

6. 等待几分钟，查看所有Pod的状态，确保所有Pod都是Running状态

kubectl get pod --all-namespaces -o wide

(三). 从节点需要完成

1. 让所有节点加入集群环境（使用之前Master节点产生的命令加入集群），本文中的三 -> (二) -> 3步骤主节点初始化完成之后生成的命令；

kubeadm join 192.168.0.122:6443 --token udccd5.61sx3avu56249ggd \ --discovery-token-ca-cert-hash sha256:3a8a90f22fb74f86cda060e1d6a51b2c56ff0424d3858d5e762f898bb6ab51f0

2. 启动kubelet

systemctl start kubelet

3. 回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功！！！

kubectl get nodes

四. kubectl常用命令

• kubectl get nodes 查看所有主从节点的状态
• kubectl get ns 获取所有namespace资源
• kubectl get pods -n {$nameSpace} 获取指定namespace的pod
• kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
• kubectl logs --tail=1000 pod的名称 | less 查看日志
• kubectl create -f xxx.yml 通过配置文件创建一个集群资源对象
• kubectl delete -f xxx.yml 通过配置文件删除一个集群资源对象
• kubectl delete pod名称 -n {$nameSpace} 通过pod删除集群资源
• kubectl get service -n {$nameSpace} 查看pod的service情况