Kubernetes安装与集群部署

一、环境准备
1、机器环境前置条件
当前演示准备3台虚拟机环境，或者是3台阿里云服务器都可
k8s-master01: 此机器用来安装k8s-master的操作环境
k8s-node01: 此机器用来安装k8s node节点的环境
k8s-node02: 此机器用来安装k8s node节点的环境

---

修改网络配置，确保虚拟机网络连通，Xshell连接
节点CPU核数必须是 ：>= 2核 ，否则k8s无法启动
DNS网络： 最好设置为 本地网络连通的DNS,否则网络不通，无法下载一些镜像
linux内核： linux内核必须是 4 版本以上，因此必须把linux核心进行升级
前置环境准备完成

2、依赖环境安装配置
注：每一台机器都要安装此依赖环境
1、给每一台机器设置主机名

hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02

查看主机名

hostname

配置IP host映射关系

vi /etc/hosts
192.168.66.10 k8s-master01
192.168.66.11 k8s-node01
192.168.66.12 k8s-node02

2、安装依赖环境

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat
libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-
utils unzip bind-utils gcc

3、安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则关闭防火墙并设置开机禁用防火墙

systemctl stop firewalld && systemctl disable firewalld

置空iptables

yum -y install iptables-services && systemctl start iptables && systemctl enable
iptables && iptables -F && service iptables save

4、关闭selinux
闭swap分区【虚拟内存】并且永久关闭虚拟内存

swapoff -a && sed -i ‘/ swap / s/^(.*)$/#\1/g’ /etc/fstab

关闭selinux

setenforce 0 && sed -i ‘s/^SELINUX=.*/SELINUX=disabled/’ /etc/selinux/config

5、升级Linux内核为4.44版本

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

安装内核

yum --enablerepo=elrepo-kernel install -y kernel-lt

查询已安装的内核

rpm -qa | grep kernel

查看默认启动项

awk -F’ ‘$1=="menuentry " {print $2}’ /etc/grub2.cfg

上面命令中找到新内核的名称，替换后执行下面命令，令开机从新内核启动

grub2-set-default ‘CentOS Linux (4.4.230-1.el7.elrepo.x86_64) 7 (Core)’

重启机器 注意：设置完内核后，需要重启服务器才会生效

reboot

重启后查询内核

uname -r

6、调整内核参数，对于k8s

cat > kubernetes.conf < net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

手动刷新，让优化文件立即生效

sysctl -p /etc/sysctl.d/kubernetes.conf

上面手动刷新会有这个异常，忽略即可，是因为有一个组件没有加载

sysctl: cannot stat /proc/sys/net/netfilter/nf_conntrack_max: No such file or
directory

7、调整系统临时区 （如果已设置可略过）
设置系统时区为中国/上海

timedatectl set-timezone Asia/Shanghai

将当前的 UTC 时间写入硬件时钟

timedatectl set-local-rtc 0

重启依赖于系统时间的服务

systemctl restart rsyslog
systemctl restart crond

8、关闭系统不需要的服务

systemctl stop postfix && systemctl disable postfix

9、设置日志保存方式
创建保存日志的目录

mkdir /var/log/journal

创建配置文件存放目录

mkdir /etc/systemd/journald.conf.d

创建配置文件

cat > /etc/systemd/journald.conf.d/99-prophet.conf < [Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF

重启systemd journald的配置

systemctl restart systemd-journald

10、打开文件数调整 (可忽略，不执行)

echo “* soft nofile 65536” >> /etc/security/limits.conf
echo “* hard nofile 65536” >> /etc/security/limits.conf

11、kube-proxy 开启 ipvs 前置条件

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules < #!/bin/bash
modprobe – ip_vs
modprobe – ip_vs_rr
modprobe – ip_vs_wrr
modprobe – ip_vs_sh
modprobe – nf_conntrack_ipv4
EOF

使用lsmod命令查看这些文件是否被引导

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash
/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e
nf_conntrack_ipv4

3、docker部署
1、安装依赖

yum install -y yum-utils device-mapper-persistent-data lvm2

添加yum软件源
（配置一个稳定（stable）的仓库、仓库配置会保到/etc/yum.repos.d/docker-ce.repo文件中)以下两个选一即可

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-
ce/linux/centos/docker-ce.repo

更新Yum安装的相关Docke软件包&安装Docker CE

yum update -y && yum install docker-ce

测试是否安装成功

docker -v

yum下载失败解决示例
如果出现下载失败的问题，例如下面这样

Error downloading packages:
3:docker-ce-19.03.12-3.el7.x86_64: [Errno 256] No more mirrors to try.
containerd.io-1.2.13-3.2.el7.x86_64: [Errno 256] No more mirrors to try

清除yum缓存

yum clean all

执行上面添加yum软件源的命令切换源
查看仓库配置是否修改生效

vi /etc/yum.repos.d/docker-ce.repo

重新执行如下更新下载命令

yum update -y && yum install docker-ce

2、设置docker daemon文件
创建/etc/docker目录

mkdir /etc/docker

更新daemon.json文件+配置阿里云容器镜像服务

cat > /etc/docker/daemon.json < {
“exec-opts”: [“native.cgroupdriver=systemd”],
“registry-mirrors”: [“https://tda5gnvq.mirror.aliyuncs.com”],
“log-driver”: “json-file”,
“log-opts”: {“max-size”: “100m”}
}
EOF

注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu docker 即可发现错误
创建，存储docker配置文件

mkdir -p /etc/systemd/system/docker.service.d

3、重启docker服务并设置docker为开机自启动

systemctl daemon-reload && systemctl restart docker && systemctl enable docker

docker images 测试一下，注：如果无法启动说明配置文件有问题

4、kubeadm[一键安装k8s]
安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是
packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像

1、配置阿里云的yum仓库镜像

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2、安装kubeadm、kubelet、kubectl

yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1

将kubelet设置为开机自启动，并启动 kubelet

systemctl enable kubelet && systemctl start kubelet

二、集群安装
1、各节点安装基础镜像
展示出安装k8s需要哪些基础镜像

kubeadm config images list

kubeadm 初始化k8s集群的时候，会从gce Google云中下载（pull）相应的镜像，
当然可以选择执行 docker pull 根据上面命令展示出来的镜像，挨个拉取镜像
但是镜像相对比较大，下载可能会失败，所以导入下载好的镜像包到本地docker镜像仓库
注：下面的步骤在master主机执行即可
1、rz上传依赖镜像 tar包
解压镜像

tar -zxvf kubeadm-basic.images.tar.gz

解压结束后如图所示，当然可以也使用docker load -i xxx.tar挨个把tar包的镜像导入到本地仓库
2、编写脚本文件，导入镜像包到本地docker镜像仓库
任意目录下创建sh脚本文件

touch image-load.sh

vi image-load.sh 导入下面脚本代码
注意 /root/kubeadm-basic.images 是你本机镜像解压的目录位置

#!/bin/bash
ls /root/kubeadm-basic.images > /tmp/images-list.txt
cd /root/kubeadm-basic.images
for i in $(cat /tmp/images-list.txt)
do
   docker load -i $i
done
rm -rf /tmp/images-list.txt

修改权限，可执行权限

chmod 755 image-load.sh

运行脚本文件，开始执行镜像导入

./image-load.sh

查看本地仓库镜像

docker images

3、传输文件及镜像到其他node节点
注：其他机器也需要安装K8S的环境，所以传输镜像tar包及脚本文件到其他node节点
注：在当前master主机执行
传递到node01节点

scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/

传递到node02节点

scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/

其他节点依次执行sh脚本，导入镜像

./image-load.sh

2、部署Kubernetes
通过部署yaml文件，来达到一键式部署
注：下面的步骤在master主机执行即可

1、拉取yaml资源配置文件

kubeadm config print init-defaults > kubeadm-config.yaml

2、修改yaml资源文件
注：需要修改的部分如下图所示

localAPIEndpoint:
		advertiseAddress: 192.168.52.105 # 注意：修改配置文件的IP地址
	kubernetesVersion: v1.15.1 #注意：修改版本号，必须和kubectl版本保持一致
	networking:
	 # 指定flannel模型通信 pod网段地址,此网段和flannel网段一致，不用变
	podSubnet: "10.244.0.0/16"
	serviceSubnet: "10.96.0.0/12"
	#添加如下内容指定使用ipvs网络进行通信，注意缩进
	---
	apiVersion: kubeproxy.config.k8s.io/v1alpha1
	kind: kubeProxyConfiguration
	featureGates:
	SupportIPVSProxyMode: true
	mode: ipvs

3、初始化主节点，开始部署

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee
kubeadm-init.log

注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功
kubernetes主节点初始化成功后，如下所示：

4、按照K8S的提示执行如下命令
创建目录，保存连接配置缓存，认证文件

mkdir -p $HOME/.kube

拷贝集群管理配置文件

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

授权给配置文件

chown $(id-u):$(id -g) $HOME/.kube/config

查询node节点

kubectl get node

发现已经可以成功查询node节点信息了，但是节点的状态却是NotReady,不是Runing的状态。原因是此时我们使用ipvs+flannel的方式进行网络通信，但是flannel网络插件还没有部署，因此节点状态此时为NotReady

3、部署flannel网络插件
同样，拉取国外镜像较慢且容易失败，所以使用本地下载好的flannel镜像，将flannel.tar包上传，
注意：主从节点均需要上传并执行后续的导入和打标签操作

将镜像tar包导入到本地镜像库

docker load -i flannel.tar

给镜像打标签，在本地仓库生成新的v1版本镜像

docker tag quay-mirror.qiniu.com/coreos/flannel:v0.12.0-amd64 flannel:v1

注：docker images 查看主从机器

注意：后面步骤在master主机执行即可
传入本地的yml文件 (修改为flannel:v1版本的)

yml部署flannel

kubectl create -f kube-flannel.yml

执行成功以后 kubectl get node 查看，可能仍然是NotReady状态，需要一些时间可以通过 kubectl get pod -n kube-system 查看kube-system已经运行的系统pod里flannel是否运
行

查看时若处于Ready状态，说明网络组件已经部署成功

附录：kubectl get pod -n kube-system 解释
所有k8s的资源都是通过镜像的方式做部署的，运行的模式就是通过pod体现，这些pod就是k8s的系统资源的pod -n表示namespace 表示在kube-system这个命名空间下的pod的信息
可以追加 -o wide 查看pod详细信息

kubectl get pod -n kube-system -o wide

附录：发现通过flannel部署的pod都出现pending,ImagePullBackOff类似问题
查询一个pod的详细日志信息，找到错误原因（一般为镜像拉去失败）

kubectl describe pod kube-flannel-ds-amd64-jd67h -n kube-system

如果kube-flannel.yml文件修改过，则使用下面的命令来更新并部署

kubectl apply -f kube-flannel.yml

4、其他node节点加入
构建kubernetes主节点成功，会产生一个日志文件kubeadm-init.log，内容如下图所示：
（命令中指定了日志输出文件 “tee kubeadm-init.log”）
加入主节点以及其余工作节点，执行安装日志中的命令即可
查看日志文件

cat kubeadm-init.log

下图红色部分给出的命令即是把其他节点加入进来的命令

复制命令到其他几个node节点进行执行即可(注意是在其他从机服务器上执行)
执行完毕，可以在master主机查看 kubectl get node
发现还有节点处于NotReady状态，是因为这些节点pod容器还处于初始化的状态，需要时间
当其他node节点jun加入进来且处于Ready状态，则K8S集群搭建成功