使用kubeadm搭建k8s集群

之前一直在写关于k8s的文章,但是一直没有写如何安装k8s的文章,今天抽时间简单的记录一下。关于k8s安装的文章网上的教程很多甚至还有一键安装的脚本,大家都可以参考参考。我今天主要是按照官方文档安装一个最简单的k8s集群。那么下面就来一起看一下吧。

一、前期准备

首先是准备4台服务器:1个master节点,3个普通的node节点。我购买的是腾讯云的服务器,配置均是2C4G,操作系统是centos 7.6。k8s要求服务器的最低配置是2C2G。
服务器内网Ip如下:

master ip 172.27.0.7
node01 ip 172.27.0.16
node02 ip 172.27.0.2
node03 ip 172.27.0.12

关于网络环境、开放端口等内容这里不在介绍了,官网文档都有相关说明,按照官方文档基本没有问题,另外说一下k8s的官方文档也支持中文,这个还是很友好的。

本次安装的k8s的版本为1.18.6。目前k8s的版本更新速度也是很快的,目前我们项目上使用的还是1.17.0版本。另外k8s的runtime我选择非常熟悉的docker,当然k8s支持的也比较多,比如:containerdCRI-O

二、安装docker

既然我们选择使用docker作为k8s的runtime,所以首先我们就要在每台服务器上安装docker。另外需要注意一点的是k8s的版本和docker的版本一定要适应,可以参考k8s的CHANGELOG地址。我这里选择的docker版本是19.03-11,而19.03也是k8s官方推荐的版本。
docker的安装可以按照k8s的教程也可以直接按照docker的官方文档。下面开始安装:

下面的安装都是以root用户运行
## 安装所需的包
yum install -y yum-utils device-mapper-persistent-data lvm2

## 建议使用阿里云
yum-config-manager --add-repo  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

## 安装最新版本docker
 yum install docker-ce docker-ce-cli containerd.io

## 安装指定版本19.03(官方推荐版本)
 yum install -y  containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11  

## 创建 /etc/docker目录
mkdir /etc/docker

## 设置docker配置文件
cat > /etc/docker/daemon.json <

三、服务器其他设置

安装好docker之后我们还需要对我们的服务器进行一些设置,比如关闭防火墙、关闭交换等等,这些我就统一放在一起了,这些也是需要在每台服务器上执行。
为了容器区分服务器,设置每台服务器的hostname:

## 设置主机名称
hostnamectl set-hostname 
## 查看
hostname

配置服务器相关参数:

## 配置内核参数,将桥接的IPv4流量传递到iptables的链
cat < /proc/sys/net/ipv4/ip_forward

四、安装master节点

到这里算是进入正式的安装步骤,我采用比较简单的kubeadm进行安装,当然如果愿意也可以尝试使用二进制安装。
因为国内网络的问题,所以建议配置包管理器时使用阿里云。

## 配置包管理器(使用阿里云)
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

因为这里是安装master所以需要安装kubelet、kubeadm和kubectl。

## 安装最新版
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
## 指定版本安装的版本
yum install -y kubelet-1.18.6  kubeadm-1.18.6  kubectl--1.18.6

安装好后需要设置kubelet开机启动,后面初始化的时候需要保证kubelet处于运行状态。

## kubelet设置自启动
systemctl enable --now kubelet

接下来我们需要完成master的初始化:

kubeadm init --kubernetes-version=1.18.6 \
--apiserver-advertise-address=  \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16 \
--upload-certs | tee kubeadm-init.log

关于初始化参数的内容可以看官方文档。我这里主要指定了apiserver的ip(这里自己在安装的时候也遇到了一个坑)。还有就是k8s中SVCPOD的网络地址,需要避免二者冲突,当然service-cidr也可以直接使用默认值,另外还配置了使用阿里云的镜像仓库地址。
之后有下面的输出,表示初始化成功:

使用kubeadm搭建k8s集群_第1张图片
图-1.png

最后的那个kubeadm命令我们可以复制并保存起来,以便node节点加入到k8s集群。

接下来我们就按照提示为普通用户配置使用k8s的权限:

## 普通用户执行权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

## 或者root执行
export KUBECONFIG=/etc/kubernetes/admin.conf

当然,到这里还没有介绍,我们还差了一个很重要的东西,就是网络组件。至于选择calico还是flannel见仁见智吧,我们目前是开发和测试使用的calico,生产使用的是flannel,原因吗,开发和生产的集群不是一个人装的....我这里选择了是calico

## 使用最新版本
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
## 我选择3.8版本
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml

到这里我们的master节点就安装完成了,接下来就是安装普通的node节点。

五、安装node节点

安装普通的node节点和master节点基本上差不多,也是需要安装docker并修改服务器配置,这点二者完全相同,不同的地方在于普通的node节点无需安装kubectl,还有就是不需要安装calicocalico是由其实在每台服务器上都是以daemonset方式运行的,只要一个node节点加入的k8s的集群,k8s都会自动在该节点创建一个calicoPod。下面我们就安装kubeletkubeadm,并加入到k8s集群中:

### 指定版本
yum install -y kubelet-1.18.6 kubeadm-1.18.6

## kubelet自启动
systemctl enable kubelet
systemctl start kubelet

输出如下:


使用kubeadm搭建k8s集群_第2张图片
图-2.png

接下来我们就将该节点加入的k8s集群,复制master成功后的命令:

kubeadm join 172.27.0.7:6443 --token 7lrxdu.oia8oorf1r60ja0x \
    --discovery-token-ca-cert-hash sha256:56f86aba305beda6ad6ccf744ac236f46045147831960c9fcc42d88e6f9329bf 

## 如果token过期可以直接在master执行下面的命令重新获取token,然后重新复制即可。
kubeadm token create --print-join-command

在每一台node节点服务器执行上面的安装过程。最后我们在master看一下,整个集群的节点运行情况:

kubectl  get node

我们可以看下k8s相关组件的情况:

kubectl get pod -n kube-system -o wide

使用kubeadm搭建k8s集群_第3张图片
图-3.png

可以看到 apiservercoreDNSkube-proxycalicoetcd等必备组件的运行状态。

另外:如果想在一个普通的k8s节点使用kubectl命令:

复制master下的admin.conf到node节点相同的目录
/etc/kubernetes/admin.conf

### 然后重置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile

六、遇到的问题

自己在安装k8s的过程中也遇到了一些问题,虽然最终解决了,但是还是不是很理解,这里列举一下。

1、初始化失败

在初始化master节点的时候,第一次我配置的apiserver的ip是服务器的外网ip,结果就是导致master初始化失败,报错如下:

使用kubeadm搭建k8s集群_第4张图片
图-4.png

看了 kubelet的状态是运行中,然后报错是连接 apiserver报错,通过 docker查看容器发现 etcdapiserver一直启动失败并重启,查看 etcd容器的日志只显示:
etcd: listen tcp <外网ip>:2380: bind: cannot assign requested address
这个日志感觉也不像是错误日志。自己网上找了很多资料也没有解决这个问题,后来想想是不是应该用内网ip,果然换了内网ip之后就初始化成功了。因为自己对k8s还有服务器这块了解比较少,所以也不太清楚是什么原因,而且服务器的端口全是对外开放的。如果有了解的还希望指点一下。

2、网络问题
[ERROR FileContent--proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
解决:
echo '1' > /proc/sys/net/ipv4/ip_forward

这个问题其实不止在这次自己安装k8s的时候遇到过。在我们项目的开发环境上,自己前段时间也是添加了一个node节点到k8s集群,结果就是这个集群中有三个节点(包括新增的节点)之间的网络通信异常,自己也一直没解决,最后找到运维的同事排查才发现是新增的节点/proc/sys/net/ipv4/ip_forward没有设置为1。


最后

本次使用kubeadm搭建一个最简单的k8s集群就到这里了,有什么问题欢迎大家留言讨论,另外也请大家关注一下我的VX个人号超超学堂,非常感谢大家的支持和关注~~~~~~

你可能感兴趣的:(使用kubeadm搭建k8s集群)