centos7 kubernetes(k8s)1.12集群部署与使用(五):Flannel网络部署

概述

    上一篇记录了Node节点的部署,然后master,node节点都已经部署完成, 已经完成了大半了,但是还需要部署flannel网络插件,才能实现pod之间的网络跨主机互访,好了,话不多说,照例进行

ps: 为了更好的让大家理解集群的整个结构,整个系列部署都是采用二进制包手动部署方式。

   整个系列具体会出多少篇博客,也不一定,每有更新,便会在每篇博客的开头,进行导航:

《centos7 kubernetes(k8s)1.12集群部署与使用(一):基础知识介绍和系统初始化》

《centos7 kubernetes(k8s)1.12集群部署与使用(二):证书制作和etcd集群部署》

《centos7 kubernetes(k8s)1.12集群部署与使用(三):master节点部署》

《centos7 kubernetes(k8s)1.12集群部署与使用(四):Node节点部署》

《centos7 kubernetes(k8s)1.12集群部署与使用(五):Flannel网络部署》

 

 

正文

整个系列环境:

centos7 服务器3台   1master + 2node  

master  ip: 192.168.1.1

node1   ip: 192.168.1.2

node2   ip: 192.168.1.3

 

    Flannel 是一个专为kubernetes定制的三层网络解决方案,主要用于解决容器的跨主机通信问题。其工作原理如下:

    数据从源容器中发出后,经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡,这是个P2P的虚拟网卡,flanneld服务监听在网卡的另外一端。Flannel通过Etcd服务维护了一张节点间的路由表,详细记录了各节点子网网段 。源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务,数据到达以后被解包,然后直接进入目的节点的flannel0虚拟网卡,然后被转发到目的主机的docker0虚拟网卡,最后就像本机容器通信一下的有docker0路由到达目标容器。

 

了解了工作原理后,现在进行flannel的部署

1. 为Flannel生成证书

# 在master上操作

cd /usr/local/src/ssl
vim flanneld-csr.json
--------------------------------------------------
{
  "CN": "flanneld",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",   # 一样,下面都可以修改
      "ST": "ShenZhen",
      "L": "ShenZhen",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
--------------------------------------------------

 

2. 生成证书并分发

# 在master上操作

cfssl gencert -ca=/opt/kubernetes/ssl/ca.pem \
   -ca-key=/opt/kubernetes/ssl/ca-key.pem \
   -config=/opt/kubernetes/ssl/ca-config.json \
   -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld


# 分发到每个node节点上
cp flanneld*.pem /opt/kubernetes/ssl/
scp flanneld*.pem 192.168.1.2:/opt/kubernetes/ssl/
scp flanneld*.pem 192.168.1.3:/opt/kubernetes/ssl/

 

3. 下载Flannel软件包

官方github地址:https://github.com/coreos/flannel

centos7 kubernetes(k8s)1.12集群部署与使用(五):Flannel网络部署_第1张图片

# 在master上操作
# 下载
cd /usr/local/src
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar -zxvf flannel-v0.10.0-linux-amd64.tar.gz

# 分发到每个node节点
cp flanneld mk-docker-opts.sh /opt/kubernetes/bin/
scp flanneld mk-docker-opts.sh 192.168.1.2:/opt/kubernetes/bin/
scp flanneld mk-docker-opts.sh 192.168.1.3:/opt/kubernetes/bin/

# 还有相关的脚本也要分发到每个node节点
cd /usr/local/src/kubernetes/cluster/centos/node/bin/
cp remove-docker0.sh /opt/kubernetes/bin/
scp remove-docker0.sh 192.168.1.2:/opt/kubernetes/bin/
scp remove-docker0.sh 192.168.1.3:/opt/kubernetes/bin/

 

4. 配置Flannel并分发

# 在master上操作

vim /opt/kubernetes/cfg/flannel
----------------------------------------------------------------------------
FLANNEL_ETCD="-etcd-endpoints=https://192.168.1.1:2379,https://192.168.1.2:2379,https://192.168.1.3:2379"   # etcd集群连接地址
FLANNEL_ETCD_KEY="-etcd-prefix=/kubernetes/network"
FLANNEL_ETCD_CAFILE="--etcd-cafile=/opt/kubernetes/ssl/ca.pem"
FLANNEL_ETCD_CERTFILE="--etcd-certfile=/opt/kubernetes/ssl/flanneld.pem"
FLANNEL_ETCD_KEYFILE="--etcd-keyfile=/opt/kubernetes/ssl/flanneld-key.pem"
----------------------------------------------------------------------------

# 将配置文件分发到每个node节点
scp /opt/kubernetes/cfg/flannel 192.168.1.2:/opt/kubernetes/cfg/
scp /opt/kubernetes/cfg/flannel 192.168.1.3:/opt/kubernetes/cfg/

 

5. 设置Flannel系统服务并分发

# 在master节点上操作,这里我是在master和node节点上都部署了flannel,也可以只部署在node节点上,部署后就可以在部署有flannel的服务器上访问pod的网段

vim /usr/lib/systemd/system/flannel.service
---------------------------------------------------------------------
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
Before=docker.service

[Service]
EnvironmentFile=-/opt/kubernetes/cfg/flannel
ExecStartPre=/opt/kubernetes/bin/remove-docker0.sh
ExecStart=/opt/kubernetes/bin/flanneld ${FLANNEL_ETCD} ${FLANNEL_ETCD_KEY} ${FLANNEL_ETCD_CAFILE} ${FLANNEL_ETCD_CERTFILE} ${FLANNEL_ETCD_KEYFILE}
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -d /run/flannel/docker

Type=notify

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
---------------------------------------------------------------------


# 将服务配置文件分发到每个node节点上
scp /usr/lib/systemd/system/flannel.service 192.168.1.2:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/flannel.service 192.168.1.3:/usr/lib/systemd/system/

 

6. Flannel CNI集成

CNI插件 官方github地址:https://github.com/containernetworking/plugins

centos7 kubernetes(k8s)1.12集群部署与使用(五):Flannel网络部署_第2张图片

# 在master上操作

# 下载解压
wget https://github.com/containernetworking/plugins/releases/download/v0.7.4/cni-plugins-amd64-v0.7.4.tgz

mkdir /opt/kubernetes/bin/cni
tar -zxvf cni-plugins-amd64-v0.7.1.tgz -C /opt/kubernetes/bin/cni


# 分发到每个node节点
scp -r /opt/kubernetes/bin/cni/* 192.168.1.2:/opt/kubernetes/bin/cni/
scp -r /opt/kubernetes/bin/cni/* 192.168.1.3:/opt/kubernetes/bin/cni/

 

7. 创建etcd的key

# 在master上操作
# 指定etcd集群地址,还有我们预先定义的 pod网段:10.6.0.0/16
/opt/kubernetes/bin/etcdctl --ca-file /opt/kubernetes/ssl/ca.pem --cert-file /opt/kubernetes/ssl/flanneld.pem --key-file /opt/kubernetes/ssl/flanneld-key.pem \
      --no-sync -C https://192.168.1.1:2379,https://192.168.1.2:2379,https://192.168.1.3:2379 \
mk /kubernetes/network/config '{ "Network": "10.6.0.0/16", "Backend": { "Type": "vxlan", "VNI": 1 }}' >/dev/null 2>&1

 

8. 启动flannel

# 在master和所有node节点上操作 

systemctl daemon-reload
systemctl enable flannel
chmod +x /opt/kubernetes/bin/*
systemctl start flannel
systemctl status flannel

 

9.配置Docker使用Flannel

# 在master节点操作

vim /usr/lib/systemd/system/docker.service
---------------------------------------------------------
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
BindsTo=containerd.service
After=network-online.target firewalld.service flannel.service  # 这里最后添加上flannel
Wants=network-online.target
Requires=flannel.service   # 这里添加一行requires

[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=-/run/flannel/docker  # 这里添加一行EnvironmentFile
ExecStart=/usr/bin/dockerd -H unix:// $DOCKER_OPTS   # 这里最后面添加$DOCKER_OPTS
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
....
....
---------------------------------------------------------


# 然后将配置文件分发到每个node节点
scp /usr/lib/systemd/system/docker.service 192.168.1.2:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/docker.service 192.168.1.3:/usr/lib/systemd/system/

 

10.重启Docker

# 在所有master和node节点上都操作

systemctl daemon-reload
systemctl restart docker

 

11. 检查结果

# 在任意部署了flannel的服务器上操作

# 直接查看网络信息
ifconfig
# 可以看到有三个网卡,分别是docker0,eth0,flannel.1 。ip如下:
# docker0 :10.6.23.1  
# eth0 : 192.168.1.1
# flannel.1 : 10.6.23.0
# flannel.1和docker0 的网卡ip就变成了pod的网段,eth0为原主机ip

 

结束

    ok,到此,flanned网络插件就安装完成了,然后现在kubernetes集群就可以正常使用了,虽然已经可以正常使用了,但是在一般情况下,还需要安装一下更好的插件,这些插件能帮助我们更好的使用kubernetes集群,更好的管理部署项目,比如spring cloud等等分布式微服务框架的应用。

   下一篇开始,我们进行常用插件的部署,包括dns,dashboard,ingress,helm,prometheus等等。具体的放在具体的篇章进行介绍。

   好了,有什么问题或建议或不明白的,欢迎留言

 

你可能感兴趣的:(Centos7系列)