记一次k8s的calico跨节点网络不通的问题及排错过程和解决方法

集群内部介绍：
集群内布有四个节点：

节点名称	主机IP
km1	192.168.1.1
kn1	192.168.1.2
kn2	192.168.1.3
kn3	192.168.1.4

网络不通的表征：
进入节点km1的pod，ping kn1-3节点上的pod的ip都不通，kn1-3节点ping km1也不通，但是kn1 kn2 kn3之间他们各自节点上的pod的ip之间是可以相互ping通。

排查过程：
这种情况让我们想起了当时设置路由转发时候的配置，因为我们的四台服务器，只有一个公网IP，我们把192.168.1.1设置为192.168.2~4去公网的网关，从而使整个集群都可以访问公网，我们设置了两块网卡，em3为内网网卡，em4为外网的网卡，同时公网网卡em4配置以公网的ip和掩码等配置，内网网卡配置以内网的ip等配置，路由转发配置如下：

设置路由转发,em3是内网网卡，em4是外网网卡
sudo firewall-cmd --change-interface=em3 --zone=internal --permanent
sudo firewall-cmd --change-interface=em4 --zone=external --permanent
sudo firewall-cmd --zone=internal --add-service=dns --permanent
sudo firewall-cmd --complete-reload
sudo firewall-cmd --list-all

所以我们有理由怀疑是因为当时配置的网卡的原因，导致的calico网络的不通。
由于此原因，我们查看一下网卡和节点km1上的calico网络配置：

km1网卡配置：

kn1节点的calico网络配置：
查看calico命令：

DATASTORE_TYPE=kubernetes KUBECONFIG=~/.kube/config  calicoctl node status

我们可以看到，在kn1节点上，peer address是两块网卡分配的，它分别符合两块网卡的网段，所以这可能是导致我们上述网络不通的原因。

解决方法：
针对这个问题的解决办法，为我们强制让calico选择em3网卡进行通信，方法：

编辑calico.yaml找到name: IP，在它上面写入：

 - name: CLUSTER_TYPE
              value: "k8s,bgp"
            # 新增部分
            - name: IP_AUTODETECTION_METHOD
              value: "interface=em3"
            # value: "interface=eth.*"
            # value: "interface=can-reach=www.baidu.com"
            # 新增部分结束
            - name: IP
              value: "autodetect"
            - name: CALICO_IPV4POOL_IPIP
              value: "Always"

在注释中还有2个写法，eth.*这个写法是GoLang的正则，它可以匹配到eth0、eth1等。can-reach将用第一个可以识别这个地址的network interface。
修改完calico.yaml后：

kubectl apply -f calico.yaml 

即可重新初始化caloco网络。

如果是多次执行过kubectl apply -f calico.yaml的主机，还应该清理cni文件：

rm -rf /var/lib/cni
kubectl apply -f calico.yaml 

注：
如果找不到calico.yaml文件，可以使用命令：

find / -name calico.yaml

此时，我们重新查看kn1上的calico网络状况（只能看到除kn1以外的km1、kn2、kn3节点的calico状况，也就是说，如果只有一个节点是查不到任何node status信息的）：

查看kn2上的calico网络状况：

可见ip已经重新都修改到em3网卡网段，节点kn3也已经修改完毕，重新测试各节点pod的ip之间的通信情况，完全可以ping通，完美。

总结：
查询各节点calico的网络配置，看ip是否在一个网段，如果不在一个网段，查看calico.yaml的网卡选择是否符合自己集群的网卡配置，不符合则修改之。

TIPS：
附几个排查calico问题比较好的博文
kubernetes calico网络不通的排查思路
calico 常见问题汇总