云主机上的k8s集群通信故障mtu

前言：

　　将服务与集群迁移到新的服务器上后，出现了一个故障，访问容器无法访问到大量数据。访问单行数据是可以实现的，而大量数据再本地，本机可以访问，跨容器则不行。

### 故障分析：

可以肯定服务器间的通信是没有问题的，包括udp端口的问题也验证没有问题，多次测试，网上说可能是docker网卡的mtu导致的故障：[https://www.cnblogs.com/rslai/p/9252511.html](https://www.cnblogs.com/rslai/p/9252511.html)，服务器真实网卡mtu为1450，docker0网卡mtu为1500，修改配置，重启，但验证后发现问题还是没有变化。

image.png

故障解决：
用于k8s间通信的calico还会再生成一个虚拟网卡用于容器间通信，calico配置mtu配置参数如下:

 veth_mtu: "1450"

初步估计是这的问题，将值该小至1400，删除calico组件，重新创建，问题解决了，容器间可以访问大量数据了。

原因猜测：
mtu的有效值为1-1500，docker的网卡转发当然没有问题，但calico启用tunnel模式，因此经过tunnel会封装一个新的20字节的ip包头，所以当发送大量数据时，calico生成的1450大小的数据包再加上20大小的ip包头，就无法通过eth0网卡来转发通过calico的通信数据包，相当于自己订了1450的规则，自己又违反，自己的eth01450的大小又限制自己1470的包，所以calico的最大配置为1430字节时，便可以通信。

结语：k8s是个方便的好东西，但大大小小的问题也时非常的棘手。