k8s网络规划、网络通信的认识

一、k8s网络规划

(一)、k8s网络设计

1、每个Pod都拥有一个独立IP地址,Pod内所有容器共享一个网络命名空间。

2、集群内所有pod都在一个直接联通的扁平网络中,可通过IP直接访问。

(1)所有的Pod之间可以在不使用NAT网络地址转换的情况下相互通信。

(2)所有的Node之间可以在不使用NAT网络地址转换的情况下相互通信

(3)每个pod自己看到的自己的IP和其他pod看到的一致

(二)、k8s网络要求

k8s对网络的要求总的来说主要有两个基本要求,分别是:

(1)要能够为每一个node上的pod分配互相不冲突的IP地址

(2)要所有Pod之间能够互相访问

(三)K8s网络规范

CNI是由coreos提出的一个容器网络规范。已采纳规范的包括apache mesos,cloud foundry,kuberne,另外contiv networking,project calico和weave这些项目也为CNI提供插件。

CNI(容器网络接口):

这是k8s中提供一种通用网络标准规范,因为K8s本身不提供网络解决方案。目前比较知名的网络解决方案有:

flannel

calico

canel

kube-router

.......

(四)k8s网络规范

(1)隧道方案

隧道方案在Iaas层的网络中应用也比较多,将Pod分布在一个大二层的网络规范下。网络拓扑简单,但随着节点规范的增长复杂度会提升。

weave:UDP广播,本机建立新的BR,通过PCAP互通

open vswitch(OVS):基于Vxlan和GRE协议,但是性能方面损失比较严重

Flannel:UDP广播,Vxlan

Racher:IPsec

(2)路由方案

路由方案一般是从3层或者2层实现隔离和跨主机容器互通的,出了问题也很容易排查

Calico:基于BGP协议的路由方案,支持很细致的ACL控制,对混合云亲和度比较高。

Macvlan: 从逻辑和kernel层来看隔离性和性能最优的方案,基于二层隔离,所以二层路由器支持。大多数云服务商不支持,所以混合云上比较难以实现

  • (五)k8s pod网络创建流程

(1)每个Pod除了创建时指定的容器外,都有一个kubelet启动时指定的基础容器

(2)kubelet创建基础容器,生成network namespace

(3)kubelet调用网络CNI drive,由它根据配置调用具体CNI插件(eg:calico,flannel)

(4)CNI插件给基础容器配置网络

(5)pod中其他的容器共享使用基础容器的网络

二、K8S网络

前言:K8S有三种网络三种IP

k8s网络规划、网络通信的认识_第1张图片

(一)k8s的网络通信问题:

1、容器间通信问题:即同一个pod内多个容器间通信,通常使用loopback来实现。

2、pod间通信:k8s要求,pod和pod之间通信必须使用pod-ip“直接”访问另一个pod-ip

3、pod与service通信:即pod-ip去访问clusterip,当然,clusterip实际上是IPVS或iptables规则的虚拟IP,是没有TCP/IP协议栈支持的。但不影响pod访问它。

4、service与集群外部client的通信,即k8s中提供的服务必须能被互联网上的用户所访问到。

(二)pod网络与service网络的初步认识

k8s为pod和service资源对象分别使用了各自的专用网络,pod网络由k8s的网络插件配置实现;而service的网络则由k8s集群给予实现。

为了提供更灵活的解决方案,k8s的网络模型需要借助外部插件实现,它要求任何实现机制都必须满足以下要求:

1)所有Pod之间均可不通过NAT机制而直接通信

2)所有节点均可不结果NAT机制而直接与所有容器通信。

3)容器自己使用的IP地址也是其他容器或节点直接看到的地址。换句话说,所有pod对象都位于同一个平面网络中,而且可以使用pod自身的地址直接通信

k8s使用的网络插件必须能为pod提供满足以上的要求,它需要为每个Pod配置至少一个特定的地址,即pod ip。

(1)IP是否存在于网卡上

pod ip地址实际存在于某个网卡(可以是虚拟设备)上;而service的地址却是一个虚拟IP地址,没有任何网络接口,在将其调度至后端pod对象。service的IP地址是集群提供服务的接口,也称为cluster ip。

(2)IP由哪个插件配置

pod网络机器IP由k8s的网络插件负责配置和管理,具体使用的网络地址可在管理配置插件时指定,如10.244.0.0/16网络;而cluster网络和IP则是由k8s集群负责配置和管理,如10.96.0.0/12网络

(3)总结:

总结起来,k8s集群至少应该包含三个网络,如下图所示。一个是各主机(master、node和etcd等)自身所属的网络,其地址配置与主机的网络接口,用于各主机之间的通信,例如,master与个node之间的通信。

此地址配置与k8s集群构建之前,它并不能由k8s管理,管理员需要于集群构建之前自行确定其地址配置及管理方式。

第二个是k8s集群上赚用于pod资源对象的网络,它是一个虚拟网络,用于为各pod对象设定IP地址等网络参数,其地址配置与pod中容器的网络接口之上。pod网络需要借助k8s插件或NCI插件实现,改插件可独立于部署于k8s集群之外,亦可托管于k8s之上,它需要在构建k8s集群时由管理员定义,而后在创建pod对象时由其自动完成各网络参数的动态配置。

第三个是专用与service资源对象的网络,它也是一个虚拟网络,用于为k8s集群之中的service配置IP地址,但此地址并不配置于任何主机或容器的网络接口之上,而是通过node之上的kube-proxy配置为iptables或ipvs规则,际上是IPVS或iptables规则的虚拟IP从而将发往此地址的所有流量调度至其后端的各pod对象之上。service网络在k8s集群创建时给予指定,而各service地址则在用户创建service时给予配置。

k8s网络规划、网络通信的认识_第2张图片

  • 三种IP的定义与理解

三种IP定义:

1、node ip:node节点的IP地址,即物理机(虚拟机)的IP地址。

2、pod ip: pod的IP地址,即docker容器的IP地址(由flannel提供),此为虚拟IP地址

3、cluster ip:service的IP地址,此为虚拟IP地址。

三种IP的理解:

(1)node ip: 是物理机IP(或虚拟机ip)。每个service都会在node节点上开通过一个端口,外部可以通过http://nodeip:nodeport即可访问service里的pod提供的服务。

(2)cluster ip:是service的IP地址,此为虚拟ip地址,外部网络无法ping通,只有k8s集群内部访问使用;cluster ip仅仅作用于k8s service这个对象,并由k8s管理和分配IP地址;cluster ip无法被ping,他没有一个“实体网络对象”。单独的cluster ip不具备通信的基础,并且他们属于k8s集群这样一个封闭的空间;在不同service的pod节点在集群间相互访问可以通过cluster ip。

(3)pod ip:是每个pod的IP地址,一般由网络插件提供配置(flannel),通常是一个虚拟的二层网络。同service下的pod可以直接根据podip相互通信;不同service下的pod在集群间pod通信要借助于cluster ip;

pod和集群通信,要借助于node ip。

(四)k8s的网络中pod的通信

1、通一个pod内的容器间通信:

因为pause容器提供pod内网络共享,所以容器直接可以使用localhost(lo,loopback,环回侦听端口)访问其他容器。

2、各pod彼此之间的通信(两个pod在一台主机上面,两个pod分布在不同主机之上)

1)两个pod在一台主机上面:通过dockere默认的docker网桥互联容器(docker0)

2)两个pod分布在不同主机之上:通过CNI插件实现,eg: flannel,calico

 k8s网络规划、网络通信的认识_第3张图片

k8s网络规划、网络通信的认识_第4张图片

3、pod与service之间的通信

service分配的IP叫做cluster ip,是一个虚拟IP(相对固定,除非删除service),ip只能在k8s集群内部使用(clusterip模式);如果service需要对外提供,只能使用nodeport方式映射到主机上,使用主机的ip和端口对外提供服务(nodeport模式)。

      节点上面有个kube-proxy进程,这个进程会从master apiserver、etcd获取信息,感知service和endpoint(用来记录一个service对应的所有pod的访问地址。)的创建,然后做两个事:

1)为每个service在集群中每个节点上面创建一个随机端口,任何此端口上面的连接会代理到相应的pod。

2)集群中每个节点安装iptables/ipvs规则,用于clusterip+port路由到上一步定义的随机端口上。

 所以集群中每个Node节点都有service的转发规则:iptables -L -n -t filter

 

备注:

https://zhuanlan.zhihu.com/p/126116540

Linux网络名词的解释:

(1)网络的命名空间:Linux在网络栈中引入网络命名空间,将独立的网络协议栈隔离到不同的命名空间中,彼此间无法通信。

(2)veth设备对(v+eth):veth设备对的引入实现在不同网络命名空间的通信。

(3)iptable/netfilter: netfilter负责在内核中执行各种挂接的规则(过滤、修改、丢弃等),运行在内核模式中;iptables模式是在用户模式下运行的进程,负责协助维护内核中netfileter的各种规则表;通过两者的配合来实现整个linux网络协议中灵活的数据包处理机制。

(4)网桥:网桥是一个二层网络设备,通过网桥可以将Linux支持的不同端口连接起来,并实现类似交换机那样的多对多的通信。

(5)路由:linux系统包含一个完整的路由功能,当IP层在处理数据发送或转发的时候,会使用路由表来决定发往哪里。

 

 

你可能感兴趣的:(k8s)