K8S的ServiceIP实现原理

作者：刘海峰，IT行业资深码农，从事.net/java/go语言开发十余年，长期关注springcloud/k8s/linux网络相关的技术，现为滴普科技容器产品首席架构师。

---

前言

当我们在K8S上部署一个工作负载时，通常会设置多个副本（下面开始简称：Pod）来实现高可用，因为Pod的IP经常会变化，所以我们会给服务创建一个K8S的Service，如果Service的类型为ClusterIP的话，K8S会给这个Service分配一个ServiceIP，如果类型为NodePort，K8S会打开每一个节点的某个端口，然后我们调用这个服务就会使用K8S分配的ServiceIP或打开的端口，流量总是能转到后端的多个Pod上，这个ServiceIP只能在Pod和K8S的节点中访问，今天我们就来介绍一下这个ServiceIP的实现原理。

刚开始玩K8S的时候，我以为K8S是不是在哪里创建了一张虚拟网卡然后把ServiceIP设置在那个网卡上，翻遍了K8S的节点和POD都没找到有这个IP的网卡。后来才知道，原来K8S利用linux的iptables来对数据包的目的地址进行改写来达到转发的目的，而所谓的ServiceIP只是转发记录里的一个虚拟地址。

K8S会在集群的每一个节点运行一个叫kube-proxy的Pod，这个Pod负责监听api-server中的Service/EndPoint/Node类型的资源变化事件，然后操作本机的iptables或ipvs来创建ServiceIP，所以K8S集群的节点之外的其它节点是不认识这个ServiceIP的。ServiceIP由控制器从Service网段分配（默认为10.96.0.0/16），在集群安装时可以通过修改service-cidr来指定网段。

现在k8s实现ServiceIP主要通过iptables或ipvs的方式，在这我们主要介绍iptables的方式，让我们先简单介绍一下iptables。

即使是使用了ipvs，也是要通过iptables来实现SNAT的，ipvs目前只负责DNAT，然后数据包回来还是要借助本机的conntrack系统来把包回给最初的发送方。

iptables

iptables是一款使用很广泛的linux防火墙工具，当行主流的linux发行版基本上都默认集成了iptables，它在用户态提供一些简单的命令和用户进行交互，使用户可以轻松地设置一些对数据包的过滤或修改的规则，然后把规则设置到内核的netfilter子系统的hook函数上，达到对数据包进行高效地过滤与转发的目的。iptables提供了丰富的模块来完成数据包的匹配和修改，同时也提供了相关的接口用来扩展新的模块，就是说，有了iptables，我们就有能力把从本机出去的数据包的目标地址悄悄地改成另一个。

先来了解一下iptables的命令：

[root@worker2 ~]# iptables --help
iptables v1.4.21

Usage: iptables -[ACD] chain rule-specification [options]
       iptables -I chain [rulenum] rule-specification [options]
       iptables -R chain rulenum rule-specification