kube-proxy模式之iptables

注：本文基于K8S v1.21.2版本编写

1 默认模式

当我们以默认配置部署kube-proxy时，将使用iptables作为proxier，我们可以从日志中查看相关信息。

I0814 13:42:49.260381       1 node.go:172] Successfully retrieved node IP: 192.168.0.111
I0814 13:42:49.260462       1 server_others.go:140] Detected node IP 192.168.0.111
W0814 13:42:49.260622       1 server_others.go:598] Unknown proxy mode "", assuming iptables proxy
I0814 13:42:49.478905       1 server_others.go:206] kube-proxy running in dual-stack mode, IPv4-primary
I0814 13:42:49.479023       1 server_others.go:212] Using iptables Proxier.
I0814 13:42:49.479032       1 server_others.go:219] creating dualStackProxier for iptables.
W0814 13:42:49.479258       1 server_others.go:512] detect-local-mode set to ClusterCIDR, but no IPv6 cluster CIDR defined, , defaulting to no-op detect-local for IPv6
I0814 13:42:49.480464       1 server.go:643] Version: v1.21.2

2 关于iptables

Iptabels是与Linux内核集成的包过滤防火墙系统，包含五表五链，其中，对于表，按先后顺序分别为，raw->mangle->nat->filter->security,

• raw表——两个链：PREROUTING、OUTPUT
  作用：决定数据包是否被状态跟踪机制处理，和conntrack相关
• mangle表——五个链：PREROUTING、INPUT、OUTPUT、POSTROUTING、FORWARD
  作用：修改数据包的服务类型、TTL以及QOS相关
• nat表——三个链：PREROUTING、OUTPUT、POSTROUTING
  作用：用于网络地址转换
• filter表——三个链：INPUT、FORWARD、OUTPUT
  作用：过滤数据包
• security表——三个链：INPUT、FORWARD、OUTPUT
  作用：对连接进行安全标记，比如SECMARK，CONNSECMARK

其中，mangle和security用的比较少，raw主要用于iptables规则调试，因此在kube-proxy主要起作用的就是nat和filter表，这点我们可以通过查看iptables规则可知，其他三个表并没有规则。

而对于链，按先后顺序为，

• 本机数据包：PREROUTING -> INPUT -> OUTPUT -> POSTROUTING
• 转发数据包：PREROUTING -> FORWARD -> POSTROUTING

我们可以通过下面两张图来更直观的了解这五表五链，
而对于数据包的流动而言，下面这张图更能清楚地描述这个过程，

3 CoreDNS数据流

我们以coredns服务为例，看下dns请求是如何通过iptables规则从其他pod到达coredns pod。

考虑到集群中的iptables规则繁多，我们可以通过raw表来实现规则的trace，方便跟踪数据包的流动，具体可以参考——CentOS通过raw表实现iptables日志输出和调试

因此我们在测试容器所在的node上创建以下两条规则，

[root@node1 ~]# iptables -t raw -A PREROUTING -p udp -s 10.244.1.62 --dport 53 -j TRACE
[root@node1 ~]# iptables -t raw -A OUTPUT -p udp -s 10.244.1.62 --dport 53 -j TRACE
[root@node1 ~]# iptables -t raw -vnL
Chain PREROUTING (policy ACCEPT 174 packets, 18916 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 TRACE      udp  --  *      *       10.244.1.62          0.0.0.0/0            udp dpt:53

Chain OUTPUT (policy ACCEPT 78 packets, 7085 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 TRACE      udp  --  *      *       10.244.1.62          0.0.0.0/0            udp dpt:53

其中10.244.1.62是测试容器的ip，规则越细，我们越容易筛选出我们的数据报文，不然一大堆日志。

然后通过kubectl exec进入到测试容器，执行ping操作，

[root@master ~]# kubectl exec -it centos-79456f6db-9wzc5 -n kubernetes-dashboard -- /bin/bash
[root@centos-79456f6db-9wzc5 /]# ping -c 1 www.baidu.com.
PING www.a.shifen.com (14.215.177.39) 56(84) bytes of data.
64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=53 time=19.2 ms

--- www.a.shifen.com ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 19.240/19.240/19.240/0.000 ms

有两点需要注意，

• 只ping一个报文，不然日志太多
• 域名最后要加一个点，不然会先在集群中查询这个域名

然后在系统日志/var/log/messages中查看数据流动情况，以下日志有精简，因为我们只关注数据流向，

node1 kernel: TRACE: raw:PREROUTING:policy:2 
node1 kernel: TRACE: mangle:PREROUTING:policy:1 
node1 kernel: TRACE: nat:PREROUTING:rule:1 
node1 kernel: TRACE: nat:KUBE-SERVICES:rule:10 
node1 kernel: TRACE: nat:KUBE-SVC-TCOU7JCQXEZGVUNU:rule:1 
node1 kernel: TRACE: nat:KUBE-SEP-MK55K7XS7VKFSUGB:rule:2 
node1 kernel: TRACE: mangle:FORWARD:policy:1 
node1 kernel: TRACE: filter:FORWARD:rule:1 
node1 kernel: TRACE: filter:KUBE-FORWARD:return:5 
node1 kernel: TRACE: filter:FORWARD:rule:2 
node1 kernel: TRACE: filter:KUBE-SERVICES:return:1 
node1 kernel: TRACE: filter:FORWARD:rule:3 
node1 kernel: TRACE: filter:KUBE-EXTERNAL-SERVICES:return:1 
node1 kernel: TRACE: filter:FORWARD:rule:4 
node1 kernel: TRACE: filter:DOCKER-USER:return:1 
node1 kernel: TRACE: filter:FORWARD:rule:5 
node1 kernel: TRACE: filter:DOCKER-ISOLATION-STAGE-1:return:2 
node1 kernel: TRACE: filter:FORWARD:rule:15 
node1 kernel: TRACE: mangle:POSTROUTING:policy:2 
node1 kernel: TRACE: nat:POSTROUTING:rule:1 
node1 kernel: TRACE: nat:KUBE-POSTROUTING:rule:1 
node1 kernel: TRACE: nat:POSTROUTING:rule:8 
node1 kernel: TRACE: nat:POSTROUTING:policy:12 

而其中，最需要注意的是nat表的prerouting链，这里我把对应的iptables规则择出来，

Chain PREROUTING (policy ACCEPT 347 packets, 75317 bytes)
 pkts bytes target     prot opt in     out     source               destination         
  969  136K KUBE-SERVICES  all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */

Chain KUBE-SERVICES (2 references)
 pkts bytes target     prot opt in     out     source               destination         
    ...
  280 22956 KUBE-SVC-TCOU7JCQXEZGVUNU  udp  --  *      *       0.0.0.0/0            10.96.0.10           /* kube-system/kube-dns:dns cluster IP */ udp dpt:53

Chain KUBE-SVC-TCOU7JCQXEZGVUNU (1 references)
 pkts bytes target     prot opt in     out     source               destination         
  280 22956 KUBE-SEP-MK55K7XS7VKFSUGB  all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kube-system/kube-dns:dns */

Chain KUBE-SEP-MK55K7XS7VKFSUGB (1 references)
 pkts bytes target     prot opt in     out     source               destination         
    ...
  280 22956 DNAT       udp  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kube-system/kube-dns:dns */ udp to:10.244.0.48:53

由此可见，

• 我们发往coredns的DNS请求开始时使用的clusterip，最后会被DNAT到对应的coredns的ip
• k8s集群中每个服务都会有对应的iptables来路由请求

那对于多个服务的情况，负载是如何进行的呢，为此，我们在dashboard中，将coredns的副本数量调整为3个，再查看下对应的iptables规则，这里我们只看变化的部分，也就是服务部分，

Chain KUBE-SVC-TCOU7JCQXEZGVUNU (1 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 KUBE-SEP-MK55K7XS7VKFSUGB  all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kube-system/kube-dns:dns */ statistic mode random probability 0.33333333349
    0     0 KUBE-SEP-YEXLSZTEUWXX6KZK  all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kube-system/kube-dns:dns */ statistic mode random probability 0.50000000000
    0     0 KUBE-SEP-6XVRDQFXUVS4IFFJ  all  --  *      *       0.0.0.0/0            0.0.0.0/0            /* kube-system/kube-dns:dns */

可见，这时候规则里多了probability，这就是iptables的负载均衡。不过有意思的是，这个规则的概率和我们平常的有点不一样，按理三个服务，那每个都是1/3的概率，这里却出现了0.5。这是因为iptables的规则计算不一样，它是从前往后匹配，所以第一条规则的命中是1/3，但是到了第二条，那就是后面两条二选一，因此是1/2，到了最后一条，就是100%了。