Openstack安全组与conntrack简介

Openstack中的安全组实现相互信任的虚拟机之间的通信，绑定同一个安全组的虚拟机使用相同的安全策略。安全组作用范围是在虚拟机上，更具体来说是作用在虚拟机的端口而不是网络上。Openstack中安全组基于Iptables实现，由于当前OpenvSwitch(ovs)不能使用iptables rule，所以虚拟机先连接linux bridge，再连接到ovs网桥。参考链接[1]。

使用Iptables时，报文的状态可以归类为四种：NEW ESTABLISEDRELATED INVAILD. Netfilter就是通过conntrack实现连接追踪的。Conntrack是linux的一个内核模块，使用 conntrack entry记录连接的状态信息，具体可参考[2]。

1.   sg without conntrack-tool

图1

Neutron最初实现安全组功能时并没有考虑对conntrack的处理，从而导致一些问题。如图1虚拟机vm1(1.1.1.8)  vm2(1.1.1.9)属于同一子网，位于同一个计算节点，都绑定default安全组，执行vm1 ping vm2后能够ping通。此时删除default安全组中ingress规则保留egress规则，发现vm1 ping vm2仍未中断[3]。

究其原因，ICMP报文到达vm2连接的linux bridge时进入Iptables处理阶段。iptables中vm2对应的i链(参考[4])有一条规则为-mstate --state RELATED,ESTABLISHED -m comment -j RETURN(默认规则) ，表示状态为RELATED ESTABLISHED的连接可以流入vm2。

由于删除ingress规则后，neutron没有对conntrack执行任何操作，外界也没有执行停止vm1 ping vm2的操作，对应的conntrack entry一直存在并且不会过期。所以即使default安全组中已删除ingress规则通信仍未中断。

$ sudo conntrack -L -p icmp

icmp    1 29 src=1.1.1.8 dst=1.1.1.9 type=8 code=0 id=11521 src=1.1.1.9dst=1.1.1.8 type=0 code=0 id=11521 mark=0 use=1

conntrack v1.4.1 (conntrack-tools): 1 flowentries have been shown.

此时如果重新执行vm1 ping vm2，发现这次不能ping通。这次报文仍会进入Iptables的处理，因为default安全组已删除了ingress规则，所以ICMP报文能够流入vm2的条件仍然是要能够满足state为RELATED,ESTABLISHED。

但这次的ICMP报文被认为是NEW状态。查看conntrack发现虽然旧的entry(ID 11521)仍存在，但是重新ping的过程被看作新的连接，对应新的entry (ID 12033)，UNREPLIED表明此次连接还未建立。

$ sudo conntrack -L -p icmp

icmp    1 26 src=1.1.1.8 dst=1.1.1.9 type=8 code=0 id=11521 src=1.1.1.9dst=1.1.1.8 type=0 code=0 id=11521 mark=0 use=1

icmp    1 29 src=1.1.1.8 dst=1.1.1.9 type=8 code=0 id=12033 [UNREPLIED]src=1.1.1.9 dst=1.1.1.8 type=0 code=0 id=12033 mark=0 use=1

conntrack v1.4.1 (conntrack-tools): 2 flowentries have been shown.

另外，没有对conntrack处理还造成了租户隔离的问题：如租户1创建了虚拟机vm1(1.1.1.8) vm2(1.1.1.9)，如图1；租户2创建相同IP的虚拟机vm3(1.1.1.8) vm4(1.1.1.9)且vm1/2/3/4都在同一计算节点，则vm1/2通信产生的conntrack entry会对vm3/4之间的通信产生影响，参考[5]。

 

2.   sg with conntrack-tool

相关bug在2014年就提出，直到2015年8月这些问题才得以解决。StableLiberty版本中使用conntrack tool 实现对conntrackentry的管理。

仍然使用图1所示环境，default安全组ingress与egress规则都存在时执行vm1 ping vm2并查看conntrack：

$ sudo conntrack -L -p icmp

icmp    1 29 src=1.1.1.8 dst=1.1.1.9 type=8 code=0 id=10753 src=1.1.1.9dst=1.1.1.8 type=0 code=0 id=10753 mark=0 zone=2use=1

conntrack v1.4.1 (conntrack-tools): 1 flowentries have been shown.

此时删除ingress规则，发现通信会立即中断，这是由于上述conntrack entry被立即删除了。

另外，上述conntrack entry增加了一个zone属性，此属性是为避免[5]中出现的租户隔离问题而设计的。在每个计算节点上，虚拟机所属的网络与local vlan有一一对应关系，zone的值设置为local vlan，实现了conntrack entry的本地租户隔离。

 

 

参考链接：

[1]https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux_OpenStack_Platform/4/html/Configuration_Reference_Guide/section_networking-scenarios.html

[2]http://www.iptables.info/en/connection-state.html

[3]https://bugs.launchpad.net/neutron/+bug/1335375

[4]http://blog.csdn.net/yeasy/article/details/21612151?utm_source=tuicool&utm_medium=referral

[5]https://bugs.launchpad.net/neutron/+bug/1359523