OpenStack DVR 原理深入分析

一、DVR实验环境

一套vlan模式的openstack环境，interface_driver使用openvswitch，并在计算节点添加br-ex，用于计算节点虚拟机出外网。

二、DVR配置

1、控制节点

a、编辑/etc/neutron/neutron.conf

[DEFAULT]

router_distributed = True

b、重启neutron-server服务

2、网络节点

a、编辑/etc/neutron/l3_agent.ini

[DEFAULT]

agent_mode = dvr_snat

b、编辑

/etc/neutron/plugins/ml2/openvswitch_agent.ini

[agent]

enable_distributed_routing = True

c、重启neutron-l3-agent和neutron-openvswitch-agent服务

3、计算节点

a、编辑/etc/sysctl.conf

net.ipv4.ip_forward=1

net.ipv4.conf.all.rp_filter = 0

net.ipv4.conf.default.rp_filter = 0

b、执行命令sysctl –p

c、编辑/etc/neutron/l3_agent.ini

[DEFAULT]

interface_driver=neutron.agent.linux.interface.OVSInterfaceDriver

external_network_bridge =

agent_mode = dvr

d、编辑

/etc/neutron/plugins/ml2/openvswitch_agent.ini

[agent]

enable_distributed_routing = True

e、重启neutron-l3-agent和neutron-openvswitch-agent服务

三、启用dhcp实现metadata功能

1、默认情况下，metadata功能通过l3实现，在dvr模式下，如果使用l3实现的话，需要额外配置metadata agent，为了简化，该实验启用dhcp agent来实现metadata功能。

a、在网络节点上编辑/etc/neutron/dhcp_agent.ini

[DEFAULT]

force_metadata = True

b、重启neutron-dhcp-agent服务。

四、DVR到网关流表分析

1、创建router，关联到test1网络（网关192.168.1.1），并在test1网络内创建instance（192.168.1.9），网络模型如下：

 

执行上述操作之后，neutron会在网络节点和计算节点（有instance运行）上都创建一个router的namespace，且配置完全一样。

也就是说，平台中会出现多个相同的router namespace，那么neutron如何实现虚拟机到网关的流量只到本地的router namespace呢？答案是flow table

2、举个例子：

a、在test1内ping网关（192.168.1.1），虚拟机会先发送arp请求去学习网关的mac地址，arp报文会从qvo-xxx端口进入br-int的table0，匹配arp和in_port，根据流表项，resubmit到table24。

b、在table24中匹配arp、in_port和arp_spa，命中之后，resubmit到table25。

c、在table25中匹配in_port和dl_src，命中之后，resubmit到table60。

d、在table60中，命中table-miss flow entry，根据action执行NORMAL。

e、网关地址是配置在router namespace中的qr-xxx上，而qr-xxx是br-int上的。

端口，所以qr-xxx会收到arp请求，并进行相应，arp相应报文会从qr-xxx端口再次进入br-int table0，命中table-miss flow entry，从而进行NORMAL转发，将报文转发给虚拟机的qvo-xxx。

f、虚拟机学到网关的mac地址之后，将icmp报文通过流表，转发给网关，ping流程完成。

3、现在分析neutron如何通过flow table 实现虚拟机到网关的流量只到本地的router namespace。

在上述的d步骤中，命中table-miss flow entry，根据action执行NORMAL，报文可能通过正常转发，到达br-vlan。

a、报文到达br-vlan后，会进入table=0，匹配in_port，命中后，resubmit到table1

b、在table1中，匹配dl_vlan、arp_tpa(arp报文)或者dl_dst，从而把到网关的报文，全部drop。

c、通过上述流表，保证到达网关的报文全部终结在宿主机本地。

五、虚拟机内网通信分析

DVR模式下，虚拟机的内网通信一般有四种场景：同网络同宿主机，同网络不同宿主机，不同网络同宿主机，不同网络不同宿主机，下面将对这四种场景逐一进行分析：

1、同网络同宿主机，不需要通过router，实验模型如下：

 

test1和test2运行在同一台宿主上，执行test1 ping test2。

a、test1通过arp学习到test2的mac地址，流表匹配过程和步骤4（DVR到网关流表分析）中arp学习相同，然后封装icmp报文，从qvo-xxx port进入br-int的table0，匹配in_port，命中后，resubmit到table25。

b、在table25中，匹配in_port和dl_src，命中后，resubmit到table60。

c、在table60，命中table-miss，执行NORMAL转发。

d、test2的qvo-yyy port也在br-int上，报文通过qvo-yyy发送到test2，test2回包给test流程和test1到test2相同。ping流程结束。

2、同网络不同宿主机，不需要router，实验模型如下：

 

test1和test2运行在不同宿主上，执行test1 ping test2。

此场景下，步骤a，b，c和同网络同宿主机场景步骤完全相同，报文会在br-int的table60执行NORMAL，此处不再赘述。

d、执行NORMAL后，报文会从phy-br-vlan port进入br-vlan的table0，匹配in_port，命中后，resubmit到table1。

e、在table1中，命中table-miss，resubmit table2。

f、在table2中，匹配in_port和dl_vlan，命中后，修改local vlan 1为全局vlan 196，然后执行NORMAL，此时报文会离开宿主机，从业务口发出去。

g、报文会被送到运行test2的宿主机业务口，然后进入br-vlan的table0，命中后，resubmit到table3。

h、在table3中，命中后，执行NORMAL，报文被送到br-int。

i、在br-int的table0中，匹配in_port和dl_vlan，命中后，修改全局vlan 196 为local vlan 1，然后执行NORMAL，报文会从qvo-yyy进入虚拟机test2。

j、test2回包和test1发包过程相同，至此，ping操作完成。

3、不同网络同宿主机，需要router，实验模型如下：

 

创建router分别连接两个网络，每个网络上个各创建一台instance，执行上述操作之后，neutron会在网络节点和计算节点（有instance运行）上都创建一个router的namespace，且配置完全一样，qr-设备会被配置上对应网关ip地址。

test1和test2运行在同宿主上，执行test1 ping test2。

a、test1 通过计算知道要到达test2需要走三层，它会先发arp请求，学习网关的mac地址，然后封装icmp报文（目的ip是test2的ip，目的mac是网关的mac地址），通过默认路由，将报文送到本地的router namespace。

（学习网关过程中匹配流表的过程请参考 <4、DVR到网关流表分析>章节）。

b、报文从qr-test1进入router的PREROUTING链，然后查找到test2的路由，命中之后，进入POSTROUTING链，并从qr-test2重新进入br-int的table0。

c、在table0中，命中table-miss，resubmit到table60。

d、在table60中，命中后，执行NORMAL，将报文从qvo-xxx送到test2。

e、test2回包的过程和test1发包过程相同，至此，ping操作完成。

4、不同网络不同宿主机，需要router，实验模型如下：

 

test1和test2运行在不同宿主上，执行test1 ping test2。

此场景下，步骤a，b，c和不同网络同宿主机场景步骤完全相同，

报文从qr-test2出来之后，在br-int的table60执行NORMAL，此处不再赘述。

d、在c中执行NORMAL之后，报文通过int-br-vlan port进入br-vlan的table0。

e、在table0中，匹配in_port，命中之后，resubmit到table1。

f、在table1中，匹配dl_vlan和dl_src，命中之后，修改源mac地址为neutron分配给宿主机mac，resubmit到table2。

注：开启DVR之后，neutron会给每个compute节点分配一个唯一的mac地址，避免物理交换机出现mac地址冲突的问题。

g、在table2中，匹配in_port和dl_vlan，命中之后，修改local vlan 2为全局

vlan 148，执行NORMAL，此时报文会从业务口eth1离开宿主机。

h、报文会进入运行test2的宿主机的业务口eth1进入br-vlan的table0。

i、在table0中，命中之后，resubmit到table3。

j、在table3中，匹配dl_src（neutron分配给宿主机的mac），将报文从phy-br-vlan送出给br-int table0。

k、在br-int的table0中，匹配in_port和dl_src（neturon分配给宿主机的mac），resubmit给table2。

l、在table2中，匹配dl_vlan和dl_dst，修改源mac为test2网关的mac，resubmit到table60。

m、在table60中，匹配dl_vlan和dl_dst ，剥去vlan，通过output将报文直接送到test2。

n、test2回包的过程和test1发包过程相同，至此，ping操作完成。

六、虚拟机出外网原理分析

1、创建一个router，并绑定内部网络test1，设置路由器的网关外网为external，在内网，外网上各创建一台虚拟机，用于测试，实验模型如下：

 

执行上述操作之后，neutron会在网络节点创建三个namespace：qrouter-xxx、fip-yyy、snat-xxx。

计算节点（instance运行）创建qrouter-xxx、fip-yyy。

ps：各节点的namespace会在接下来的分析中说明其作用。

2、虚拟机test1的报文被送到本宿主机router namespace的qr-xxx设备上（上述已经说明，此处不再赘述），进入PREROUTING链（未命中，不做任何修改），查看策略路由，使用默认路由准备进行转发，然后进入POSTROUTING链（未命中），报文从qr-xxx发出，送往192.168.1.11进行处理（流表全部命中NORMAL）。

3、可能有人会有疑问，这里的192.168.1.11是啥？

事实上这个ip地址是neutron分配给snap-yyy namespace的一个ip，被配置在sg-zzz上，snap-yyy namespace在网络节点上，neutron通过策略路由和sg-zzz port将计算节点router namespace中的报文，转发到网络节点的snat-yyy中。

4、此时报文到达网络节点的snat-yyy namespace中的sg-zzz port上，在路由之前报文会进入PREROUTING链（未命中），然后查找路由。

随后进入POSTROUTING链，进行snat，并做连接跟踪，之后报文进行转发。

5、经过上述操作，虚拟机通过snat-yyy中的qg-设备出外网，通过连接跟踪返回(流表命中NORMAL)。

七、Floating ip原理分析

1、在章节6的基础上，从外网分配一个floating ip（10.100.0.7），并关联到虚拟机test1（192.168.1.9）上，并需要自行配置br-ex，用于虚拟机出外网，实验模型如下：

 

执行上述操作之后，neutron会在对应的namespace里面添加若干策略，下面的分析中会逐一说明：

1、虚拟机test1的报文被送到本宿主机router namespace的qr-xxx设备上（上述已经说明，此处不再赘述），进入PREROUTING链（未命中，不做任何修改），查看策略路由。

通过策略路由，将报文通过rfp-6347c62b-2转发给169.254.109.47处理，随后进入POSTROUTING链，做snat修改。

2、到这里，大家可能会有一个疑问，这个rfp-6347c62b-2设备是啥？

事实上这个是veth pair的一端，它的另一端在fip-xxx namespace里面

neutron 使用这对veth pair，将报文从router的namespace里面，通过策略路由，转发到fip-yyy的namespace里。

3、至此，报文到达fip-yyy namespace，进入PREROUTING链（未命中），查看路由。

再进入POSTROUTING链（未命中），从而将报文从fg-7ec56cee-b5设备转发到外网。

4、至此，报文顺利从fg port发送到外网（流表命中NORMAL）。

5、现在开始分析外网设备通过floating ip进入虚拟机的情况。

假设存在一台外网设备external（10.100.0.14）去ping floating ip（10.100.0.7），外网设备首先会通过arp学习10.100.0.7的mac地址，而上述描述中，neutron并没有配置10.100.0.7的ip地址在任何设备上，也就是说，10.100.0.7并不存在，那报文是如何准确的送到fg口的呢？

事实上，neutron在fg port上开启了arp_haproxy功能，相当于进行了arp欺骗，这样，外网设备就将fg的mac地址学习成10.100.0.7的mac，并更新到自己的mac表中。

6、外网报文到达fg口之后，进入PREROUTING链（未命中），查看route表，准备将目的ip为floating ip的报文从fpr-6347c62b-2发送169.254.109.46。

随后进入POSTROUTING链（未命中），报文转发到router的namespace中。

7、报文到达router的namespace中的rfp-6347c62b-2设备，进入PREROUTING链，进行dnat操作。将目的ip从floating ip转换成内部fix ip（192.168.1.9）

随后查看route，准备将报文从qr-xxx port转发。

然后进入POSTROUTING链（未命中），将报文从qr- port转发到虚拟机test1。

8、至此，实现外网设备到内部ip的转发完成。