KVM虚拟机与网络
实验环境
Ubuntu 16.04.1
root@dev:/sys/class/net# cat /etc/issue
Ubuntu 16.04.1 LTS \n \l
KVM
root@dev:/sys/class/net# dpkg -l| grep kvm
ii qemu-kvm 1:2.5+dfsg-5ubuntu10.51 amd64 QEMU Full virtualization
root@dev:/sys/class/net# dpkg -L qemu-kvm
/.
/usr
/usr/bin
/usr/bin/kvm
/usr/share
/usr/share/man
/usr/share/man/man1
/usr/share/man/man1/kvm.1.gz
/usr/share/doc
/usr/share/doc/qemu-kvm
/usr/share/doc/qemu-kvm/copyright
/usr/share/doc/qemu-kvm/NEWS.Debian.gz
/usr/bin/kvm-spice
/usr/bin/qemu-system-x86_64-spice
/usr/share/doc/qemu-kvm/changelog.Debian.gz
openvswitch
root@dev:/lib/modules/4.4.36-nn3-server/kernel/net/openvswitch# dpkg -l | grep openvswitch
ii openvswitch-common 2.5.9-0ubuntu0.16.04.3 amd64 Open vSwitch common components
ii openvswitch-switch 2.5.9-0ubuntu0.16.04.3 amd64 Open vSwitch switch implementations
ii python-openvswitch 2.5.9-0ubuntu0.16.04.3 all Python bindings for Open vSwitch
iproute2
root@dev:/lib/modules/4.4.36-nn3-server/kernel/net/openvswitch# dpkg -l | grep iproute2
ii iproute2 4.3.0-1ubuntu3 amd64 networking and traffic control tools
net-tools
root@dev:/lib/modules/4.4.36-nn3-server/kernel/net/openvswitch# dpkg -l | grep net-tools
ii net-tools 1.60-26ubuntu1 amd64 NET-3 networking toolkit
wget https://launchpad.net/ubuntu/+archive/primary/+sourcefiles/net-tools/1.60+git20161116.90da8a0-1ubuntu1/net-tools_1.60+git20161116.90da8a0.orig.tar.gz
KVM虚拟机部署
没有安装kvm可以用apt-get安装，网上有很多教程。
使用virt-manager可以在图形化界面部署KVM虚拟机，在部署KVM虚拟机的时候，选择的网络是default的NAT网络。
KVM虚拟机配置文件的位置
类似于VMware vsphere的vmx文件, KVM虚拟机同样有类似的配置文件。其配置文件位于如下位置：
root@dev:/etc/libvirt/qemu# ls
centos6.0.xml networks
vnic的配置在此xml文件里长这样：
<interface type='network'>
<mac address='52:54:00:ef:c8:d6'/>
<source network='default'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
可以看到，里面包含mac地址，和所要连接的网络“default”。再看看这个叫default的网络长的什么样（准确来说是这个网络在磁盘上persist成啥样，必然是某一个服务在linux操作系统启动的时候读取了这个xml文件并且创建了网桥）：
root@dev:/etc/libvirt/qemu/networks# cat default.xml
<!--
WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
OVERWRITTEN AND LOST. Changes to this xml configuration should be made using:
virsh net-edit default
or other application using the libvirt API.
-->
<network>
<name>default</name>
<uuid>ef327d9c-c286-40c0-ad01-110916760008</uuid>
<forward mode='nat'/>
<bridge name='virbr0' stp='on' delay='0'/>
<mac address='52:54:00:51:e7:c7'/>
<ip address='192.168.122.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.122.2' end='192.168.122.254'/>
</dhcp>
</ip>
</network>
从上面可以看出，这种配置方法和vmware的VM连到standard switch的方式非常类似。下面看一下运行时的状态。
KVM虚拟机网络运行时状态
二层网络的配置
root@dev:/etc/libvirt/qemu/networks# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 02:00:af:fe:79:67 brd ff:ff:ff:ff:ff:ff
inet 10.182.136.227/20 brd 10.182.143.255 scope global ens160
valid_lft forever preferred_lft forever
inet6 fd01:0:106:201:0:afff:fefe:7967/64 scope global mngtmpaddr dynamic
valid_lft 2591855sec preferred_lft 604655sec
inet6 fe80::afff:fefe:7967/64 scope link
valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default
link/ether 02:42:8e:2b:b7:71 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.1/16 scope global docker0
valid_lft forever preferred_lft forever
4: virbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether fe:54:00:ef:c8:d6 brd ff:ff:ff:ff:ff:ff
inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
valid_lft forever preferred_lft forever
5: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000
link/ether 52:54:00:51:e7:c7 brd ff:ff:ff:ff:ff:ff
8: vnet0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master virbr0 state UNKNOWN group default qlen 1000
link/ether fe:54:00:ef:c8:d6 brd ff:ff:ff:ff:ff:ff
inet6 fe80::fc54:ff:feef:c8d6/64 scope link
valid_lft forever preferred_lft forever
root@dev:/etc/libvirt/qemu/networks# brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.02428e2bb771 no
virbr0 8000.fe5400efc8d6 yes vnet0
可以发现，这个VM的虚拟网卡就是连接到网桥virbr0的一个叫做vnet0的port。理论上讲，物理交换机或者网桥的接口是不需要MAC地址的。这里的vnet0上显示的MAC地址"fe:54:00:ef:c8:d6", 与VM的xml配置文件里是一致的。如果给VM安装了guest OS，登陆进去发现其网卡的MAC地址也是与此地址一致的。
这里还有一个问题，我是怎么知道vnet0连接的就是我刚才创建的虚拟机的vnic呢？可以通过如下命令查看：
root@dev:/etc/libvirt/qemu/networks# virsh list
Id Name State
----------------------------------------------------
3 centos6.0 running
这个VM的Id是3.
root@dev:/etc/libvirt/qemu/networks# virsh dumpxml 3
....
<interface type='network'>
<mac address='52:54:00:ef:c8:d6'/>
<source network='default' bridge='virbr0'/>
<target dev='vnet0'/>
<model type='virtio'/>
<alias name='net0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
可以看出这个VM的vnic连的是vnet0。也可以直接用下面的命令：
for vm in $(virsh list | grep running | awk '{print $2}'); do echo "$vm: " && virsh dumpxml $vm | grep "vnet" | sed 's/[^'']*''\([^'']*\)''[^'']*/\t\1/g'; done
问题又来了，xml文件里也没有这个vnet0。virsh dumpxml里的这个信息是哪里来的呢？我感觉，这个信息应该是一个runtime的信息。可能在VM power on的时候，libvirt（或者别的东西）动态创建了这个vnet0。于是尝试把这个VM poweroff。
果然，把VM power off之后，在“ip addr”里这个vnet0就没有了！
从下面的结果看以看出，vnet0用的driver是tun。
root@dev:~/script# ethtool -i vnet0
driver: tun
version: 1.6
firmware-version:
expansion-rom-version:
bus-info: tap
supports-statistics: no
supports-test: no
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: no
三层网络的配置
路由表
先看一下host的路由表：
root@dev:/etc/libvirt/qemu/networks# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 10.182.143.254 0.0.0.0 UG 0 0 0 ens160
10.182.128.0 * 255.255.240.0 U 0 0 0 ens160
link-local * 255.255.0.0 U 1000 0 0 ens160
172.17.0.0 * 255.255.0.0 U 0 0 0 docker0
192.168.122.0 * 255.255.255.0 U 0 0 0 virbr0
可以看到，目的地址为192.168.122.0/24网段的IP地址都是在链路上，直接发送到virbr0这个interface。
关于virbr0的IP地址的理解：
对于host来说，virbr0是网桥上的一个虚拟网卡，并可以绑定IP地址。这个虚拟网卡在host的网络命名空间之内。如果类比esx的 virtual standard switch(VSS)的话, 这个网桥virbr0相当于是一个VSS。而"ip addr"里这个可以看到的具备IP地址192.168.122.1的virbr0，相当与连接到这个VSS的vmknic。
区别在于，在esx上创建VSS是独立的步骤，不会在VSS上自动创建vmknic。但是linux上，创建网桥的同时，也隐式的创建了host可见的虚拟网卡。
从这个路由表可以看出，host作为路由器，通过virbr0（虚拟网卡）连接到virbr0（网桥）所在的子网。所以，即使是没有任何NAT规则，在host上也能ping通连接到virbr0的VM（当然，VM需要配置和virbr0在同一个子网的IP）。
NAT
尝试了在Guest内部，完全可以ping通外界，比如ping www.baidu.com。能做到这一点，必然是KVM对host的iptable动了手脚，配置了SNAT：
root@dev:/etc/libvirt/qemu/networks# iptables -t nat -L -n
Chain PREROUTING (policy ACCEPT)
target prot opt source destination
DOCKER all -- 0.0.0.0/0 0.0.0.0/0 ADDRTYPE match dst-type LOCAL
Chain INPUT (policy ACCEPT)
target prot opt source destination
Chain OUTPUT (policy ACCEPT)
target prot opt source destination
DOCKER all -- 0.0.0.0/0 !127.0.0.0/8 ADDRTYPE match dst-type LOCAL
Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
RETURN all -- 192.168.122.0/24 224.0.0.0/24
RETURN all -- 192.168.122.0/24 255.255.255.255
MASQUERADE tcp -- 192.168.122.0/24 !192.168.122.0/24 masq ports: 1024-65535
MASQUERADE udp -- 192.168.122.0/24 !192.168.122.0/24 masq ports: 1024-65535
MASQUERADE all -- 192.168.122.0/24 !192.168.122.0/24
MASQUERADE all -- 172.17.0.0/16 0.0.0.0/0
Chain DOCKER (2 references)
target prot opt source destination
RETURN all -- 0.0.0.0/0 0.0.0.0/0
Iptable我现在暂时看不懂。待学习。
下一步待研究的问题
- 感觉对tap/tun/等还不是理解的特别透彻，研究ifconfigure的源代码。
- kvm虚拟机的net0是如何创建的，对于kernel意味着什么。
- ifconfigure列出的各中设备，其驱动如何让查看
- ifconfigure是从/sys/class/net/获取的信息吗？
- 网桥如何实现dhcpserver功能的。
- 研究ovs
- 家里的路由器是怎么实现ping的？？
- nat做了一些工作，对icmp首部中的Identifier字段进行了重映射，你可以把这个标识符字段理解为端口号的作用。当然具体操作有很多细节，详见rfc5508。
- NAT设备对于有端口的协议，比如TCP、UDP的数据包，采用端口来识别。对于没有端口的协议，比如ICMP、OSPF的数据包，我知道的有些厂家设备，是会采用具体协议的一个字段来识别的。具体详细信息，可以参考相关RFC。
- 看看tun driver的源代码在哪